ANALISIS BUTIR INSTRUMEN/SOAL Pengertian Analisis butir soal merupakan suatu kegiatan yang seharusnya dilakukan guru/dosen untuk meningkatkan mutu soal yang telah ditulis. Soal yg bermutu yakni soal yg dapat memberikan informasi setepat-tepatnya sesuai dgn tujuannya.

TUJUAN Mengkategorikan soal: baik, jelek, dan perlu perbaikan Membantu meningkatkan keefektifan alternatif jawaban soal (terutama pengecoh soal) Membantu memperbaiki soal-soal yg perlu diperbaiki Memilih soal-soal yg “baik” dlm penyusunan terakhir suatu ujian tertentu

Analisi butir soal dapat dilakukan dgn cara (Anastasi dan Urbina, 1977: 172): 1. Kualitatif, dlm kaitan dgn isi & btknya 2. Kuantitatif, dlm kaitan dgn ciri-ciri statistiknya Analisis kualitatif mencakup pertimbangan validitas isi & konstruk Analisis kuantitatif mencakup pengukuran kesulitan butir soal, deskriminasi, pola jawaban soal, termasuk validitas & reliabilitasnya.

Analisis Butir Secara Kualitatif Penelaahan butir soal secara kualitatif, dapat dilakukan sebelum soal digunakan/diujikan. Aspek yg perlu diperhatikan dlm penelaahan yakni setiap soal ditelaah dari segi: Materi Konstruksi Bahasa/budaya

Hal-hal yg perlu dipersiapkan Bahan penunjang: - Kurikulum yang digunakan - Buku sumber - Kamus bhs Indonesia?????????? Bahan Utama - Tes/soal/instrumen - Lembar penelaahan butir soal - Kisi-kisi tes/instrumen Teknik analisis butir soal secara kualitatif: Teknik moderator Teknik panel

Analisis Kualitatif dgn teknik Moderator Teknik moderator merupakan teknik berdiskusi yang dilengkapi seorang penengah (moderator) & seorang notulis. Butir soal didiskusikan dgn beberapa ahli yaitu: Guru/Dosen yg mengajarkan materi Ahli materi Penyusun/pengembang kurikulum Ahli penilaian Ahli bahasa Berlatar belakang Psikologi

Lanjutan teknik Moderator Penelaah mengomentari/memperbaiki berdasarkan keahliannya (setiap butir soal dituntaskan secara bersama- sama) & dicatat notulis Kelemahan teknik ini: butuh waktu lama utk mendiskusikannya setiap satu butir soal.

Analisis Kualitatif dgn teknik Panel Prosedur penelaahan 1. Penelaah diberi: - bahan penunjang - butir-butir soal/instrumen yg akan ditelaah - Kisi-kisi instrumen - format penelaahan - pedoman penilaian/penelaahan 2. Penelaah diberi pengarahan 3. Penelaah bekerja sendiri2 dgn memperbaiki langsung pada lembar penelaahan dan memberi komentar pada kolom yg sudah disiapkan

FORMAT PENELAAHAN Petunjuk Pengisian Format Analisis setiap butir soal dengan memerhatikan ke tiga aspek yang akan ditelaah. Beri tanda centang (ⱱ) yang berarti setuju atas pernyataan/ pertanyaan dari aspek yang ditelaah pada kolom butir soal. Beri tanda silang (X) yang berarti tidak setuju atas pernyataan/pertanyaan dari aspek yang ditelaah pada kolom butir soal, dan selanjutnya tuliskan alasan pada ruang catatan yang telah disiapkan.

FORMAT PENELAAHAN BUTIR SOAL BENTUK URAIAN No Aspek yang ditelaah Nomor Soal 1 2 3 4 5 6 dst A B 7 C Materi Soal sesuai dgn indikator Batasan pertanyaan dan jawaban yg diharapkan sudah sesuai Materi yg ditanyakan sesuai dgn kompetensi (urgensi, relevansi, kontinuitas, keterpakaian sehari-hari tinggi) Isi materi yg ditanyakan sesuai dgn jenjang jenis sekolah atau tkt kelas Konstruksi Menggunakan kata tanya atau perintah yg menuntut jawaban uraian Ada petunjuk yg jelas ttg cara mengerjakan soal Ada pedoman penskoran Tabel, gambar, grafik, peta, atau yg sejenisnya disajikan dgn jelas dan terbaca Bahasa/Budaya

Lanjutan 1 2 3 4 5 6 dst No Aspek yang ditelaah Nomor Soal C 9 10 11 12 13 Bahasa/ Budaya Rumusan kalimat soal komunikatif Butir soal menggunakan bhs Indonesia yg baku Tdk menggunakan kata/ungkapan yg menimbulkan penafsiran ganda atau salah pengertian Tidak menggunakan bhs yg berlaku setempat/tabu Rumusan soal tdk mengandung kata/ungkapan yg dpt menyinggung perasaan peserta didik.

FORMAT PENELAAHAN BUTIR SOAL BENTUK PG No Aspek yang ditelaah Nomor Soal 1 2 3 4 5 6 dst A B 7 8 9 Materi Soal sesuai dgn indikator Materi yg ditanyakan sesuai dgn kompetensi (urgensi, relevansi, kontinuitas, keterpakaian sehari-hari tinggi) Isi materi yg ditanyakan sesuai dgn jenjang jenis sekolah atau tkt kelas Pilihan jawaban homogen dan logis Hanya ada satu jawaban yg benar Konstruksi Pokok soal dirumuskan dgn singkat, jelas, dan tegas Rumusan pokok soal dan pilihan jawaban merupakan pernyataan yg diperlukan saja Pokok soal tdk memberi petunjuk kunci jawaban Pokok soal bebas dari pernyataan yg bersifat negatif ganda

Lanjutan 1 2 3 4 5 6 dst No Aspek yang ditelaah Nomor Soal 10 11 12 13 14 C 15 16 17 18 Gbr, grafik, tabel, diagram atau sejenisnya jelas dan berfungsi Panjang pilihan jawaban relatif sama Pilihan jawaban tdk menggunakan pernyataan “semua jawaban di atas salah/benar” dan sejenisnya Pilihan jawaban yg berbtk angka/waktu dissn berdasarkan urutan besar kecilnya angka atau kronologisnya Butir soal tdk bergantung pd jawaban soal sebelumnya Bahasa/Budaya Menggunakan bhs yg baik dan benar Menggunakan bhs yg komunikatif Tidak menggunakan bhs yg berlaku setempat/tabu Pilihan jawaban tidak mengulang kata/klp kata yg sama, kecuali merupakan satu kesatuan pengertian

FORMAT PENELAAHAN BUTIR SOAL NON-TES Aspek yang ditelaah Nomor Soal 1 2 3 4 5 6 dst A B 7 C Materi Pernyataan/soal sudah sesuai dgn rumusan indikator dalam kisi-kisi Aspek yg diukur pd setiap pernyataan sudah sesuai dgn tuntutan dlm kisi-kisi (misal untuk instrumen sikap: aspek kognisi, afeksi, konasi & pernyataan positif atau negatifnya) Konstruksi Pernyataan dirumuskan dgn singkat (tidak lebih 20 kata) dan jelas Pernyataan merupakan kalimat/kata yg diperlukan saja Kalimatnya bebas dari pernyataan yg bersifat negatif ganda Kalimatnya bebas dari pernyataan yg mengacu pada masa lalu Setiap pernyataan hanya berisi satu gagasan secara lengkap

Lanjutan 1 2 3 4 5 6 dst No Aspek yang ditelaah Nomor Soal 8 9 C 10 11 12 Kalimatnya bebas dari pernyataan yg tidak pasti , seperti: selalu, semua, kadang2, tdk satupun, tidak pernah Jangan banyak gunakan kata hanya, sekedar, semata-mata Bahasa/Budaya Menggunakan bhs yg baik dan benar Menggunakan bhs yg komunikatif Tidak menggunakan bhs yg berlaku setempat/tabu

Analisis Butir Soal Secara Kuantitatif Penelaahan butir soal secara kuantitatif didasarkan pada data empirik dari butir instrumen/soal tsb. Data empirik diperoleh setelah instrumen/soal diujicobakan. Analisis ini, digolongkan atas dua pendekatan 1. Secara klasik menggunakan teori tes klasik 2. Secara Moderen menggunakan Item Response Theory (IRT) atau Latent Trait Theory (LTT), atau Characteristic Curve Theory (ICC), atau teori jawaban butir soal.

Analisis Kuantitatif dgn Pendekatan Klasik Kelebihan analisis butir soal secara klasik: murah, dapat dilaksanakan sehari-hari dgn cepat menggunakan komputer, sederhana, familier, dan dapat menggunakan data dari beberapa peserta didik atau sampel kecil (Millman dan Green, 1993: 358)

1. Indeks Kesukaran/Kemudahan Analisis Kuantitatif dgn Pendekatan Klasik 1. Indeks Kesukaran/Kemudahan Menunjukkan sukar atau mudahnya suatu item soal P = (PH + PL)/2, atau P = (RH + RL)/T Kriteria: 0,00 - 0,29 Sukar 0,30 - 0,69 Sedang 0,70 - 1,00 Mudah 0,00 sangat sukar 1,00 sangat mudah

Keterangan: PH = perbandingan antara jum Keterangan: PH = perbandingan antara jum.jawaban benar yg diberikan oleh klp atas dgn jum.siswa dlm klp atas PL = Perbandingan antara jum.jawaban benar yg diberikan oleh klp bawah dgn jum. siswa dlm klp bawah RH = Jum.jawaban benar oleh klp atas RL = Jum.jawaban benar oleh klp bawah T = Jum.subjek klp atas dan klp bawah

Untuk soal btk uraian

2. Indeks Deskriminasi (Daya Pembeda) Menunjukkan keefektifan soal itu dlm membedakan antara pengikut ujian yg pandai & yg tidak pandai. D = PH – PL atau D = (RH – RL)/0,5T Kriteria: 0,40 - 1,00 Baik sekali/ diterima baik 0,30 - 0,39 Baik/diterima tapi perlu perbaiki 0,20 - 0,29 Cukup/diperbaiki 0,00 - 0,19 Buruk/Jelek/dibuang 0,00 Sangat Buruk 1,00 Sangat Baik

Daya Pembeda (Khusus Soal Uraian) D = (NH – NL)/NT NH = Jum skor yg dicapai klp atas NL = Jum skor yg dicapai klp bawah NT = Jum skor max yg disediakan utk klp atas/klp bawah Contoh: Sbh item uraian disediakan skor 10 Jika klp H & klp L masing2 8 orang Jum.skor max klp masing2 80 Jika hasil tes klp H mendapat skor = 60 klp L mendapat skor = 40 D item tsb = (60 – 40)/80 = 0,25

3. Pola Jawaban Diperoleh dgn menghitung banyak pengikut ujian yg menjawab masing2 jawaban. Dgn pola jawaban, dpt terlihat apakah pengecoh (distraktor) berfungsi baik atau tdk berfungsi baik Distraktor dikatakan berfungsi baik, jika paling sedikit 5% dari pengikut ujian (Klp H & L) memilihnya.

Analisis Kuantitatif dgn Pendekatan Modern IRT adalah teori yg menggunakan fungsi matematika untuk menghubungkan antara peluang menjawab benar suatu soal dgn puan siswa Asal mula IRT yaitu kombinasi suatu versi hukum phi-gamma dgn suatu analisis faktor butir soal (item factor analisis) kemudian bernama Teori Trait Latent (Latent Trait Theory), selanjutnya sekarang secara umum dikenal menjadi teori jawaban butir soal (Item Response Theory)

Empat Macam Model IRT Model satu parameter, yaitu untuk menganalisis data yg hanya menitikberatkan pd parameter tingkat kesukaran soal Model dua parameter, yaitu untuk menganalisis data yg menitikberatkan pd parameter tingkat kesukaran dan daya pembeda soal Model tiga parameter, yaitu untuk menganalisis data yg menitikberatkan pd parameter tingkat kesukaran soal, daya pembeda soal, dan menebak. Model empat parameter, yaitu untuk menganalisis data yg menitikberatkan pd parameter tingkat kesukaran soal, daya pembeda soal, menebak, dan penyebab lain

Analisis IRT Analisis IRT dapat dgn mudah dilakukan melalui program komputer seperti: - Program Rascal - Program Pascal - Program Bigsteps - Program Quest

LANGKAH-LANGKAH PENYUSNAN TES Buat kisi-kisi derajat prioritas SK No KD Aspek Pikir Peng Pem Apl Lain2 1 2 3 4 5 0 2 1 0 3 2 0 0 3 2 1 0 1 2 3 0 Tot 10 10 5 0 Ket: 3 = Sangat penting 1 = Kurang penting 2 = Penting 0 = Tidak penting

Perbandingan aspek berpikir: Peng : Pem : Apl : dll = 10 : 10 : 5 : 0 = 2 : 2 : 1 : 0 (Jum = 5) - Aspek pengetahuan = 2/5 x 100% = 40% - Aspek Pemahaman = 2/5 x 100% = 40% - Aspek Aplikasi = 1/5 x 100% = 20% - Aspek dll = 0/5 x 100% = 0%

2. Buat kisi-kisi derajat prioritas Aspek Pikir KD Peng Pem Apl Lain2 Tot 40% 40% 20% 0% 1 (20%) 2 (30%) 3 (20%) 4 (20%) (10%) 4 4 2 0 10 6 6 3 0 15 4 4 2 0 10 4 4 2 0 10 2 2 1 0 5 Tot 20 20 10 0 50

KD Peng O U Pem Apl dll Juml O U O U O U 1 2 3 4 5 1,2,3, 5,6,7 1 Kisi-Kisi Rekapitulasi Soal KD Peng O U Pem Apl dll Juml O U O U O U 1 2 3 4 5 1,2,3, 5,6,7 1 8, 9 9 1 14 1 9 1 5 4 1 Juml 18 2 18 2 9 1 0 0 45 5