ANALISIS BUTIR SOAL SECARA MODERN DALAM EVALUASI PENDIDIKAN OLEH : Syukur PROGRAM PASCASARJANA SUPERVISI PENDIDIKAN INSTITUT AGAMA ISLAM NEGERI (IAIN) SALATIGA

Pengertian Item Response Theory (IRT) IRT menurut Hambleton & Rogers yang dikutip Sudaryono, peluang jawaban benar yang diberikan siswa, ciri atau parameter butir, dan ciri atau parameter peserta tes dihubungkan melalui suatu model formula yang harus ditaati baik oleh kelompok butir tes maupun kelompok peserta tes Artinya, butir yang sama terhadap peserta tes yang berbeda harus tunduk pada aturan rumus itu, atau peserta tes yang sama terhadap butir tes yang berbeda juga harus patuh terhadap rumus tersebut

Teori Responsi Butir (Item Response Theory) IRT bertujuan untuk mengatasi kelemahan yang terdapat pada pengukuran klasik

Perbedaan mendasar klasik vs modern Terletak pada invariansi pensekoran, di mana pensekoran modern adalah invarians (tidak berubah atau tetap) terhadap butir tes serta terhadap peserta tes Bahwa invariansi parameter-parameter butir tes melalui kelompok peserta tes merupakan karakteristik yang paling penting dari IRT Pengukuran modern, taraf sukar butir dikaitkan langsung dengan karakteristik butir. Taraf sukar butir  pada pengukuran modern terletak pada:  P(q)   =   Pmin  +  0,5  ( Pmaks – Pmin)  =  Pmin  +  0,5 ( 1 – Pmin )

Tujuan Responsi Butir Membebaskan responden dan butir dari interdependensi, sehingga taraf sukar butir tidak lagi bergantung kepada kemampuan responden

Asumsi Teori Reponsi Butir Teori responsi butir mengembangkan model yang menghubungkan parameter butir dengan kemampuan peserta tes Menurut Hambleton asumsi untuk model teori responsi butir secara mendalam digunakan, sehingga hanya satu kemampuan yang diukur dengan butir-butir tes tersebut Hambleton yang dikutip Sudaryono

Jenis Asumsi IRT Asumsi Unidimensi Asumsi Independensi Lokal Asumsi Invarian

Asumsi Unidimensi Asumsi unidimensi terpenuhi apabila butir-butir di dalam perangkat tes hanya mengukur satu kemampuan peserta tes Contoh : Misalnya butir-butir yang termuat di dalam perangkat tes bertujuan untuk mengukur kemampuan peserta tes dalam mata pelajaran PAI. Butir-butir yang dikonstruksi berupa soal cerita dan berbentuk dikotomi. Apabila peserta tes memberi respon yang salah maka tidak dapat diketahui apakah kesalahan itu disebabkan oleh ketimpangan peserta tes pada mata pelajaran PAI atau bahasa. Dalam kenyataannya sulit mendapatkan suatu butir yang mengukur hanya satu kemampuan peserta tes.

Asumsi Independensi Lokal James J. Allen & Yen Independensi lokal terhadap respons peserta tes bahwa betul salahnya peserta tes menjawab sebuah butir tidak terpengaruh oleh betul salahnya peserta tes yang lain dalam menjawab butir tersebut Independensi lokal terhadap butir tes bahwa betul salahnya seorang peserta tes menjawab sebuah butir tidak terpengaruh oleh betul salahnya peserta tes dalam menjawab butir yang lain

Menurut Hambleton, Swaminathan & Rogers Independensi lokal secara sistematis dinyatakan :

Asumsi Invarian Invarian parameter adalah karakteristik butir soal tidak tergantung pada distribusi parameter kemampuan peserta tes dan parameter yang menjadi ciri peserta tes tidak tergantung dari ciri butir soal. Bahwa indeks kesukaran butir tes sebagai proporsi jawaban yang benar sehingga sukar untuk membayangkan bagaimana indeks kesukaran tes dapat menjadi invarian terhadap kelompok peserta tes dari tingkat kemampuan yang berbeda Proporsi jawaban benar, ciri (parameter) butir, dan ciri peserta dihubungkan melalui rumus, di mana muncul masalah dalam menentukan rumus responsi butir atau rumus karakteristik butir yang dikenal sebagai penentuan model responsi butir atau model karakteristik butir

Karakteristik Butir Daya beda butir, Taraf sukar butir Faktor kebetulan menjawab

Taraf Sukar Butir Ada butir yang sukar,  ada butir yang sedang, dan ada butir yang mudah. Taraf sukar butir merupakan suatu kontinum dari mudah ke sukar Kontinum taraf sukar berimpit dengan kontinum kemampuan responden.  Taraf sukar butir adalah peluang untuk menjawab benar suatu soal pada tingkat kemampuan tertentu yang umumnya dinyatakan dalam bentuk indeks. Indeks tingkat kesukaran ini pada umumnya dinyatakan dalam bentuk proporsi yang besarnya berkisar 0,00 – 1,00. Soal yang memiliki indeks 0,00 artinya tidak ada siswa yang menjawab benar, indeks 1,00 artinya siswa menjawab benar butir tes

Daya Beda Butir Daya untuk membedakan responden berdasarkan kemampuan peserta didik. Butir memiliki parameter berupa daya beda butir. Daya beda butir adalah kemampuan suatu butir soal dapat membedakan antara peserta didik atau warga belajar yang telah menguasai materi yang ditanyakan peserta didik yang belum menguasai materi yang ditanyakan

Indikasi terhadap Daya Beda Apabila suatu butir soal tidak dapat membedakan kedua kemampuan siswa itu, maka butir soal itu dapat dicurigai kemungkinannya : kunci jawaban butir soal itu tidak tepat; butir soal itu memiliki dua atau lebih kunci jawaban yang benar; kompetensi yang diukur tidak jelas; pengecoh tidak berfungsi; materi yang ditanyakan terlalu sulit, sehingga banyak siswa yang menebak; dan sebagian besar siswa yang memahami materi yang ditanyakan berpikir ada yang salah informasi dalam butir soalnya

Tingkat Kebetulan Betul pada Butir Probabilitas betul ¼ = 0,25 Pada pilihan ganda dapat terjadi betul karena asal tebak (asbak), jawaban ini adalah kebetulan betul;

Kelebihan Analisis IRT Kelebihan IRT IRT tidak berdasarkan grup dependent skor peserta didik dideskripsikan bukan test dependent model ini menekankan pada tingkat butir soal bukan tes IRT tidak memerlukan paralel tes untuk menentukan relilabilitas tes IRT suatu model yang memerlukan suatu pengukuran ketepatan untuk setiap skor tingkat kemampuan

Model satu parameter (Model Rasch) Model IRT 4 Model IRT Model satu parameter (Model Rasch) Model dua parameter Model tiga parameter

Model 1 PARAMETER / P (Model Rasch) Analisis data yang menitik beratkan pada parameter tingkat kesukaran. Kurva karakteristik butir soal untuk model satu parameter diberikan oleh persamaan

Model 1 P

Ilustrasi kurva model Rasch

Model 2 P Untuk menganalisis data yang hanya menitikberatkan pada parameter tingkat kesukaran dan daya pembeda soal. Kurva karakteristik butir soal untuk model dua parameter diberikan oleh persamaan

Model 2 P

Ilustrasi Kurva Model 2 P

Model logisti tiga parameter Untuk menganalisis data yang menitikberatkan pada parameter tingkat kesukaran soal, daya pembeda soal, dan peluang menebak (guessing)

Model 3 P

Ilustrasi Kurva model 3 P

Keterangan : Pi () = peluang bahwa peserta tes dengan kemampuan menjawab butir soal ke-i dengan benar ai = parameter daya pembeda soal butir ke-i, bi = parameter tingkat kesukaran, yaitu satu titik pada skala ability dimana kemungkinan untuk menjawab benar sebesar 0,5 ci = peluang tebakan benar butir ke-i  = parameter kemampuan peserta tes D = faktor penskalaan yang diikutkan untuk menjadikan fungsi logistik serupa mungkin dengan fungsi ogive normal (D=1,702)

Penskoran Klasik sebagai pembanding Pengukuran klasik ciri yang unik diperlihatkan dari kenyataan bahwa kelompok butir tes atau kelompok angket (kuesioner) tidak dapat dipisahkan dari kelompok peserta tes atau kelompok yang mengisi angket

Terima kasih atas perhatiannya Sekian Terima kasih atas perhatiannya