Bab 28 Ujian Sekuensial dan Adaptif

Ujian Adaptif Bab 28 UJIAN SEKUENSIAL DAN ADAPTIF A. Pendahuluan 1. Ujian Konvensional Responden secara serentak atau secara bergiliran mengerjakan sejumlah butir ujian yang sama yang sudah ditentukan Kemampuan responden dan taraf sukar butir dapat saja cocok dan dapat juga tidak cocok Dalam hal taraf sukar butir tidak atau kurang cocok dengan kemampuan responden, ketepatan ukur menjadi rendah

Ujian Adaptif Ujian Adaptif Taraf sukar butir ujian dicocokkan atau diadaptasikan dengan kemampuan responden Mula-mula responden diberikan butir dengan taraf sukar sedang Jika responden menjawab dengan betul maka responden diberikan butir berikut yang lebih sukar Jika responden menjawab dengan salah maka responden diberikan butir berikut yang lebih mudah Demikian seterusnya sampai terjadi kestabilan dan pada saat itu, kemampuan responden ditentukan oleh taraf sukar butir Cara ini memerlukan bank butir dan perhitungan kemampuan responden yang cepat setiap kali responden selesai menjawab satu butir

Ujian Adaptif Keunggulan dan Kelemahan Keunggulan ujian adaptif Responden tidak perlu menjawab butir yang terlalu mudah atau yang terlalu sukar baginya Biasanya responden mengerjakan ujian yang lebih pendek dan dalam waktu yang lebih singkat Para responden tidak perlu menjawab butir yang sama Sekor ujian, berupa kemampuan responden, langsung diketahui Jika dikerjakan di layar komputer maka tidak diperlukan kertas lembar jawaban

Ujian Adaptif Kelemahan ujian adaptif Responden belum terbiasa dengan cara ini sehingga banyak responden yang gelisah Ujian terbatas pada bentuk ujian pilihan ganda Responden tidak dapat mengubah jawaban pada butir yang telah dijawabnya Masih memerlukan studi tentang besarnya peningkatan atau penurunan taraf sukar butir dari butir ke butir Masih memerlukan studi tentang penentuan butir terakhir apakah pada jawaban salah atau pada jawaban betul Memerlukan bank butir yang dapat digunakan secara interaktif

Ujian Adaptif Hal yang Memerlukan Ketentuan pada Ujian Adaptif Pemilihan model Ada yang pro model 1P dan ada pula yang pro model 2P dan 3P Bank butir Memerlukan bank butir yang luas isinya serta lengkap catatannya Butir awal Memerlukan pemikiran tentang butir bagaimana yang sebaiknya dijadikan butir awal Butir berikut Memerlukan pemikiran tentang butir bagaimana yang sebaiknya dijadikan butir berikutnya Metoda estimasi Metoda estimasi apa yang digunakan untuk mengestimasi kemampuan responden

Ujian Adaptif Butir akhir Memerlukan pemikiran tentang butir bagaimana yang sebaiknya dijadikan butir terakhir Pembahasan tentang hal yang perlu ditentukan ini melahirkan berbagai prosedur ujian adaptif, mencakup Prosedur titik keputusan (decicion point) Prosedur dua tahap atau multitahap (two-stage, multistage Prosedur fleksilevel atau jenjang langkah (flexilevel, step ladder) Prosedur bercabang (branching) Prosedur kontrol keliru (error controlled)

Ujian Adaptif B. Ujian Sekuensial dan Kekeliruan Keputusan 1. Pendahuluan Ujian sekuensial Ujian adaptif berlangsung secara sekuensial sehingga cara pengambilan keputusannya dapat dikaji Kekeliruan keputusan Kekeliruan keputusan dapat berupa keliru positif (false positive) atau keliru negatif (false negative) Keliru positif Diputuskan lulus (positif) pada hal seharusnya gagal Keliru negatif Diputuskan gagal (negatif) pada hal seharusnya lulus

Ujian Adaptif Pengujian Secara Sekuensial Sediakan sejumlah butir menurut standar kelulusan yang telah ditentukan Responden mengerjakan lebih banyak butir di sekitar standar kelulusan untuk menghasilkan keputusan Responden mengerjakan butir secara sekuensial sebanyak keperluan untuk sampai kepada keputusan lulus atau gagal Terdapat toleransi untuk keliru positif atau keliru negatif di dalam keputusan Keputusan lulus atau gagal berlangsung di dalam batas toleransi itu

Ujian Adaptif Rumus Keputusan Notasi pada rumus keputusan n = banyaknya butir yang dikerjakan c = kriteria sekor kelulusan p 0 = nilai di bawah c sebagai batas toleransi kekeliruan, tidak apa-apa meluluskan responden dengan kemampuan p 0 atau lebih (keliru positif) p 1 = nilai di atas c sebagai batas toleransi kekeliruan, tidak apa-apa menggagalkan responden dengan kemampuan p 1 atau kurang (keliru negatif)  = probabilitas yang masih dapat diterima untuk keliru meluluskan responden dengan kemampuan di bawah p 0

Ujian Adaptif  = probabilitas yang masih dapat diterima untuk keliru menggagalkan responden dengan kemampuan di atas p 1 r n = banyaknya butir, bagian dari n, yang harus dijawab betul untuk lulus w n = banyaknya butir, bagian dari n, yang harus dijawab salah untuk gagal p1p1 p0p0 Keliru gagal Keliru lulus c

Ujian Adaptif Rumus keputusan lulus gagal terus uji c n

Uji Adaptif Contoh 1 Pada suatu ujian ditentukan n = 20 c = 0,75 p 0 = 0,65 p 1 = 0,80  = 0,10  = 0,05 Masukkan ke dalam rumus diperoleh

Ujian Adaptif sehingga r 20 = 2,93 +(0,73)(20) = 17,53 dibulatkan 18 w 20 = – 3,77 + (0,73)(20) = 10,83 dibulatkan 10 Jadi dengan n = 20 butir betul 18 atau lebih  lulus salah 10 atau lebih  gagal betul 11 sampai 17, harus mengerjakan butir yakni butir ke-21, 22, 23, … Batas lulus L dan gagal G adalah dan pada contoh ini batas itu adalah

Ujian Adaptif Dalam bentuk grafik Y 1,00 0,8 0,6 0,4 0, n 0,75 lulus gagal c terus uji

Ujian Adaptif C. Prosedur Titik Keputusan 1. Sasaran Prosedur ini ditujukan ke pengambilan keputusan misalnya dalam penerimaan karyawan, siswa, atau dispensasi 2. Prosedur Ada patokan untuk butir sehingga siapkan butir menurut patokan Estimasi kemampuan dapat dilakukan melalui metoda kebolehjadian maksimum, metoda Bayes, dan lainnya Ada standa kemampuan untuk penerimaan atau penolakan Tidak dibicarakan di sini

Ujian Adaptif D. Prosedur Dua Tahap atau Multitahap 1. Dua Tahap Tahap 1 Penjajakan Pendek dan hasil olahannya digunakan untuk menentukan letak responden pada tahap ke-2 Tahap 2 Pengukuran Butir dengan taraf sukar berbeda tetapi di sekitar taraf sukar yang sesuai dengan kemampuan responden yang diperoleh dari tahap 1 Dari pengukuran ini diperoleh sekor responden melalui rumus

Ujian Adaptif Sekor responden N = banyaknya butir yang dijawab oleh responden b i = taraf sukar butir ke-i p i = probabilitas jawaban betul = 1 salah = 0 Contoh 1 Taraf sukar butir b i 0,1 0,3 1,0 1,5 Jawaban p i  = (0,1 + 0,3 + 1,0) / 4 = 0,35

Ujian Adaptif Multitahap Kalau tahap kedua dirasakan belum memadai maka ujian diteruskan ke tahap selanjutnya Menurut pengalaman, tahap 1 penjajakan sering kurang cermat dengan kekeliruan sampai 20% 3. Masalah Cara ini memerlukan sejumlah ketentuan mencakup Taraf sukar butir yang perlu disediakan Berapa besar lompatan taraf sukar butir dari satu butir ke butir berikutnya Kapan pengukuran atau ujian berakhir

Ujian Adaptif E. Prosedur Flaksilevel atau Jenjang Berlangkah 1. Pelaksanaan Responden diberikan butir bertaraf kesukaran sedang dari satu seri butir Jika jawaban betul maka butir berikut lebih sukar. Jika jawaban salah maka butir berikut lebih mudah Butir terakhir dapat lebih sukar atau lebih mudah serhingga diberikan sekor 0,5 saja 2. Pensekoran Sekor adalah jumlah jawaban betul ( p i = 1)

Ujian Adaptif Contoh 2 Ujian terdiri atas 21 butir dengan butir 1 termudah dan butir 21 tersukar. Dimulai pada butir 11. Hasilnya Butir Aturan Hasil Jika betul ke Jika salah ke salah betul betul betul salah betul salah salah betul betul sekor  = (5 + 0,5) / 11 = 0,545

Ujian Adaptif Kelemahan Makin lama, jarak di antara butir mudah dan butir sukar makin jauh (3 dan 17 pada contoh 2) Ada kalanya responden tidak mentaati petunjuk yang diberikan. Ada laporan kasus, 15% dari 635 responden menyimpang dari petunjuk (tidak dijelaskan penyimpangan yang bagaimana) Ada kalanya responden menggunakan waktu lebih lama pada butir sukar daripada butir mudah

Ujian Adaptif F. Prosedur Percabangan 1. Pendahuluan Ada beberapa jenis percabangan namun bentuk umum adalah seperti fleksilevel. Jika betul ke butir lebih sukar, jika salah ke butir lebih mudah termudah Butir 11 Butir 7 Butir 4 Butir 12 Butir 2 Butir 8 Butir 1 Butir 5 Butir 13 Butir 3 Butir 9 Butir 6 Butir 14 Butir 10 Butrir 15 tersukar

Ujian Adaptif Prosedur Percabangan Naik-Turun (NT) Misalkan selisih taraf sukar di antara dua butir berdekatan adalah  Responden sedang mengerjakan butir ke-i dengan taraf sukar b i dan butir berikut adalah jika betul b i+1 = b i +  jika salah b i+1 = b i –  Besaran  dapat diatur Sekor butir N = banyaknya butir yang dikerjakan Jawaban betul p i = 1 jawaban salah p i = 0

Ujian Adaptif Prosedur Percabangan Tinggi-Rendah (TR) Seperti pada NT, tetapi beda taraf sukar butir boleh lebih atau kurang dari  Jika betul b i+1 = b i + t  Jika salah b i+1 = b i – r  Misalnya t = 1, r = 2, dan  = 0,1 sehingga Jika betul b i+1 = b i + 0,1 Jika salah b i+1 = b i – 0,2 Biasanya kalau ada faktor terka jawaban maka r > t Untuk N langkah diperlukan 2 N – 1 butir

Ujian Adaptif Prosedur Percabangan Robbins-Monro Pelaksanaan seperti prosedur percabangan lainnya dengan mengatur  Dari langkah ke langkah, nilai  makin diperkecil Pada butir terakhir lompatan taraf sukar menjadi cukup kecil Dengan  makin kecil, estimasi hasil makin diperhalus sehingga akurasi makin tinggi

Ujian Adaptif G. Prosedur Kontrol Keliru 1. Pendahuluan Setiap kali ada jawaban maka setiap kali itu pula nilai parameter kemampuan diestimasi dan kekeliruan bakunya dihitung Ada ketentuan batas kekeliruan baku untuk menghentikan ujian, misalnya, 0,05 atau 0,01 Apabila batas kekeliruan baku belum dicapai maka taraf sukar butir berikut disesuaikan melalui fungsi informasi I(  ) terbesar Biasanya pelaksanaannya memerlukan bantuan komputer untuk melakukan estimasi dan menghitung kekeliruan baku

Ujian Adaptif Diagram alir

Ujian Adaptif Keterangan A = Menyiapkan sejumlah butir dengan parameter yang diketahui B = Menyajikan butir dengan b sedang dan a tinggi C = Sebelum dapat mengestimasi , naikkan b dan turunkan a D = Estimasi  dan hitung KB(  ) E = Apabila  KB(  ) belum cukup kecil ke F atau jika cukup kecil ke berhenti F = Estimsai fungsi informasi I(  ) dari semua butir di A G = Menyajikan butir dengan I(  ) terbesar 2. Prosedur Kontrol Keliru Prosedur kontrol keliru dilakukan melalui contoh sebagai berikut

Ujian Adaptif Contoh 3 Suatu ujian terdiri atas 13 butir dengan parameter butir sebagai berikut Butir Parameter butir a b c 1 1,11 0,09 0,22 2 1,21 0,47 0,24 3 1,78 – 0,55 0,22 4 1,39 1,01 0,08 5 1,22 – 1,88 0,07 6 1,52 – 0,82 0,09 7 1,49 1,77 0,02 8 0,71 1,92 0,19 9 1,41 0,69 0, ,98 – 0,28 0, ,59 1,47 0, ,72 0,23 0, ,58 1,21 0,17

Ujian Adaptif Butir awal b sedang, a tinggi yakni butir ke-3 b 3 = – 0,55 a 3 = 1,78 jawaban betul Butir kedua b agak lebih tinggi yakni butir ke-12 b 12 = 0,23 a 12 = 0,72 jawaban betul, namun belum cukup untuk melakukan estimasi  Butir ketiga b lebih tinggi lagi yakni butir ke-7 b 7 = 1,77 a 7 = 1,49 jawaban salah. Sudah cukup untuk melakukan estimasi 

Ujian Adaptif Estimasi  melalui kebolehjadian maksimum L = (P 1 3 Q 0 3 )(P 1 12 Q 0 12 )(P 0 7 Q 1 7 ) = (P 3 )(P 12 )(Q 7 ) L maksimum dicapai pada  = 1,03 I(  ) = 0,97 KB(  ) = 1,02 Belum menemukan  KB(  ) sehingga ujian diteruskan

Ujian Adaptif Menghitung fungsi informasi semua butir pada  = 1,03 Diteruskan ke butir lainnya, menghasilkan I 2 (1,03) = 0,547 I 3 (1,03) = (sudah) I 4 (1,03) = 1,192 I 5 (1,03) = 0,010 I 6 (1,03) = 0,051 I 7 (1,03) = (sudah) I 8 (1,03) = 0,143 I 9 (1,03) = 1,008 I 10 (1,03) = 0,251 I 11 (1,03) = 1,101 I 12 (1,03) = (sudah) I 13 (1,03) = 0,166 Fungsi informasi tertinggi I 4 (1,03) = 1,192 sehingga butir berikut adalah butir ke-4

Ujian Adaptif Butir keempat butir ke-4 b 4 = 1,01 a 4 = 1,39 jawaban betul Estimasi  melalui L = (P 3 )(P 12 )(Q 7 )(P 4 ) L maksimum menghasilkan  = 1,46 I(  ) = 2,35 KB(  ) = 0,65 sehingga  KB(  ) = 1,02 – 0,65 = 0,37 Masih cukup besar sehingga ujian diteruskan dengan mencari butir dengan I(  ) atau I(1,46) terbesar di antara sisa butir Demikian seterusnya dengan hasil pada tabel sebagai berikut

Ujian Adaptif Hasil ujian Urutan Butir Jawaban  I(  ) KB(  )  KB(  ) ,03 0,97 1, ,46 2,35 0,65 0, ,13 3,55 0,55 0, ,24 4,61 0,47 0, ,29 5,05 0,45 0, ,31 5,27 0,44 0, ,25 5,47 0,43 0,01 Ujian dihentikan setelah  KB(  )  0,01 Responden memeliki  = 1,25

Ujian Adaptif Tabel fungsi informasi butir I i (  ) Urutan  Butir 1,03 1,46 1,13 1,24 1,29 1,31 1,25 1 0,034 0,179 0,292 0,249 0, ,547 0,319 0,494 0, , ,010 0,004 0,008 0,006 0,006 0,005 0, ,051 0,017 0,039 0,029 0,026 0,024 0, ,143 0,205 0,159 0,175 0,182 0, ,008 0,579 0, ,251 0,136 0,219 0,187 0,175 0,168 0, ,101 1, ,166 0,175 0,170 0,173 0,174 0,174 0,173

Ujian Adaptif H. Prosedur Kontrol-Keliru pada Model 1P 1. Pelaksanaan Dimulai dengan butir b sedang. Disusul oleh butir dengan b bertambah atau berkurang menurut betul atau salah pada jawaban Estimasi  memerlukan tinggi dan lebar ujian serta kekeliruan baku 2. Tinggi dan Lebar Ujian Tinggi ujian (test height) yakni rerata b Lebar ujian (test width) yakni rentangan b N = butir yang telah dikerjakan

Ujian Adaptif Kemampuan  dan Kekeliruan Baku Jawaban Jawaban betul p i = 1 Jawaban salah p i = 0 Probabilitas Substitusi A = 1 – e -wP B = 1– e –wQ C = 1 – e – w Kemampuan dan kekeliruan baku

Ujian Adaptif Pengakhiran Ujian Ujian diakhiri jika KB(  ) sudah cukup kecil misalnya ketika KB(  )  0,5 Jika KB(  ) masih cukup besar maka ujian diteruskan dengan menggunakan butir dengan taraf sukar b di sekitar hasil estimasi  Demikan seterusnya sampai KB(  ) cukup kecil Dengan mengakhiri ujian maka parameter kemampuan  adalah sebesar hasil estimasi 

Ujian Adaptif Contoh 4 Ujian adaptif melalui butir model 1P terdiri atas 13 butir sebagai berikut Butir b 1 0,09 2 0,47 3 – 0,55 4 1,01 5 – 1,88 6 – 0,82 7 1,77 8 1,92 9 2,69 10 – 0, , , ,21

Ujian Adaptif Butir awal Butir ke-3 dengan b = – 0,55 yakni taraf sukar sedang Jawaban betul Butir kedua Butir lebih sukar yakni butir ke-12 dengan b = 0,23 Jawaban betul Butir ketiga Butir lebih sukar lagi yakni butir ke-7 dengan b = 1,77 Jawaban salah Butir keempat Butir agak mudah yakni butir ke-4 dengan b = 1,01 Jawaban betul

Ujian Adaptif Estimasi  Sudah cukup data untuk estimasi  Tiga dari empat butir dijawab betul sehingga P = 3 / 4 = 0,75 Q = 1 – P = 0,25 dan

Ujian Adaptif Daripadanya diperoleh KB(  ) masih cukup besar sehingga ujian diteruskan. Karena  = 1,727 maka cari butir dengan b di sekitar itu

Ujian Adaptif Butir kelima Butir ke-8 dengan b = 1,92 Jawaban bisa betul atau salah Untuk dapat meneruskan perhitungan ini, kita memerlukan jawaban responden betul atau salah