Bab 28 Ujian Sekuensial dan Adaptif. ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------

Presentasi berjudul: "Bab 28 Ujian Sekuensial dan Adaptif. ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------"— Transcript presentasi:

1 Bab 28 Ujian Sekuensial dan Adaptif

2 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Bab 28 UJIAN SEKUENSIAL DAN ADAPTIF A. Pendahuluan 1. Ujian Konvensional Responden secara serentak atau secara bergiliran mengerjakan sejumlah butir ujian yang sama yang sudah ditentukan Kemampuan responden dan taraf sukar butir dapat saja cocok dan dapat juga tidak cocok Dalam hal taraf sukar butir tidak atau kurang cocok dengan kemampuan responden, ketepatan ukur menjadi rendah

3 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ 2. Ujian Adaptif Taraf sukar butir ujian dicocokkan atau diadaptasikan dengan kemampuan responden Mula-mula responden diberikan butir dengan taraf sukar sedang Jika responden menjawab dengan betul maka responden diberikan butir berikut yang lebih sukar Jika responden menjawab dengan salah maka responden diberikan butir berikut yang lebih mudah Demikian seterusnya sampai terjadi kestabilan dan pada saat itu, kemampuan responden ditentukan oleh taraf sukar butir Cara ini memerlukan bank butir dan perhitungan kemampuan responden yang cepat setiap kali responden selesai menjawab satu butir

4 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ 3. Keunggulan dan Kelemahan Keunggulan ujian adaptif Responden tidak perlu menjawab butir yang terlalu mudah atau yang terlalu sukar baginya Biasanya responden mengerjakan ujian yang lebih pendek dan dalam waktu yang lebih singkat Para responden tidak perlu menjawab butir yang sama Sekor ujian, berupa kemampuan responden, langsung diketahui Jika dikerjakan di layar komputer maka tidak diperlukan kertas lembar jawaban

5 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Kelemahan ujian adaptif Responden belum terbiasa dengan cara ini sehingga banyak responden yang gelisah Ujian terbatas pada bentuk ujian pilihan ganda Responden tidak dapat mengubah jawaban pada butir yang telah dijawabnya Masih memerlukan studi tentang besarnya peningkatan atau penurunan taraf sukar butir dari butir ke butir Masih memerlukan studi tentang penentuan butir terakhir apakah pada jawaban salah atau pada jawaban betul Memerlukan bank butir yang dapat digunakan secara interaktif

6 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ 4. Hal yang Memerlukan Ketentuan pada Ujian Adaptif Pemilihan model Ada yang pro model 1P dan ada pula yang pro model 2P dan 3P Bank butir Memerlukan bank butir yang luas isinya serta lengkap catatannya Butir awal Memerlukan pemikiran tentang butir bagaimana yang sebaiknya dijadikan butir awal Butir berikut Memerlukan pemikiran tentang butir bagaimana yang sebaiknya dijadikan butir berikutnya Metoda estimasi Metoda estimasi apa yang digunakan untuk mengestimasi kemampuan responden

7 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Butir akhir Memerlukan pemikiran tentang butir bagaimana yang sebaiknya dijadikan butir terakhir Pembahasan tentang hal yang perlu ditentukan ini melahirkan berbagai prosedur ujian adaptif, mencakup Prosedur titik keputusan (decicion point) Prosedur dua tahap atau multitahap (two-stage, multistage Prosedur fleksilevel atau jenjang langkah (flexilevel, step ladder) Prosedur bercabang (branching) Prosedur kontrol keliru (error controlled)

8 ------------------------------------------------------------------------------ Ujian Adaptif ----------------------------------------------------------------------------- B. Ujian Sekuensial dan Kekeliruan Keputusan 1. Pendahuluan Ujian sekuensial Ujian adaptif berlangsung secara sekuensial sehingga cara pengambilan keputusannya dapat dikaji Kekeliruan keputusan Kekeliruan keputusan dapat berupa keliru positif (false positive) atau keliru negatif (false negative) Keliru positif Diputuskan lulus (positif) pada hal seharusnya gagal Keliru negatif Diputuskan gagal (negatif) pada hal seharusnya lulus

9 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ 2. Pengujian Secara Sekuensial Sediakan sejumlah butir menurut standar kelulusan yang telah ditentukan Responden mengerjakan lebih banyak butir di sekitar standar kelulusan untuk menghasilkan keputusan Responden mengerjakan butir secara sekuensial sebanyak keperluan untuk sampai kepada keputusan lulus atau gagal Terdapat toleransi untuk keliru positif atau keliru negatif di dalam keputusan Keputusan lulus atau gagal berlangsung di dalam batas toleransi itu

10 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ 3. Rumus Keputusan Notasi pada rumus keputusan n = banyaknya butir yang dikerjakan c = kriteria sekor kelulusan p 0 = nilai di bawah c sebagai batas toleransi kekeliruan, tidak apa-apa meluluskan responden dengan kemampuan p 0 atau lebih (keliru positif) p 1 = nilai di atas c sebagai batas toleransi kekeliruan, tidak apa-apa menggagalkan responden dengan kemampuan p 1 atau kurang (keliru negatif)  = probabilitas yang masih dapat diterima untuk keliru meluluskan responden dengan kemampuan di bawah p 0

11 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------  = probabilitas yang masih dapat diterima untuk keliru menggagalkan responden dengan kemampuan di atas p 1 r n = banyaknya butir, bagian dari n, yang harus dijawab betul untuk lulus w n = banyaknya butir, bagian dari n, yang harus dijawab salah untuk gagal p1p1 p0p0 Keliru gagal Keliru lulus c

12 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Rumus keputusan lulus gagal terus uji c n

13 ------------------------------------------------------------------------------ Uji Adaptif ------------------------------------------------------------------------------ Contoh 1 Pada suatu ujian ditentukan n = 20 c = 0,75 p 0 = 0,65 p 1 = 0,80  = 0,10  = 0,05 Masukkan ke dalam rumus diperoleh

14 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ sehingga r 20 = 2,93 +(0,73)(20) = 17,53 dibulatkan 18 w 20 = – 3,77 + (0,73)(20) = 10,83 dibulatkan 10 Jadi dengan n = 20 butir betul 18 atau lebih  lulus salah 10 atau lebih  gagal betul 11 sampai 17, harus mengerjakan butir yakni butir ke-21, 22, 23, … Batas lulus L dan gagal G adalah dan pada contoh ini batas itu adalah

15 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Dalam bentuk grafik Y 1,00 0,8 0,6 0,4 0,2 1020304050 n 0,75 lulus gagal c terus uji

16 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ C. Prosedur Titik Keputusan 1. Sasaran Prosedur ini ditujukan ke pengambilan keputusan misalnya dalam penerimaan karyawan, siswa, atau dispensasi 2. Prosedur Ada patokan untuk butir sehingga siapkan butir menurut patokan Estimasi kemampuan dapat dilakukan melalui metoda kebolehjadian maksimum, metoda Bayes, dan lainnya Ada standa kemampuan untuk penerimaan atau penolakan Tidak dibicarakan di sini

17 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ D. Prosedur Dua Tahap atau Multitahap 1. Dua Tahap Tahap 1 Penjajakan Pendek dan hasil olahannya digunakan untuk menentukan letak responden pada tahap ke-2 Tahap 2 Pengukuran Butir dengan taraf sukar berbeda tetapi di sekitar taraf sukar yang sesuai dengan kemampuan responden yang diperoleh dari tahap 1 Dari pengukuran ini diperoleh sekor responden melalui rumus

18 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Sekor responden N = banyaknya butir yang dijawab oleh responden b i = taraf sukar butir ke-i p i = probabilitas jawaban betul = 1 salah = 0 Contoh 1 Taraf sukar butir b i 0,1 0,3 1,0 1,5 Jawaban p i 1 1 1 0  = (0,1 + 0,3 + 1,0) / 4 = 0,35

19 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ 2. Multitahap Kalau tahap kedua dirasakan belum memadai maka ujian diteruskan ke tahap selanjutnya Menurut pengalaman, tahap 1 penjajakan sering kurang cermat dengan kekeliruan sampai 20% 3. Masalah Cara ini memerlukan sejumlah ketentuan mencakup Taraf sukar butir yang perlu disediakan Berapa besar lompatan taraf sukar butir dari satu butir ke butir berikutnya Kapan pengukuran atau ujian berakhir

20 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ E. Prosedur Flaksilevel atau Jenjang Berlangkah 1. Pelaksanaan Responden diberikan butir bertaraf kesukaran sedang dari satu seri butir Jika jawaban betul maka butir berikut lebih sukar. Jika jawaban salah maka butir berikut lebih mudah Butir terakhir dapat lebih sukar atau lebih mudah serhingga diberikan sekor 0,5 saja 2. Pensekoran Sekor adalah jumlah jawaban betul ( p i = 1)

21 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Contoh 2 Ujian terdiri atas 21 butir dengan butir 1 termudah dan butir 21 tersukar. Dimulai pada butir 11. Hasilnya Butir Aturan Hasil Jika betul ke Jika salah ke 11 12 10 salah 10 12 9 betul 12 13 9 betul 13 14 9 betul 14 15 9 salah 9 15 8 betul 15 16 7 salah 7 16 5 salah 5 16 4 betul 16 17 3 betul sekor  = (5 + 0,5) / 11 = 0,545

22 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Kelemahan Makin lama, jarak di antara butir mudah dan butir sukar makin jauh (3 dan 17 pada contoh 2) Ada kalanya responden tidak mentaati petunjuk yang diberikan. Ada laporan kasus, 15% dari 635 responden menyimpang dari petunjuk (tidak dijelaskan penyimpangan yang bagaimana) Ada kalanya responden menggunakan waktu lebih lama pada butir sukar daripada butir mudah

23 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ F. Prosedur Percabangan 1. Pendahuluan Ada beberapa jenis percabangan namun bentuk umum adalah seperti fleksilevel. Jika betul ke butir lebih sukar, jika salah ke butir lebih mudah termudah Butir 11 Butir 7 Butir 4 Butir 12 Butir 2 Butir 8 Butir 1 Butir 5 Butir 13 Butir 3 Butir 9 Butir 6 Butir 14 Butir 10 Butrir 15 tersukar

24 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ 2. Prosedur Percabangan Naik-Turun (NT) Misalkan selisih taraf sukar di antara dua butir berdekatan adalah  Responden sedang mengerjakan butir ke-i dengan taraf sukar b i dan butir berikut adalah jika betul b i+1 = b i +  jika salah b i+1 = b i –  Besaran  dapat diatur Sekor butir N = banyaknya butir yang dikerjakan Jawaban betul p i = 1 jawaban salah p i = 0

25 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ 3. Prosedur Percabangan Tinggi-Rendah (TR) Seperti pada NT, tetapi beda taraf sukar butir boleh lebih atau kurang dari  Jika betul b i+1 = b i + t  Jika salah b i+1 = b i – r  Misalnya t = 1, r = 2, dan  = 0,1 sehingga Jika betul b i+1 = b i + 0,1 Jika salah b i+1 = b i – 0,2 Biasanya kalau ada faktor terka jawaban maka r > t Untuk N langkah diperlukan 2 N – 1 butir

26 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ 4. Prosedur Percabangan Robbins-Monro Pelaksanaan seperti prosedur percabangan lainnya dengan mengatur  Dari langkah ke langkah, nilai  makin diperkecil Pada butir terakhir lompatan taraf sukar menjadi cukup kecil Dengan  makin kecil, estimasi hasil makin diperhalus sehingga akurasi makin tinggi

27 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ G. Prosedur Kontrol Keliru 1. Pendahuluan Setiap kali ada jawaban maka setiap kali itu pula nilai parameter kemampuan diestimasi dan kekeliruan bakunya dihitung Ada ketentuan batas kekeliruan baku untuk menghentikan ujian, misalnya, 0,05 atau 0,01 Apabila batas kekeliruan baku belum dicapai maka taraf sukar butir berikut disesuaikan melalui fungsi informasi I(  ) terbesar Biasanya pelaksanaannya memerlukan bantuan komputer untuk melakukan estimasi dan menghitung kekeliruan baku

28 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Diagram alir

29 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Keterangan A = Menyiapkan sejumlah butir dengan parameter yang diketahui B = Menyajikan butir dengan b sedang dan a tinggi C = Sebelum dapat mengestimasi , naikkan b dan turunkan a D = Estimasi  dan hitung KB(  ) E = Apabila  KB(  ) belum cukup kecil ke F atau jika cukup kecil ke berhenti F = Estimsai fungsi informasi I(  ) dari semua butir di A G = Menyajikan butir dengan I(  ) terbesar 2. Prosedur Kontrol Keliru Prosedur kontrol keliru dilakukan melalui contoh sebagai berikut

30 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Contoh 3 Suatu ujian terdiri atas 13 butir dengan parameter butir sebagai berikut Butir Parameter butir a b c 1 1,11 0,09 0,22 2 1,21 0,47 0,24 3 1,78 – 0,55 0,22 4 1,39 1,01 0,08 5 1,22 – 1,88 0,07 6 1,52 – 0,82 0,09 7 1,49 1,77 0,02 8 0,71 1,92 0,19 9 1,41 0,69 0,13 10 0,98 – 0,28 0,01 11 1,59 1,47 0,04 12 0,72 0,23 0,02 13 0,58 1,21 0,17

31 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Butir awal b sedang, a tinggi yakni butir ke-3 b 3 = – 0,55 a 3 = 1,78 jawaban betul Butir kedua b agak lebih tinggi yakni butir ke-12 b 12 = 0,23 a 12 = 0,72 jawaban betul, namun belum cukup untuk melakukan estimasi  Butir ketiga b lebih tinggi lagi yakni butir ke-7 b 7 = 1,77 a 7 = 1,49 jawaban salah. Sudah cukup untuk melakukan estimasi 

32 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Estimasi  melalui kebolehjadian maksimum L = (P 1 3 Q 0 3 )(P 1 12 Q 0 12 )(P 0 7 Q 1 7 ) = (P 3 )(P 12 )(Q 7 ) L maksimum dicapai pada  = 1,03 I(  ) = 0,97 KB(  ) = 1,02 Belum menemukan  KB(  ) sehingga ujian diteruskan

33 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Menghitung fungsi informasi semua butir pada  = 1,03 Diteruskan ke butir lainnya, menghasilkan I 2 (1,03) = 0,547 I 3 (1,03) = (sudah) I 4 (1,03) = 1,192 I 5 (1,03) = 0,010 I 6 (1,03) = 0,051 I 7 (1,03) = (sudah) I 8 (1,03) = 0,143 I 9 (1,03) = 1,008 I 10 (1,03) = 0,251 I 11 (1,03) = 1,101 I 12 (1,03) = (sudah) I 13 (1,03) = 0,166 Fungsi informasi tertinggi I 4 (1,03) = 1,192 sehingga butir berikut adalah butir ke-4

34 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Butir keempat butir ke-4 b 4 = 1,01 a 4 = 1,39 jawaban betul Estimasi  melalui L = (P 3 )(P 12 )(Q 7 )(P 4 ) L maksimum menghasilkan  = 1,46 I(  ) = 2,35 KB(  ) = 0,65 sehingga  KB(  ) = 1,02 – 0,65 = 0,37 Masih cukup besar sehingga ujian diteruskan dengan mencari butir dengan I(  ) atau I(1,46) terbesar di antara sisa butir Demikian seterusnya dengan hasil pada tabel sebagai berikut

35 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Hasil ujian Urutan Butir Jawaban  I(  ) KB(  )  KB(  ) 1 3 1 - - - - 2 12 1 - - - - 3 7 0 1,03 0,97 1,02 - 4 4 1 1,46 2,35 0,65 0,37 5 11 0 1,13 3,55 0,55 0,10 6 9 1 1,24 4,61 0,47 0,08 7 2 1 1,29 5,05 0,45 0,02 8 1 1 1,31 5,27 0,44 0,01 9 8 0 1,25 5,47 0,43 0,01 Ujian dihentikan setelah  KB(  )  0,01 Responden memeliki  = 1,25

36 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Tabel fungsi informasi butir I i (  ) Urutan  3 4 5 6 7 8 9 Butir 1,03 1,46 1,13 1,24 1,29 1,31 1,25 1 0,034 0,179 0,292 0,249 0,232 --- --- 2 0,547 0,319 0,494 0,433 --- --- --- 3 --- --- --- --- --- --- --- 4 1,192 --- --- --- --- --- --- 5 0,010 0,004 0,008 0,006 0,006 0,005 0,006 6 0,051 0,017 0,039 0,029 0,026 0,024 0,028 7 --- --- --- --- --- --- --- 8 0,143 0,205 0,159 0,175 0,182 0,186 --- 9 1,008 0,579 0,917 --- --- --- --- 10 0,251 0,136 0,219 0,187 0,175 0,168 0,184 11 1,101 1,683 --- --- --- --- --- 12 --- --- --- --- --- --- --- 13 0,166 0,175 0,170 0,173 0,174 0,174 0,173

37 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ H. Prosedur Kontrol-Keliru pada Model 1P 1. Pelaksanaan Dimulai dengan butir b sedang. Disusul oleh butir dengan b bertambah atau berkurang menurut betul atau salah pada jawaban Estimasi  memerlukan tinggi dan lebar ujian serta kekeliruan baku 2. Tinggi dan Lebar Ujian Tinggi ujian (test height) yakni rerata b Lebar ujian (test width) yakni rentangan b N = butir yang telah dikerjakan

38 ------------------------------------------------------------------------------ Ujian Adaptif ----------------------------------------------------------------------------- 3. Kemampuan  dan Kekeliruan Baku Jawaban Jawaban betul p i = 1 Jawaban salah p i = 0 Probabilitas Substitusi A = 1 – e -wP B = 1– e –wQ C = 1 – e – w Kemampuan dan kekeliruan baku

39 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ 4. Pengakhiran Ujian Ujian diakhiri jika KB(  ) sudah cukup kecil misalnya ketika KB(  )  0,5 Jika KB(  ) masih cukup besar maka ujian diteruskan dengan menggunakan butir dengan taraf sukar b di sekitar hasil estimasi  Demikan seterusnya sampai KB(  ) cukup kecil Dengan mengakhiri ujian maka parameter kemampuan  adalah sebesar hasil estimasi 

40 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Contoh 4 Ujian adaptif melalui butir model 1P terdiri atas 13 butir sebagai berikut Butir b 1 0,09 2 0,47 3 – 0,55 4 1,01 5 – 1,88 6 – 0,82 7 1,77 8 1,92 9 2,69 10 – 0,28 11 1,47 12 0,23 13 2,21

41 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Butir awal Butir ke-3 dengan b = – 0,55 yakni taraf sukar sedang Jawaban betul Butir kedua Butir lebih sukar yakni butir ke-12 dengan b = 0,23 Jawaban betul Butir ketiga Butir lebih sukar lagi yakni butir ke-7 dengan b = 1,77 Jawaban salah Butir keempat Butir agak mudah yakni butir ke-4 dengan b = 1,01 Jawaban betul

42 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Estimasi  Sudah cukup data untuk estimasi  Tiga dari empat butir dijawab betul sehingga P = 3 / 4 = 0,75 Q = 1 – P = 0,25 dan

43 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Daripadanya diperoleh KB(  ) masih cukup besar sehingga ujian diteruskan. Karena  = 1,727 maka cari butir dengan b di sekitar itu

44 ------------------------------------------------------------------------------ Ujian Adaptif ------------------------------------------------------------------------------ Butir kelima Butir ke-8 dengan b = 1,92 Jawaban bisa betul atau salah Untuk dapat meneruskan perhitungan ini, kita memerlukan jawaban responden betul atau salah