Bab 27 Bank Butir dan Perakitan Ujian. ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------

Presentasi berjudul: "Bab 27 Bank Butir dan Perakitan Ujian. ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------"— Transcript presentasi:

1 Bab 27 Bank Butir dan Perakitan Ujian

2 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ Bab 27 BANK BUTIR DAN PERANGKAT UJIAN A. Pendahuluan 1. Kumpulan Butir Alat ukur termasuk ujian terdiri atas butir dan bahkan terdiri atas sejumlah butir Jika butir ini dikumpulkan maka kita memperoleh kumpulan butir Di dalam kumpulan butir terdapat berbagai macam kualitas butir dan pada umumnya kualitas itu tidak diketahui

3 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 2. Kualitas Butir Isi butir Butir memiliki isi berupa materi ujian termasuk klasifikasi mereka, seperti matematika bidang persamaan kuadrat Butir memiliki cara menjawab butir itu seperti betul-salah, pilihan ganda, dan sejenisnya Taraf sukar butir Biasanya taraf sukar butir diperoleh melalui teori responsi butir yakni parameter b Daya beda butir Jika diperlukan, maka daya beda butir juga diperhatikan, biasanya dalam bentuk parameter a pada teori responsi butir

4 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 3. Bank Butir Kita dapat mencatat kualitas setiap butir pada kumpulan butir termasuk keterangan pembuatan dan pemakaiannya serta bidang ilmunya Setelah itu kita juga dapat memilih butir yang memiliki kualitas yang memadai Kumpulan butir yang sudah dipilih ini beserta catatan tentang butir itu merupakan bank butir Jika isi bank butir ini sudah cukup banyak maka kita dapat menggunakannya untuk menyusun perangkat ujian Setelah butir digunakan di dalam perangkat ujian, maka catatan pada butir itu dapat ditambahkan dengan hasil dari penggunaan perangkat ujian itu

5 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 4. Catatan Butir pada Bank Butir Bergantung kepada cara mencatatnya, banyak hal tentang butir dicatat di dalam catatan butir Catatan butir mencakup hal-hal seperti Tanda pengenal butir berupa nomor butir Ciri butir seperti betul-salah, pilihan ganda, dan sebagainya Penulis butir serta saat pembuatannya atau revisinya Topik ilmu dari isi butir termasuk spesifikasinya Tanggal penggunaan butir itu Parameter butir pada waktu digunakan Statistik yang berkenaan dengan butir itu Kunci jawaban butir

6 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 5. Penyiapan Bank Butir Pertama Menetapkan butir mana yang memadai untuk dimasukkan ke dalam bank butir Kedua Perlu ada responden yang secara teratur dapat digunakan untuk menjawab butir sehingga dapat dilakukan analisis dan kalibrasi Untuk model 1P diperlukan 100 responden sedangkan untuk model 2P dan 3P diperlukan responden lebih dari itu Ketiga Perlu ditetapkan model responsi butir untuk keperluan estimasi parameter butir dan kekeliruan bakunya Ada yang menyukai model 1P serta ada yang menyukai model 2P atau 3P

7 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ Keempat Perlu menetapkan isi paparan catatan, klasifikasi, serta kriteria penerimaan dan penolakan butir Untuk semua ini diperlukan organisasi yang mengurus bank butir serta peralatan yang digunakan Biasanya organisasi yang mengurus bank butir perlu bekerja secara purnawaktu Biasanya alat yang digunakan mencakup perangkat komputer serta perangkat program basis data yang sesuai Diperlukan juga prosedur untuk menyimpan, memutakhirkan, menambah, membuang, serta menggunakan butir pada bank butir

8 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 6. Perancangan Bank Butir I. Butir A. Pemerolehan dan Pengembangan B. Klasifikasi C. Pengelolaan II. Ujian A. Perakitan B. Pengadministrasian, Pensekoran, dan Pelaporan C. Evaluasi III. SisTem A. Pemerlolehan dan Pengembangan B. Peranti Lunak dan Peranti Keras C. Pemantauan dan Pelatihan D. Pengaksesan dan Keamanan

9 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ IV. Penggunaan dan Penerimaan A. Umum B. Peningkatan instruksional C. Pengujian Adaptif D. Sertifikasi Kompetensi E. Evaluasi Program dan Kurikulum F. Keperluan Pengujian dan Pelaporan yang Ditentukan oleh Pihak Luar V. Biaya A. Kelayakan Biaya B. Perbandingan Biaya

10 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ B. Pencatatan pada Bank Butir 1. Pendahuluan Perlu dirancang sistem pencatatan butir pada bank butir yang akan dibuat Untuk penghematan pencatatan, biasanya, sistem pencatatan menggunakan sandi yang singkat Perlu dibuatkan program untuk menyimpan, mengedit, mengembangkan atau menambah, membuang, serta menggunakan butir Di sini kita melihat tiga contoh sistem pencatatan

11 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ----------------------------------------------------------------------------- 2. Sistem Pencatatan D’costa Contoh catatan No. Ruas data Isi ruas data 1 Nomor butir : 008 2 Corak butir : A 25.00 3 Penulis butir, tanggal buat : Susi Setiawan tanggal revisi terakhir : 04-89 07-92 4 Nomor topik dan subtopik : 01.00 01.10.00.00 5 Pendorong untuk belajar : Perbedaan di an- tara ujian, pengu- kuran, dan evaluasi 6 Bobot tiap pilihan, norma : 11432 11432 lulus, kelemahan, kemampu- 1010001010 an responden 7 Anjuran untuk belajar bagi : Lihat definisi tentang responden yang gagal ketiga besaran 8 Tanggal penggunaan : 11-07-92

12 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ Penjelasan Butir nomor 008 Corak butir A 25.00; D’costa menggunakan 23 corak berupa A, B, C, …, V; Corak A adalah betul-salah dengan alasan; corak K adalah memilih lebih dari satu pilihan Penulis butir, tanggal buat, dan tanggal revisi adalah Susi Setiawan 04-89 07-92 Nomor topik dan subtopik pelajaran, dalam hal ini, adalah 01.00 dan 01.10.00.00 Pendorong untuk belajar berupa perbedaan di antara ujian, pengukuran, dan evaluasi Bobot tiap pilihan, norma batas lulus, kelemahan dan ke- mampuan responden berupa sandi 11432 11432 1010001010 Anjuran belajar bagi mereka yang gagal lihat definisi besaran Tanggal penggunaan 11-07-92

13 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 3. Sistem UCLA (Universiity of California Los Angeles) Pada suatu saat, di dalam basis data Banker.dbf, UCLA tercatat Field Name Type Width Deci 001 idno C 005 000 002 form C 040 000 003 passage C 005 000 004 content C 008 000 005 difcal N 006 002 006 sem N 004 002 007 tfit N 006 002 008 tfitb N 006 002 009 disc N 005 002 010 pbis N 005 002 011 erim N 004 002 012 class C 001 000 013 item C 065 000 014 iteml C 145 000 015 itemo C 145 000 016 difcal2 N 006 002 017 difcal3 N 006 002 018 difcal N 006 002 019 key C 001 000

14 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ Keterangan Ruas 001: nomor identifikasi 002: nomor format 003: ungkapan apakah aeda keliru dengar, baca, atau tulis pada pengujian 004: isi butir 005: edifficulty calibration 006: standard error of measurement 007: overall fit t-value 008: between group fit t-value 009: discrimanibility statistic 010: point biserial 011: index of error impact 012: classification information 013: item in short form 014: item in long form 015: item multiple choice option 016: difficulty calibration 017: difficulty calibration 018: difficulty calibration 019: key

15 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 4. Sistem Educo International, Inc Sandi butir terdiri atas 8 digit X X X X X X X X (1) (2) (3) (4) (5) (6) (7) (8) (1) sandi pelajaran (2) bab (3) seksi (4) tujuan instruksional (5) (6) nomor butir (7) (8) nomor versi Misal: A2310403 A = aljabar 2 = bab 2 3 = seksi 3 1 = tujuan instruksional 1 04 = butir nomor 4 03 = versi nomor 3

16 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ Sandi mata pelajaran B = matemtika dasar D = pra-aljabar A = aljabar mula I = aljabar menengah tradisional M = aljabar menengah modern P = pra-kalkulus R = aljabar perguruan tinggi C = kalkulus I dan II G = geometri S = statistika L = biologi K = kimia E = ilmu lingkungan H = fisika

17 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 5. Ukuran Bank Butir Biasanya ukuran bank butir adalah besar dengan banyak butir Misal Ada 10 bab dengan rerata 5 seksi Tiap seksi 4 tujuan instruksional Tiap tujuan instruksional 5 butir Setiap butir ada 4 versi Total = 10 x 5 x 4 x 5 x 4 = 4000 butir Tiap pelajaran dalam bank butir mengandung ribuan butir

18 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ C. Seleksi Butir dan Pengembangan Bank Butir 1. Pendahuluan Butir yang akan dimasukkan ke dalam bank butir perlu diseleksi terlebih dahulu Hanya butir yang memadai yang dimasukkan ke dalam bank butir Butir diseleksi setelah butir itu digunakan pada uji coba dan memberikan keterangan tentang butir itu Ada kalanya uji coba butir dilakukan dengan menitipkan butir itu ke dalam perangkat ujian Butir yang terseleksi memerlukan kalibrasi untuk disesuaikan dengan metrik pada bank butir

19 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 2. Penggandengan (linking) Bank butir dapat dibentuk dari awal dengan mencari butir-butir yang memadai Bank butir dapat juga disusun dengan jalan menggandengkan (linking) dua atau lebih bank butir melalui kalibrasi Bank butir dapat juga diperluas dengan menggandengkan bank butir lain ke bank butir yang ada melalui kalibrasi Bank butir dapat dikembangkan dengan menggandengkan butir- butir baru ke bank butir melalui kalibrasi

20 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 3. Menambah Isi atau Mengganti Butir Usang pada Bank Butir Untuk mengembangkan bank butir, butir baru ditambahkan ke dalam bank butir Karena perubahan kurikulum, butir menjadi usang sehingga butir perlu diganti Pada penambahan atau penggantian butir, butir baru perlu dikalibrasi ke metrik butir yang ada di dalam bank butir Kalibrasi butir dilakukan melalui penyetaraan parameter ke metrik pada bank butir Jika kalibrasi dilakukan terhadap butir yang belakangan masuk, lama-lama kekeliruan kecil berakumulasi menjadi besar

21 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ Akumulasi kekeliruan kecil penyetaraan Keliru kecil Kumulasi keliru kecil menjadi besar

22 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 4. Kalibrasi Gandeng Melingkar Untuk menghindari kumulasi keliru kecil pada kalibrasi dilakukan kalibrasi gandeng melingkar Kumulasi keliru G AB + G BC + G CA = 0 Di UCLA, gandengan ini dilingkarkan pada ujian di empat musim: musim semi, musim panas, musim gugur, dan musim dingin   Ujian A Ujian BUjian C G AB G BC G CA

23 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 5. Kekeliruan pada Penyetaraan pada Model 1P Kekeliruan baku konstanta translasi ketika penyetaraan skala dilakukan di antara ujian A dan ujian B Kekeliruan penyetaraan adalah dengan M = banyaknya peserta yang mengerjakan butir gandengan N = banykanya butir gandengan b iA = taraf sukar butir pada butir gadengan di A b iB = taraf sukar butir pada butir gandengan di B

24 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ----------------------------------------------------------------------------- 6. Distrubusi Probabilitas Kekeliruan Penyetaraan Kekeliruan penyetaraan membentuk distribusi probabilitas khi-kuadrat Pada satu butir gandengan Pada semua butir gandengan Melalui gandengan melingkar, kekeliruan penyetaraan ini dapat dicegah

25 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ D. Perakitan Perangkat Ujian 1. Cara perakitan Perakitan perangkat ujian dilakukan dengan mengambil butir dari bank butir Dengan sasaran ukur atau ujian tertentu, pengambilan butir dari bank butir dilakukan dengan memilih butir dengan karakteristik yang memadai Karena itu isi bank butir harus cukup banyak sehingga pemilihan dapat dilakukan dengan bebas Dengan banyaknya isi bank butir peserta ujian tidak dapat mengingat semua isi bank butir

26 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ----------------------------------------------------------------------------- 2. Sasaran Ujian Sebelum perangkat ujian dirakit diperlukan sasaran ujian yang ditentukan Sasaran ujian ditentukan melalui fungsi informasi sasaran ujian Sasaran ujian yang berbeda memerlukan fungsi informasi sasaran ujian yang berbeda Selain bentuk fungsi informasi sasaran ujian, taraf sukar butir juga perlu ditentukan terlebih dahulu Dengan fungsi informasi sasaran ujian yang ditentukan dipilih butir dari bank butir agar fungsi informasi ujian memenuhi bentuk fungsi informasi sasaran ujian Dalam pelaksanaannya dapat saja butir dipasang dan dicabut sehingga mencapai bentuk yang ditentukan

27 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ Contoh fungsi informasi sasaran ujian Pada suatu ujian, fungsi informasi sasaran ujian yang ditentukan adalah sebagai berikut Sasaran: I(  ) = 4,00 KB(  ) = 0,50 – 3    3 Fungsi informasi ujian  1 2 3 4 5 –2–10123 sasaran

28 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ Contoh lain fungsi informasi sasaran ujian Pada suatu ujian, fungsi informasi sasaran ujian yang ditentukan adalah sebagai berikut Sasaran: I(  ) = 4,00 KB(  ) = 0,50 – 3    3 Fungsi informasi ujian  1 2 3 4 5 –2–10123 sasaran

29 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 3. Spesifikasi Ujian Perlu ada kejelasan tentang dimensi yang akan diukur dengan ujian Perlu ada ketentuan tentang panjang ujian Perlu ada ketentuan tentang bentuk fungsi informasi sasaran ujian Perakitan perangkat ujian dapat dilakukan dengan bantuan komputer berdasarkan spesifikasi ujian Bank butir perlu mengandung cukup banyak dan berjenis butir sehingga dapat memenuhi keperluan yang ditentukan oleh spesifikasi ujian

30 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 4. Pemilihan Butir Isi butir perlu sesuai dengan sasaran ukur yakni memenuhi syarat validitas Dicari butir yang sesuai yakni dari bank butir dipilih butir yang dapat mengisi wilayah fungsi informasi sasaran ujian (termasuk bagian wilayah yang susah diisi) Setelah menemukannya, butir ditambahkan ke dalam perangkat ujian dan hitunglah fungsi informasi ujian Teruskan pengisian dengan butir sehingga fungsi informasi ujian cukup memenuhi fungsi informasi sasaran ujian

31 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ Contoh pengisian perangkat ujian Masih perlu dicari butir dengan parameter yang dapat mengisi wilayah fungsi informasi sasaran ujian yang masih belum terisi Fungsi informasi ujian 1 2 3 4 5  –2–10123 10 butir 15 butir 20 butir

32 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 5. Rancangan Perangkat Ujian Optimal Tentukan fungsi informasi sasaran ujian Memilih butir sehingga secara aditif, fungsi informasi ujian mencapai sasaran, dengan Minimisasi panjang ujian Maksimisasi fungsi informasi ujian Minimisasi penyimpangan dari fungsi informasi sasaran ujian Minimisasi waktu penyelenggaraan ujian Kombinasi dari hal di atas Pelaksanaannya dilakukan dengan bantuan komputer

33 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ 6. Pengembangan Perangkat Ujian Pengembangan perangkat ujian mencakup Konseptualisasi Ujian Konstruksi Ujian Ujian Coba Ujian Analisis Butir Revisi Butir Konseptualisasi Ujian Tujuan ujian Kegiatan Rintisan (pilot) Konstruksi Ujian Penskalaan Penulisan Butir Pensekoran Butir

34 ------------------------------------------------------------------------------ Bank Butir dan Perakitan Ujian ------------------------------------------------------------------------------ Uji Coba Ujian Kriteria Butir Baik Reliabilitas Validitas Validasi Silang Analisis Butir Taraf Sukar Butir Daya Beda Butir Pemeriksaan Pengecoh (untuk pilihan ganda) Revisi Ujian Cara Revisi