ITEM REVIEW Forum Komunikasi Institusi Kebidanan Jawa Tengah Sri Handayani,S.Si.T,M.Kes.

KAIDAH UMUM Yakinkan setiap soal dapat diduga jawabannya tanpa harus melihat pilihan jawaban atau yakinkan pilihan jawaban 100 % benar atau salah. Usahakan data/informasi penting seoptimal mungkin dicantumkan pada soal (stem), pilihan jawaban usahakan sesingkat mungkin. Hindari informasi berlebihan pada soal.

KAIDAH UMUM Hindari soal bersifat menjebak dan terlalu kompleks serta tidak relevan. Gunakan pilihan jawaban yang secara gramatikal konsisten dan secara logis kompatibel dengan soal. Hindari kata absolut (selalu, tidak pernah), semua pada pilihan jawaban, dan istilah yang tidak jelas/meragukan (biasanya atau sering).

KAIDAH UMUM Hindari kalimat atau frase negatif seperti KECUALI, TIDAK, atau BUKAN. Hindari hanya menguji kemampuan mengingat fakta. Fokuskan soal pada konsep penting dan kasus-kasus yang sering serta memiliki potensi masalah serius.

KAIDAH UMUM Usahakan menilai aplikasi pengetahuan, tidak hanya menguji daya ingat terhadap fakta terisolasi. Soal lebih baik menekankan pada pertanyaan mengenai pengambilan keputusan klinik.

Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Tidak esensial Esensial Dikembalikan Review struktur

Struktur?

Struktur Vignette Lead in Option

STRUKTUR ITEM MCQ – A Type Stem (vignette) Pertanyaan (Lead in) Distraktor Jawaban benar

KESALAHAN STRUKTUR SOAL Testwiseness” adalah peserta ujian dapat menjawab soal bukan karena penguasaannya terhadap isi materi , tetapi karena kepintarannya dalam menebak jawaban yang benar. “irrelevant difficulty” adl kesulitan peserta ujian menjawab soal, bukan karena sulitnya materi yang diujikan, namun lebih ke arah sulitnya mahasiswa menjawab, yang ditimbulkan oleh struktur soal tersebut.

Kesalahan yang berkaitan dengan testwiseness: Grammatical Cues Logical Cues Istilah yang absolut Jawaban benar yang panjang Pengulangan kata dari badan soal ke jawaban Konvergensi soal

Kesalahan yang berkaitan dengan kesulitan yang tidak perlu/relevan Pilihan jawaban yang panjang, kompleks, atau duplikasi Angka tidak diurut sesuai dengan besarnya Mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi Tidak parallel dan urutan tidak logis Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban Badan soal terlalu panjang, sulit, dan kompleks 

Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Tidak esensial Esensial Dikembalikan Review struktur Vignette

Next step?

Checkpoint Bagaimanakah step mereview soal?

Apa saja yang perlu ditelaah ? Materi : Relevansi: Kongruensi Bahasa Tingkat kesulitan (tingkat kompetensi) Klasifikasi : e.g. Dasar atau klinik?

Apa saja yang perlu ditelaah ? Struktur : Stem Lead in Option Tinjauan (Blue Print) Kesimpulan Komentar umum dan saran Diterima/revisi/dikembalikan

Testwiseness Grammatical Cues Logical Cues Istilah yang absolut Jawaban benar yang panjang Pengulangan kata dari badan soal ke jawaban Konvergensi soal

Grammatical Cues Seorang pria, berusia 60 tahun, dibawa ke bagian gawat darurat oleh seorang polisi, yang menemukannya dalam keadaan tergeletak tidak sadarkan diri di sisi jalan. Setelah memastikan bahwa saluran pernafasan dalam keadaan tidak tersumbat, langkah pertama dalam manajemen adalah administrasi intravena: pemeriksaan cairan serebrospinal glukosa dengan vitamin B1 (thiamine) CT scan kepala fenitoin diazepam Grammatical cues: satu atau lebih dari opsi jawaban tidak cocok dengan kalimat pertanyaan yang disusun dalam suatu soal.

Logical Cues Kejahatan adalah: A. terjadi secara merata pada berbagai kelas social B. lebih sering muncul pada golongan orang miskin C. lebih sering muncul pada kelompok masyarakat menengah sampai kaya. D. pada dasarnya merupakan suatu indikasi psychosexual maladjustment E. mencapai keadaan toleransi yang plateau terhadap negara

Istilah yang absolut Pada pasien dengan demensia lanjut, tipe Alzheimer, defek memori yang terjadi: dapat diberikan terapi secara adekuat dengan fosfatidilkolin (lesitin) dapat merupakan sekuel dari parkinsonism dini tidak pernah terjadi pada pasien dengan neurofibrillary tangles pada otopsi tidak pernah menjadi berat mungkin melibatkan sistem kolinergik Istilah yang absolut: kata “selalu” atau “tidak pernah” digunakan dalam opsi jawaban Pada soal di atas, opsi A, B, dan E. Ini muncul ketika kata kerja dimasukan kedalam opsi jawaban dan bukan di dalam pertanyaan „lead-in“

Jawaban benar yang panjang Secondary gain adalah synonym dengan malingering Problem yang biasa timbul pada orang dengan gangguan obsessive-compulsive Komplikasi dari berbagai penyakit dan cenderung untuk memperlama waktu penyakit Tidak pernah timbul pada gangguan otak organic

Pengulangan kata dari badan soal ke jawaban Seorang pria berusia 58 tahun dengan riwayat penggunaan alkohol yang berat dan sebelumnya pernah dirawat karena gangguan psychiatric mengalami kebingungan dan agitasi. Dia mengatakan bahwa dunia ini tidak nyata (unreal). Keadaan ini disebut: depersonalisasi derailment Derealisasi * focal memory deficit tanda anxietas Pengulangan kata: pada soal di atas, digunakan kata „unreal“, sementara itu muncul kata „derealisasi“ pada pilihan jawaban C sebagai jawaban yang benar.

Konvergensi soal Anestesi lokal akan bekerja paling efektif pada kondisi: dalam bentuk anionic, bekerja dari dalam membrane syaraf dalam bentuk cationic, bekerja dari dalam membrane syaraf dalam bentuk cationic, bekerja dari luar membrane syaraf dalam bentuk tidak bermuatan, bekerja dari dalam membrane syaraf dalam bentuk tidak bermuatan, bekerja dari luar membrane syaraf Konvergensi: jawaban yang benar mengandung komponen – komponen yang paling sering muncul pada pilihan – pilihan yang lain (distraktor). Peserta dapat mengeliminasi „bentuk anionic“ sebagai jawaban yang benar, demikian pula dengan „dari luar membrane syaraf“ yang lebih jarang muncul dibandingkan dengan „dari dalam membrane syaraf“. Sehingga hanya pilihan B dan D yang mungkin benar, dan karena tiga pilihan mengandung „tidak bermuatan“ maka peserta akan menebak jawabanya adalah B

Irrelevant difficulty Pilihan jawaban yang panjang, kompleks, atau duplikasi Pilihan yang berupa angka tidak diurut sesuai dengan besarnya Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi Pilihan jawaban tidak parallel dan urutan tidak logis Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban Badan soal terlalu panjang, sulit, dan kompleks

PILIHAN JAWABAN YG PANJANG, KOMPLEKS ATAU DUPLIKASI Komite Peer review di HMO bisa menolak keputusan dokter dalam penanganan kesehatan anggotanya. Berkaitan dengan hal ini dokter sebelumnya harus telah menerima proses klarifikasi. Proses kalrifikasi tersebut termasuk apa saja? A. Peringatan, sebuah forum tertutup, pengadilan, kesempatan untuk didengar dan ditunjukkan bukti yang memberatkan. B. Peringatan yang tepat, pengadilan pengambilan keputusan, kesempatan untuk bertemu di pengadilan dengan saksi yang memberatkan dan kesempatan untuk menunjukkan bukti yang meringankannya. C. Peringatan yang tepat waktu dan dipercaya, pengadilan tertutup untuk pengambilan keputusan, kesempatan untuk mendengarkan bukti yang memberatkan dan bertatap muka dengan saksi yang memberatkan dan kesempatan untuk menunjukkan bukti yang meringankan.

Angka tidak urut sesuai dengan besarnya Apabila terjadi infeksi pada rongga pelvis yang berulang ( kedua kalinya), berapa kemungkinan seorang wanita mengalami keadaan infertile? A. kurang dari 20% B. 20 - 30% C. Lebih dari 50% D. 90% E. 75%

Mengandung unsur frekuensi kejadian bersifat multi interpretasi Penderita obesitas berat dewasa muda: A. biasanya berrespon secara dramatis terhadap regimen diet B. sering berkaitan dengan kelainan hormon C. memiliki kemungkinan 75 % untuk kembali normal secara spontan D. mempunyai prognosis yang buruks E. biasanya berrespon terhadap terapi obat dan psikoterapi intensif

Struktur Soal : Item Flaws Grammatical Cues ( ) Ya ( ) Tidak Logical Cues ( ) Ya ( ) Tidak Istilah yang absolut ( ) Ya ( ) Tidak Jawaban benar yang panjang ( ) Ya ( ) Tidak Pengulangan kata dari badan soal ke jawaban ( ) Ya ( ) Tidak Konvergensi soal ( ) Ya ( ) Tidak Pilihan jawaban yang panjang, kompleks, atau duplikasi ( ) Ya ( ) Tidak

Pilihan yang berupa angka tidak diurut sesuai dengan besarnya ( ) Ya ( ) Tidak Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi ( ) Ya ( ) Tidak Pilihan jawaban tidak paralel dan urutan tidak logis ( ) Ya ( ) Tidak Penggunaan BSSD (bukan salah satu di atas pada pilihan jawaban) ( ) Ya ( ) Tidak Badan soal terlalu panjang, sulit, dan kompleks ( ) Ya ( ) Tidak

Komentar Umum Reviewer ID Soal : Kesimpulan Hasil Review ( ) Diterima tanpa perbaikan ( ) Diterima dengan perbaikan ( ) Perlu konfirmasi pembuat soal ( ) Tidak perlu konfirmasi dengan pembuat soal ( ) Dikembalikan kepada pembuat soal ( ) memerlukan perbaikan keseluruhan ( ) Berpotensi diterima dengan perbaikan

Saran Perbaikan Tanggal: Tanda Tangan Reviewer Nama Jelas : (DD) / (MM) / (YY) Tanda Tangan Reviewer Nama Jelas :

Kesalahan umum dalam pembuatan soal yang perlu diwaspadai Ketidak sesuaian antara pertanyaan dengan kompetensi Ketidak sesuaian tingkat kesulitan soal dengan tingkat kognitif Kemaknaan klinis yang tidak relevan dengan kompetensi Bahasa dan kalimat tidak logis atau multi interprestasi Menanyakan sesuau yang bersifat hafalan (recall) sederhana Kasus (vignyet) tidak menggambarkan suasana klinis yang sebenarnya Subtansi tidak logis (misalnya data pemeriksaan kliniks dan atau laboratorium) Pilihan jawaban tidak homogen

Evaluasi butir soal secara umum Apakah butir soal relevan untuk menilai learning objectives dalam blok? Apakah tata bahasa, penulisan dan ejaan sudah benar? Apakah kosa kata yang tidak perlu dan sulit dipahami sudah dihindari? Apakah menggunakan kalimat-kalimat yang ringkas, berisi dan mudah dipahami?

Evaluasi butir soal secara spesifik menggunakan stem/vignette Apakah stem butir soal tidak mengandung materi yang tidak relevan? Apakah vignette berisi informasi/data yang memungkinkan mahasiswa yang kompeten mampu menjawab dengan benar? Apakah vignette merepresentasikan keadaan yang mungkin terjadi di konteks nyata? Apakah vignette memfoskuskan prinsip atau konsep penting/esensial yang perlu dimengerti oleh mahasiswa, bukan hanya soal hafalan? Apakah stem bisa dijawab oleh mahasiswa yang kompeten tanpa melihat jawaban yang tersedia? Apakah stem tidak menjebak dan juga tidak terlalu rumit?

Evaluasi Lead in Question: Apakah dibuat dengan kalimat tanya? Apakah telah dihindari menanyakan tentang opini? Apakah pertanyaan berhubungan dengan stem? Apakah telah dihindari penggunaan kata “kecuali”?  

Evaluasi Pilihan Jawaban Apakah alternatif jawaban sudah dibuat jelas dan singkat? Apakah alternatif jawaban sudah homogen? Apakah alternatif jawaban mempunyai panjang yang hampir sama dengan jawaban kunci? Apakah alternatif jawaban sudah menghindari alternatif yang tidak rasional? Apakah alternatif jawaban merupakan jawaban yang tidak benar atau kurang benar dibandingkan dengan jawaban kunci?

Lanjut ….. Apakah alternatif jawaban cukup menarik mahasiswa yang tidak kompeten untuk memilihnya? Apakah alternatif jawaban secara tata bahasa konsisten dan cocok dengan stem dan lead in question? Apakah alternatif jawaban sudah menghindari penggunaan “salah satu di atas” dan “bukan salah satu di atas”? Apakah alternatif jawaban sudah menghindari kata “selalu”, “jarang”, “kadang-kadang”? Apakah poin jawaban yang benar sudah diletakkan posisinya secara acak terhadap distractornya?

Bagan Alir Proses Review Soal baru Scanning isi soal terkait topik soal Tidak esensial Esensial Dikembalikan Review struktur Vignette Lead-in Option

The next steps?

Selamat bekerja