ITEM DEVELOPMENT & REVIEW

Presentasi berjudul: "ITEM DEVELOPMENT & REVIEW"— Transcript presentasi:

1 ITEM DEVELOPMENT & REVIEW
Divisi Ujian Tulis Uji Kompetensi Perawat Indonesia (Jakarta, 9-10 Januari 2013)

2 PENJAMINAN MUTU INPUT SOAL REVIEWER PROSES REVIEW OUTPUT
SOAL TERSTANDARISASI

3 Multiple Choice Question (MCQ)
Paling terkenal Mengevaluasi kawasan knowledge secara cepat Kelompok besar Kelemahan: tidak dapat digunakan untuk menilai area psikomotor Potensial untuk mengukur analisis, aplikasi dari pengetahuan dan problem solving

4 Kenapa MCQ A type ? Paling umum digunakan pada ujian lisensi oleh profesi-profesi (standardized test) Cost effective untuk skala besar Paling objektif & reliable (tanpa halo effect) Memungkinkan berbagai variasi dan topik Sulit & memakan waktu untuk dibuat

5

6 Multiple Choice Question
Ujian Tulis Multiple Choice Question One Best Answer

7 Why… One Best Answer Jenis soal 1-2-3-4 lebih mudah ditebak
Soal sebab akibat sering membingungkan, aspek bahasanya terlalu rumit Satu pilihan terbaik, mencerminkan peran profesional yang harus mencari alternatif terbaik bagi klien

8 Kesalahan pada MCQ Hanya menguji kemampuan mengingat – sering hanya hal yang trivia Tidak menguji aplikasi atau integrasi pengetahuan Tidak menguji kemampuan daya nalar dan pemecahan masalah Tidak konsisten dengan prinsip-prinsip pendidikan masa kini Lebih meningkatkan kemampuan memorisasi dari pada pemahaman

9 Panduan umum konstruksi MCQ
Yakinkan bahwa setiap soal dapat dijawab tanpa harus melihat pilihan jawaban atau yakinkan bahwa pilihan jawaban adalah 100 % benar atau salah. Usahakan agar data atau informasi penting seoptimal mungkin dicantumkan pada soal (stem), sedangkan pilihan jawaban usahakan sesingkat mungkin.

10 Panduan umum konstruksi MCQ
Hindari informasi berlebihan pada soal. Hindari soal-soal yang bersifat menjebak dan terlalu kompleks serta tidak relevan. Gunakan pilihan jawaban yang secara gramatikal konsisten dan secara logis kompatibel dengan soal.

11 Panduan umum konstruksi MCQ
Hindari kata-kata absolut seperti, selalu, tidak pernah, dan semua pada pilihan jawaban, dan hindari pula istilah yang tidak jelas (meragukan) seperti biasanya atau sering. Hindari kalimat atau frase negatif seperti KECUALI, TIDAK, atau BUKAN. Fokuskan soal pada konsep-konsep penting, dan hindari hanya menguji kemampuan mengingat fakta.

12 Panduan umum konstruksi MCQ
Fokuskan soal-soal pada konsep penting dan kasus-kasus yang sering serta memiliki potensi masalah serius. Setiap soal diusahakan agar menilai aplikasi pengetahuan, tidak hanya menguji daya ingat terhadap fakta terisolasi. Seluruh distraktor (pengecoh= jawaban salah) dibuat homogen (dari sisi gramatikal,panjang pendeknya kalimat).

13 Panduan umum konstruksi MCQ
Hindari kesalahan teknis membuat soal, seperti : Pilihan jawaban terlalu panjang, kompleks, atau ganda. Istilah yang rancu pada pilihan jawaban. Pilihan jawaban tidak menurut urutan logik. Bukan salah satu di atas atau semua benar digunakan sebagai pilihan jawaban

14 Panduan umum konstruksi MCQ
Pilihan pada jawaban memberikan petunjuk logik pada jawaban yang benar. Pilihan jawaban yang benar adalah frase atau kalimat terpanjang. Penggunaan kata-kata yang diulang atau memiliki makna sama baik pada soal maupuin pilihan jawaban. Strategi konvergens pada pilihan jawaban.

15 TEMPLETE SOAL ID soal (diisi kode identitas oleh panitia ) Tinjauan
Jabaran Tinjauan 1 Praktik profesional, etis, legal dan peka budaya Perawatan dan manajemen asuhan keperawatan Pengembangan profesional Tinjauan 2 Kognitif Pengetahuan aplikasi prosedural (prosudural knowledge) Pengetahuan afektif (konatif) Tinjauan 3 KMB/ Maternitas/ Anak/ Jiwa/ Keluarga/ Gerontik/ Manajemen/ Gadar Tinjauan 4 Pengkajian/ Penentuan diagnosis/ Perencanaan/ Implementasi/ Evaluasi Tinjauan 5 Promotif/ Preventif/ Kuratif/ Rehabilitatif Tinjauan 6 Oksigen/ Cairan& Elektrolit/ Nutrisi/ Aman dan Nyaman/ Eliminasi/ Aktifitas dan Istirahat/ Psikososial/ Komunikasi/ Seksual/ Nilai dan Keyakinan Tinjauan 7 Pernafsan/ Jantung & Pembuluh Darah dan Sistem Limfatika/ Pencernaan dan Hepatobilier/ Saraf dan Perilaku/ Endokrin dan Metabolisme/ Muskuloskeletal/ Ginjal dan Saluran Kemih/ Reproduksi/ Integumen/ Darah dan Sistm Kekebalan Tubuh/ Pengindraan/ Lain-lain Vignette : Pertanyaan Soal : Pilihan Jawaban : Kunci Referensi Nama Pembuat Institusi/bagian

16 STRUKTUR VIGNETTE LEAD IN OPTION

17 Jangan terlalu panjang / pendek
Vignete Bisa Berisi: Pernyataan Situasi Kasus pasien Ketentuan: Focus Logis Sistematis Jangan terlalu panjang / pendek

18 Vignette / kasus / stem (klinis)
Jenis kelamin, Umur (e.g. laki-laki 25 tahun) Kasus spesifik wanita  kehamilan Kasus anak-anak, dewasa, geriatri? Tempat pelayanan/setting (IGD, poli, puskesmas) Keluhan Utama Lama atau derajat keluhan Gejala penyerta dan keterangan lainnya Pemeriksaan fisik Pemeriksaan penunjang

19 Seorang (laki-laki/perempuan/anak laki-laki/anak perempuan) berusia …
Seorang (laki-laki/perempuan/anak laki-laki/anak perempuan) berusia …..tahun (datang/dibawa orang tuanya/dibawa keluarganya) ke (rumah sakit/Puskesmas/dokter praktik umum) dengan keluhan…….. Keluhan disertai……. Pasien diketahui…… Bekerja sebagai…… Pada pemeriksaan fisik (diperoleh/ditemukan/didapatkan) keadaan umum…… Pada pemeriksaan tanda vital diperoleh tekanan darah …mmHg, denyut nadi ….x/menit, frekuensi napas …x/menit dan suhu …. 0C. Pada pemeriksaan (obstetrik, dermatologik, visus, neurologik) (diperoleh/ditemukan/didapatkan) ……… Pada pemeriksaan laboratorium (darah/urine/feses/cairan serebro spinal) diperoleh ……. Pada pemeriksaan foto rontgen diperoleh gambaran………

20 Kasus / vignete Apakah ada pasien mengeluh anemia?
Seorang pasien datang dengan keluhan anemia. Tekanan darah 110/80mmHg, Apakah ada pasien mengeluh anemia? Apakah ada hubunganya antara anemia dengan tekanan darah? Apakah ada arah yang jelas dari kasus? Kasus terlalu pendek, tidak lengkap

21 Kasus (Vignete) Seorang pria berusia 70 tahun datang ke poliklinik dengan keluhan tidak mampu mengontrol pengeluaran urine. Keluhan ini menyebabkan pasien merasa malu dengan kondisinya dan membatasi aktifitas normalnya dan sebelumnya pernah dilakukan tindakan operasi prostat

22 Lead in (pertanyaan) Kata tanya di depan (apakah, manakah, dll)
Diakhiri dengan tanda tanya (?) Terpisah satu baris dari kasus (vignette) agar jelas terlihat

23 Contoh Pertanyaan yang Kurang tepat
Penyebab klien tidak bisa BAB sejak masuk kemungkinan disebabkan oleh Dari kasus diatas terdapat …….. masalah utama

24 Tip ! Vignette / kasus dianggap berfungsi jika tanpa vignete, pertanyaan tidak berfungsi dengan jelas Pertanyaan baik, terlihat bila peserta pintar bisa menebak jawaban tanpa melihat pilihan jawaban

25 Pilihan Jawaban Homogen: gramatikal, panjang-pendek.
Hindari absolutisme: selalu, tidak pernah. Hindari konvergensi. Hindari kesamaan istilah dengan vignette. Hindari urutan yang tidak sistematis  menyulitkan. Hindari kalimat: bukan salah satu di atas

26 Contoh pilihan yang kurang baik
a. Pernah mengalami cedera kepala b. Adanya luka pada telinga tengah atau penyakit telinga lainnya. c. Sering mengalami ISPA d. Mungkin secara hematogen e. Benar semua

27 A. Kesalahan yang berkaitan dengan testwiseness:
1. Grammatical Cues Contoh soal : Seorang ibu berusia 27 tahun, G2P1A0, kehamilan aterm, dirawat di ruang bersalin. Saat ini pasien mengeluh mules setiap 3 menit sekali, ingin mengedan. pasien terlihat gelisah, lendir darah keluar banyak, hasil pemeriksaan dalam: pembukaan 10 cm, porsio tidak teraba, ketuban (+), penurunan kepala janin di Hodge III +. Apa prioritas tindakan mandiri keperawatan pada pasien tersebut? berikan oksitosin pecahkan ketuban observasi kontraksi siapkan alat persalinan lakukan vacum ekstraksi Grammatical cues: satu atau lebih dari opsi jawaban tidak cocok dengan kalimat pertanyaan yang disusun dalam suatu soal. Hal ini terjadi karena penulis hanya memfokuskan diri dalam pembuatan atau pemilihan jawaban yang benar.

28 2. Logical Cues Contoh soal :
Bayi Laki-laki usia 10 bulan, dari hasil pemeriksaan BB 5 kg, tubuh tampak kurus, bayi tampak pucat pada telapak tangan, dasar kuku dan konjungtiva. Hasil pemeriksaan Hb : 10 gr%, kadar Fe darah rendah. Apa penyebab pucat yang di alami bayi? Berhentinya pembentukan sel darah merah pada sumsum tulang Tidak tercukupinya bahan baku pembuatan sel darah merah Keterbatasan kadar oksigen menyebabkan menurunnya energy Aliran darah ke otak menurun mengakibatkan kelemahan Adanya kemungkinan perdarahan. Logical cues: sebagian opsi jawaban telah memperlihatkan kemungkinan jawaban yang benar. Pada soal di atas mahasiswa yang cukup cerdas dapat melihat bahwa kemungkinan besar dari jawaban A, B, atau C terdapat jawaban yang benar

29 3. Istilah yang absolut Contoh soal : Seorang laki-laki, usia 60 tahun dirawat dengan diagnosa medik mitral insufficiency. Secara tiba-tiba malam ini TD 70/50 mmHg, Pernafasan cepat dan dangkal, kulit pucat, akral dingin, sianosis perifer. Kesadaran menurun dan pengeluaran urine dalam 4 jam terakhir 80 cc. Apakah prioritas tindakan keperawatan yang harus segera diberikan pada kasus diatas? Dapat diberikan terapi secara adekuat dengan nitroglyserin Dapat segera dilakukan tindakan penanganan DC Shock Tidak pernah dilakukan tindakan penanganan terapi cairan Selalu diberikan posisi semi fowler Selalu observasi balance cairan Istilah yang absolut: kata “selalu” atau “tidak pernah” digunakan dalam opsi jawaban Pada soal di atas, opsi A dan B mengandung makna yang tidak mutlak sebagaimana opsi C, D dan E

30 4. Jawaban benar yang panjang
Contoh soal : Seorang perawat komunitas akan melaksanakan asuhan keperawatan komunitas di wilayah kerjanya. Apakah yang perlu dilakukan perawat tersebut pada fase pra interaksi? Survei wilayah yang akan digunakan seperti sumber daya, sumber dana, dan keamanan Pencarian data primer masyarakat tentang kesehatan yang dialami Pengkajian langsung pada keluarga yang bermasalah Pertemuan dengan tokoh masyarakat Pendataan keluarga sesuai format

31 5. Pengulangan kata dari badan soal ke jawaban
Contoh soal : Seorang wanita berusia 20 tahun, suaminya meninggal dunia 6 bulan yang lalu karena kecelakaan, saat ini dirawat di unit psikiatri, karena sedih yang berlebihan , penampilan diri tidak rapi, murung, tidak bersemangat, tidak mau berinteraksi denga orang lain, pandangan mata kosong, merasa putus asa , cenderung menyalahkan diri sendiri dan ada pikiran merusak diri/ bunuh diri Apa yang menjadi faktor predisiposisi perilaku pasien dalam melakukan bunuh diri ? Rendah diri Impulsif Regresi Rasa bermusuhan Proses kehilangan

32 Contoh soal benar (benar; pengulangan kata tidak ada)
Seorang wanita berusia 20 tahun, suaminya meninggal dunia 6 bulan yang lalu karena kecelakaan, saat ini dirawat di unit psikiatri, karena sedih yang berlebihan , penampilan diri tidak rapi, murung, tidak bersemangat, tidak mau berinteraksi denga orang lain, pandangan mata kosong, merasa putus asa , cenderung menyalahkan diri sendiri dan ada pikiran merusak diri/ bunuh diri Apakah masalah utama pada pasien ini ? Harga diri rendah situasional Isolasi sosial Berduka disfungsional Koping mekanisme tidak efektif Regresi kronis Pembenaran soal: pada soal di atas, kata „harga diri rendah situasional“, tidak muncul pada kasus.

33 6. Konvergensi soal Contoh soal salah (salah; dalam jawaban yang benar ada kmponen-komponen yang paling sering muncul) (1) Seorang pasien dinyatakan nefrotik syndrome yang sedang menjalani perawatan di diruang perawatan urologi. Penatalaksanaan diet yang tepat pada pasien ini? TKTP TKTPRL TKTPRGTL TKTPRGRL TKTPTGRL Kesalahan yang berkaitan dengan kesulitan yang tidak perlu/relevan (Hiperlink dg materi word)

34 REVIEW SOAL

35 BAGAN ALIR REVIEW SOAL SOAL BARU ESENSIAL REVIEW TERSTRUKTUR
TIDAK ESENSIAL DIKEMBALIKAN

36 ASPEK REVIEW ISI STRUKTUR

37 ISI Apakah secara isi, topik soal yang ditanyakan esensial?
Rujukan: Blue Print Uji Kompetensi Perawat Indonesia

38 Vignette / kasus / stem (klinis)
Jenis kelamin, Umur (e.g. laki-laki 25 tahun) Tempat pelayanan/setting (IGD, poli, puskesmas) Keluhan Utama Lama atau derajat keluhan Gejala penyerta dan keterangan lainnya Pemeriksaan fisik Pemeriksaan penunjang

39 REVIEW VIGNETTE Bahasa yang digunakan pada vignette
Vignette terlalu pendek (tidak lengkap), atau terlalu panjang (tidak terkait logika option).

40 LEAD IN Menggunakan kata tanya secara langsung, sehingga dapat memenuhi “close the option rule”

41 OPTION Homogen: gramatikal, semantik, panjang- pendek.
Hindari absolutisme: selalu, tidak pernah. Hindari konvergensi. Hindari kesamaan istilah dengan vignette. Hindari urutan yang tidak sistematis  menyulitkan. Hindari kalimat: bukan salah satu di atas

42 Struktur Soal : Item Flaws
Grammatical Cues ( ) Ya ( ) Tidak Logical Cues ( ) Ya ( ) Tidak Istilah yang absolut ( ) Ya ( ) Tidak Jawaban benar yang panjang ( ) Ya ( ) Tidak Pengulangan kata dari badan soal ke jawaban ( ) Ya ( ) Tidak Konvergensi soal ( ) Ya ( ) Tidak Pilihan jawaban yang panjang, kompleks, atau duplikasi ( ) Ya ( ) Tidak

43 Struktur Soal : Item Flaws
Pilihan yang berupa angka tidak diurut sesuai dengan besarnya ( ) Ya ( ) Tidak Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi ( )Ya( ) Tidak Pilihan jawaban tidak paralel dan urutan tidak logis ( ) Ya ( ) Tidak Penggunaan BSSD (bukan salah satu di atas pada pilihan jawaban) ( ) Ya ( ) Tidak Badan soal terlalu panjang, sulit, dan kompleks ( ) Ya ( ) Tidak

44 Komentar Umum Reviewer
ID Soal : Kesimpulan Hasil Review ( ) Diterima tanpa perbaikan ( ) Diterima dengan perbaikan ( ) Perlu konfirmasi pembuat soal ( ) Tidak perlu konfirmasi dengan pembuat soal ( ) Dikembalikan kepada pembuat soal ( ) memerlukan perbaikan keseluruhan ( ) Berpotensi diterima dengan perbaikan

45 (DD) / (MM) / (YY) Saran Perbaikan Tanggal: Tanda Tangan Reviewer
Nama Jelas :

46 Alasan penolakan Isi tidak esensial Isi terlalu spesialistis.
Isi tidak realistis, terlalu teoritis (status gizi tanpa tabel tumbuh kembang). Tidak ada vignette. Vignette tidak berfungsi

47 Next step? Bekerja dalam kelompok untuk mereview soal- soal menggunakan formulir review yang ada.