Item Developmental dan Review

Presentasi berjudul: "Item Developmental dan Review"— Transcript presentasi:

1 Item Developmental dan Review
Komponen 2 HPEQ (Health Professional Education Quality)

2 Workflow of Item Bank Administration
Item writer Local Item Bank Administrator Regional Item Bank Administrator National Item Review Item Bank 1 National Item Bank Administrator Panel expert Item Bank 2 Non scored items Item Bank 3 Item Selection process Question book Item Bank 4

3 Ciri Soal Uji Nasional

4 Masalah SOAL SOAL Ujian
Isi yang diujikan kurang relevan dg kompetensi Dominasi soal recalling Proporsi tidak konsisten Soal ada yg terlalu mudah/sulit Soal yang tidak layak masih sering keluar Tidak ada review thd soal yang digunakan Tidak melalui analisis item

5 Tahap Telaah soal (Review)
isi soal struktur soal Bila keduanya Baik: DITERIMA untuk di review

6 I S I Apakah secara isi, topik soal yang ditanyakan esensial dalam menjalankan pekerjaan ? Rujukan: Standard Kompetensi Baca soal sekilas, ambil kesan umum, Tentukan relevansi isi dengan Pekerjaan sebagai Nakes (Vokasional) Baru Lulus

7 Contoh soal Seorang laki-laki berusia 45 tahun di rawat di ruang interna. Hasil anamnesis pasien mengatakan susah bernapas,nafsu makan menurun, Sputum kental, batuk kering pada malam hari . Hasil pemeriksaan fisik ditemukan wheezing, menggunakan otot napas tambahan, gelisah, susah mengeluarkan sputum. TD : 130/90 mmHg, N : 88 kali/mnt, S : 38 C, P : 32 kali/mnt. Apakah prioritas masalah keperawatan pada kasus diatas ? Bersihan jalan napas tidak efektif Ketidak seimbangan Nutrisi Kerusakan pertukaran Gas Peningkatan suhu tubuh Gangguan pola tidur

8 STOP: Baca Soal … ! Apakah soal ini sangat penting untuk menjalankan pekerjaan sehari-hari? Apakah menanyakan hal yang bermanfaat untuk pekerjaan sehari hari ?

9 Waspadai Kesalahan umum dalam pembuatan soal
Ketidak sesuaian antara pertanyaan dengan kompetensi Ketidak sesuaian tingkat kesulitan soal dengan tingkat kognitif Kemaknaan klinis yang tidak relevan dengan kompetensi Bahasa dan kalimat tidak logis atau multi interprestasi Menanyakan sesuau yang bersifat hafalan (recall) sederhana Kasus (vignyet) tidak menggambarkan suasana klinis yang sebenarnya Subtansi tidak logis (misal; data pemeriksaan klinik dan laboratorium bertolak belakang) Pilihan jawaban tidak homogen

10 Struktur Soal Vignette/kasus/pernyataan Pertanyaan Pilihan jawaban

11 Vignete karakteristik: Logis Sistematis Bahasa
isi: Pernyataan Situasi Kasus pasien karakteristik: Logis Sistematis Bahasa Tidak terlalu panjang / pendek (maksimal 5 baris atau 50 kata)

12 Vignet/kasus Ya Tdk Logika kasus linear sesuai konsep dan klinis, managemen (kelimuan yang relefan) Bahasa sesuai EYD dan istilah baku Fokus pada masalah yang akan ditanyakan (tidak terlalu panjang dan kompleks)

13 Penulisan Stem ”vignette”) terdiri dari deskripsi data pasien dan skenario kliniknya dengan beberapa atau seluruh informasi di bawah ini: Umur dan jenis kelamin Tempat perawatan (contoh, Unit Emergensi) Keluhan utama Durasi dari keluhan Riwayat pasien lainnya yang berhubungan dengan keluhan Temuan Pemeriksaan Fisik Hasil-hasil pemeriksaan investigasi diagnostik Hasil-hasil terapi sebelumnya, atau penemuan selanjutnya.

14 Cara membuat kasus/vignet
Pikirkan suatu kejadian atau potret satu peristiwa.  pemberian cairan IV Fokuskan pada aspek tertentu  penghitungan tetesan Tuliskan secara runtut, fokus, singkat Baca ulang  Logis? Sistematis?  revisi

15 Cermati dan analisis Seorang pria berumur 31 tahun mengalami trauma tumpul karen terlempar saat terjadi ledakan tabung gas Saat tiba di IGD pasien dalam keadaan tidak sadar.hasil pemeriksaan fisik di peroleh tekanan darah 80/palpasi, nadi 135 x/menit,pernapasan 32x/menit.suara napas terdengar ngorok saat di perkusi bagian dada sebelah kiri terdengar suara hiperresonan.ditemukan pergeseran tracea kearah sebelah kanan

16 Evaluasi stem/kasus Apakah relevan untuk menilai learning objectives atau kompetensi ? Apakah tata bahasa, penulisan dan ejaan sudah benar? Apakah kosa kata yang digunakan mudah dipahami ? Apakah kalimat ringkas, berisi dan mudah dipahami?

17 Evaluasi spesifik : stem/vignette
Apakah mengandung materi yang tidak relevan? Apakah berisi informasi/data fokus dan memungkinkan mahasiswa yang kompeten mampu menjawab dengan benar? Apakah mempresentasikan keadaan di konteks nyata? Apakah sudah memfokuskan prinsip atau konsep esensial yang perlu dimengerti oleh mahasiswa, bukan hanya soal hafalan? Apakah bisa dijawab oleh mahasiswa yang kompeten tanpa melihat jawaban yang tersedia? Apakah tidak menjebak dan juga tidak terlalu rumit?

18 cermati pertanyaan dan analisis
Seorang laki-laki berusia 45 tahun datang ke RS dengan keluhan Sesak Nafas. Hasil anamnesis pasien mengatakan susah bernapas , batuk-batuk, nafsu makan menurun, Sputum kental, hasil pemeriksaan fisik ditemukan wheezing, menggunakan otot napas tambahan, gelisah, dan susah mengeluarkan sputum. Bersihan jalan napas tidak efektif Ketidak seimbangan Nutrisi Kerusakan pertukaran Gas Peningkatan suhu tubuh Gangguan pola tidur Apakah prioritas masalah keperawatan yang ditegakkan perawat ?

19 Kasus / vignete Apakah ada pasien mengeluh anemia?
Seorang pasien datang ke puskesmas dengan keluhan anemia. Tekanan darah 110/80mmHg, Apakah ada pasien mengeluh anemia? Apakah ada hubunganya antara anemia dengan tekanan darah? Apakah ada arah yang jelas dari kasus? Kasus terlalu pendek, tidak lengkap

20 Ny TR, 46 tahun dirawat di Rumah Sakit Cepat Sehat dengan riwayat multiple trauma akibat kecelakaan lalulintas. Terdapat fraktur humerus dextra post ORIF (open reduction internal fixation), post amputasi jari manis dan saat ini (hari ke 50) terpasang external fixation untuk stabilisasi fraktur tibia fibula sinistra dengan bone loss dan fraktur terbuka. Keluhan saat ini adalah nyeri hebat, terutama pada tungkai kirinya. Mengatakan”para suster tidak mengerti betapa sakitnya saya.” Tungkai kiri terlihat mengecil, kondisi luka terbuka menembus tulang, infeksi minimal. Kesan Kasus Ini?: Kasus terlalu panjang dan terlalu kompleks Bahasa tidak efisien Hubungan antara diagnosa medik dan keluhan pasien terlalu kompleks Arah kasus menjadi tidak fokus

21 Pertanyaan (LEAD IN) Ya Tdk
Diawali dengan kalimat tanya dan diakhiri dengan tanda tanya Bahasa fokus dan tidak ambugue Menghubungkan kasus dan pilihan jawaban

22 Evaluasi Lead in Question:
Apakah dibuat dengan kalimat tanya? Apakah telah dihindari menanyakan tentang opini? Apakah pertanyaan berhubungan dengan stem? Apakah telah dihindari penggunaan kata “kecuali”?

23 Contoh Pertanyaan yang Kurang tepat
Penyebab klien tidak bisa BAB sejak masuk kemungkinan disebabkan oleh: Apakah penyebab klien tidak bisa BAB? Dari kasus diatas terdapat …….. masalah utama Manakah masalah utama pada kasus diatas?

24 Tip ! Vignette / kasus dianggap berfungsi jika tanpa vignete, pertanyaan tidak berfungsi dengan jelas Pertanyaan baik, terlihat bila peserta kompeten bisa menebak jawaban tanpa melihat pilihan jawaban

25 Controh kasus tidak berfungsi
Seorang anak usia 13 bulan dengan berat badan 15 kg masuk rumah sakit untuk dirawat dengan diagnosa typhoid. Anak tidak mau makan dan minum. Suhu tubuh 38,8C. Sesuai order dokter, anak tersebut dipasang infus. Bagimanakah cara fiksasi infus yang tepat untuk anak diatas?

26 Apakah saudara dapat menebak arah pernyataan di atas?
Seorang laki-laki usia 50 tahun dibawa keruang gawat darurat karena kecelakaan dengan luka terbuka pada tibia sinistra disertai perdarahan dan terpasang bidai. Hasil pemeriksaan tampak gelisah dan kesakitan, skala 6-7, diaphoresis. Tekanan darah 110/80 mmHg, frekuensi nadi 110 X/menit, frekuensi napas 28 X/menit. Pertanyaan : Apakah saudara dapat menebak arah pernyataan di atas?

27 Seorang laki-laki usia 50 tahun dibawa keruang gawat darurat karena kecelakaan dengan luka terbuka pada tibia sinistra disertai perdarahan hebat dan masih mengalir dan mengeluh kesakitan. Hasil Pengkajian menunjukan : Tekanan darah 90/60 mmHg, frekuensi nadi 110 x/menit, frekuensi napas 28 X/menit. Pertanyaan : Apakah saudara dapat menebak arah pernyataan di atas?

28 Seorang perempuan berusia 39 tahun dirawat dengan diagnosis CKD on HD
Seorang perempuan berusia 39 tahun dirawat dengan diagnosis CKD on HD. Hasil pengkajian didapatkan data: pasien tampak sesak, edema seluruh tubuh, Tekanan darah 150/90 mmHg, frekuensi nadi 100 x/menit, frekuensi nafas 29 x/menit ronchi pada dua lapang paru, dan urin output 500cc/24 jam. Apa intervensi yang tepat dilakukan pada pasien tersebut ? Kolaborasi pemberian terapi diuretik Timbang berat badan setiap hari Beri posisi tidur semi fowler Ukur intake output cairan Batasi intake cairan

29 Kasus (vignete) Seorang laki-laki berusia 34 tahun dilakukan pemasangan kateter urine (Foley chateter) untuk persiapan operasi pemasangan plate and screw tibia dextra, data status urinarius tidak ada kelainan. Setelah pelumasan kateter dengan jelly, kateter dimasukan dengan mudah dan tanpa hambatan, segera urin terlihat keluar dan ditampung dalam bengkok/penampung yang telah disiapkan. Pertanyaan soal Apakah tindakan yang harus dilakukan perawat selanjutnya ? Pilihan jawaban : Meneruskan pemasukan kateter sampai percabangannya Memfiksasi kateter dengan penis menghadap keatas Menggembungkan balon dengan NaCl 0,9 % Menyambungkan kateter ke kantung urin Menekan pubis pasien dengan lembut

30 Pilihan Ya Tdk Semua pilihan berpeluang di pilih mhs
Homogen dari sisi isi, gramatikal dan panjang pendek Urutan yang logis dan tidak membingungkan Tidak ada pengulangan kata Tidak ada double negative atau BSSD atau jawaban diatas semua benar

31 cermati option dan analisis
Seorang laki-laki berusia 45 tahun datang ke RS dengan keluhan Sesak Nafas. Hasil anamnesis pasien mengatakan susah bernapas , batuk-batuk, nafsu makan menurun, Sputum kental, hasil pemeriksaan fisik ditemukan wheezing, menggunakan otot napas tambahan, gelisah, dan susah mengeluarkan sputum. Apakah prioritas masalah keperawatan yang ditegakkan perawat ? Bersihan jalan napas tidak efektif Ketidak seimbangan Nutrisi Kerusakan pertukaran Gas Peningkatan suhu tubuh Gangguan pola tidur

32 Contoh pilihan yang kurang baik
a. Pernah mengalami cedera kepala b. Adanya luka pada telinga tengah atau penyakit telinga lainnya. c. Sering mengalami ISPA d. Mungkin secara hematogen e. Benar semua Jawaban b panjang tidak homogen Benar semua, tidak diperkenankan

33 Penulisan Option Option yang salah disebut distractor.
Option terdiri dari pilihan yg bersifat homogen spt; semua diagnosis, tinndakan, penanganan pasien, dsb). Option yang masuk akal dan membuat mahasiswa yang tidak tahu akan memilihnya. Distraktor memiliki bentuk maupun panjang yang menyerupai jawaban yang benar Tidak mengandung kesalahan susunan kalimat dan sesuai dengan bentuk kalimat pada stem.

34 Kesalahan option Hindari kesalahan jenis , “testwiseness” dan “irrelevant difficulty”. “Testwiseness” dapat menjawab soal bukan karena penguasaan materi tetapi karena kepintaran dalam menebak jawaban yang benar. “irrelevant difficulty” kesulitan menjawab soal, bukan karena materi sulit tapi karena struktur soal buruk .

35 Kesalahan testwiseness:
Grammatical Cues Logical Cues Istilah yang absolut Jawaban benar yang panjang Pengulangan kata dari badan soal ke jawaban Konvergensi soal

36 Grammatical Cues Contoh soal :
Seorang ibu berusia 27 tahun, G2P1A0, kehamilan aterm, dirawat di ruang bersalin. Saat ini pasien mengeluh mules setiap 3 menit sekali, ingin mengedan. pasien terlihat gelisah, lendir darah keluar banyak, hasil pemeriksaan dalam: pembukaan 10 cm, porsio tidak teraba, ketuban (+), penurunan kepala janin di Hodge III +. Apa prioritas tindakan mandiri keperawatan pada pasien tersebut? a. berikan oksitosin b. pecahkan ketuban c. observasi kontraksi d. siapkan alat persalinan e. lakukan vacum ekstraksi satu atau lebih dari opsi jawaban tidak cocok dengan kalimat pertanyaan yang disusun dalam suatu soal. Hal ini terjadi karena penulis hanya memfokuskan diri dalam pembuatan atau pemilihan jawaban yang benar. Sementara itu jawaban yang salah/distraktor tidak diperhatikan dalam pembuatannya. Pada contoh pertanyaan di atas mahasiswa dapat dengan mudah menyingkirkan A & E sebagai jawaban yang benar karena secara logika tidak mungkin benar berdasarkan kalimat pertanyaan yang diajukan, dalam hal ini menanyakan tindakan mandiri , sementara A & E jelas tidak termasuk suatu tindakan mandiri

37 Logical Cues Contoh Apakah itu Kejahatan ?
A. terjadi secara merata pada berbagai kelas social B. lebih sering muncul pada golongan orang miskin C. lebih sering muncul pada kelompok masyarakat menengah sampai kaya. D. pada dasarnya merupakan suatu indikasi psychosexual maladjustment E. mencapai keadaan toleransi yang plateau terhadap negara Cat: A,B,C : orang pintar mungkin akan benar D & E, orang kurang mampu sering berfikir ini

38 Logical Cues Contoh Bayi Laki-laki usia 10 bulan, dari hasil pemeriksaan BB 5 kg, tubuh tampak kurus, bayi tampak pucat pada telapak tangan, dasar kuku dan konjungtiva. Hasil pemeriksaan Hb : 10 gr%, kadar Fe darah rendah. Apa penyebab pucat yang di alami bayi? Berhentinya pembentukan sel darah merah pada sumsum tulang Tidak tercukupinya bahan baku pembuatan sel darah merah Keterbatasan kadar oksigen menyebabkan menurunnya energy Aliran darah ke otak menurun mengakibatkan kelemahan Adanya kemungkinan perdarahan. Logical cues: sebagian opsi jawaban telah memperlihatkan kemungkinan jawaban yang benar. Pada soal di atas mahasiswa yang cukup cerdas dapat melihat bahwa kemungkinan besar dari jawaban A, B, atau C terdapat jawaban yang benar, sementara mahasiswa yang tidak terlalu cerdas dalam menghadapi soal lebih banyak waktunya untuk mempertimbangkan opsi D dan E. Seringkali, jawaban – jawaban ini pun sebagian mengandung kebenaran dan membingungkan karena tidak terlihat dalam dimensi yang sama atau tidak bisa diurutkan kedudukannya.Kesalahan ini sering terjadi apabila menggunakan opsi yang mengandung kata - kata “bertambah”, “berkurang”, atau “tetap”

39 Istilah yang absolut Contoh soal :
Seorang laki-laki, usia 60 tahun dirawat dengan diagnosa medik mitral insufficiency. Secara tiba-tiba malam ini TD 70/50 mmHg, Pernafasan cepat dan dangkal, kulit pucat, akral dingin, sianosis perifer. Kesadaran menurun dan pengeluaran urine dalam 4 jam terakhir 80 cc. Apakah prioritas tindakan keperawatan yang harus segera diberikan pada kasus diatas? A. Dapat diberikan terapi secara adekuat dengan nitroglyserin B. Dapat segera dilakukan tindakan penanganan DC Shock C. Tidak pernah dilakukan tindakan penanganan terapi cairan D. Selalu diberikan posisi semi fowler E. Selalu observasi balance cairan Istilah yang absolut: kata “selalu” atau “tidak pernah” digunakan dalam opsi jawaban Pada soal di atas, opsi A dan B mengandung makna yang tidak mutlak sebagaimana opsi C, D dan E. Mahasiswa yang cerdas akan menyingkirkan jawaban C, D dan E karena ketiga opsi itu terlihat lebih tidak mungkin sebagai jawaban yang benar karena sifatnya yang cenderung mutlak tersebut. Perlu dicatat bahwa kesalahan semacam ini tidak akan terjadi apabila kalimat pertanyaan terfokus dan opsi jawabannya pendek, hal ini muncul ketika kata kerja dimasukan kedalam opsi jawaban dan bukan di dalam pertanyaan „lead-in“

40 Jawaban benar yang panjang
Seorang perawat komunitas akan melaksanakan asuhan keperawatan komunitas di wilayah kerjanya. Apakah yang perlu dilakukan perawat tersebut pada fase pra interaksi? A. Survei wilayah yang akan digunakan seperti sumber daya, sumber dana, dan keamanan B. Pencarian data primer masyarakat tentang kesehatan yang dialami C. Pengkajian langsung pada keluarga yang bermasalah D. Pertemuan dengan tokoh masyarakat E. Pendataan keluarga sesuai format Jawaban benar yang panjang: pada soal di atas pilihan jawaban A lebih panjang dari yang lain. Selain itu terdapat 2 hal pada pilihan tersebut. Penulis soal kadang terlalu memberi perhatian lebih pada jawaban yang benar sehingga tidak memikirkan distraktor atau pilihan yang salah. Dengan demikian maka muncul banyak pernyataan pada jawaban yang benar secara berlebihan, sementara pada pilihan yang salah atau distraktor lebih pendek pernyataannya.

41 Pengulangan kata dari badan soal ke jawaban
Contoh soal: Seorang pria berusia 58 tahun dengan riwayat penggunaan alkohol yang berat dan sebelumnya pernah dirawat karena gangguan psychiatric mengalami kebingungan dan agitasi. Dia mengatakan bahwa dunia ini tidak nyata (unreal). Keadaan ini disebut: A. depersonalisasi B. derailment C. derealisasi D. focal memory deficit E. tanda anxietas

42 Konvergensi soal Anestesi lokal akan bekerja paling efektif pada kondisi: A. dalam bentuk anionic, bekerja dari dalam membrane syaraf B. dalam bentuk cationic, bekerja dari dalam membrane syaraf C. dalam bentuk cationic, bekerja dari luar membrane syaraf D. dalam bentuk tidak bermuatan, bekerja dari dalam membrane syaraf E. dalam bentuk tidak bermuatan, bekerja dari luar membrane syaraf

43 Kesalahan “irrelevant difficulty”

44 Kesalahan “irrelevant difficulty”
Pilihan jawaban yang panjang, kompleks, atau duplikasi Pilihan yang berupa angka tidak diurut sesuai dengan besarnya Pilihan yang mengandung unsur frekuensi suatu kejadian bersifat multi interpretasi Pilihan jawaban tidak parallel dan urutan tidak logis Penggunaan BSSD (bukan salah satu diatas) Badan soal terlalu panjang, sulit, dan kompleks

45 Tidak urut pada option Contoh soal: Seorang anak berumur 2 tahun, datang berobat di RS dengan keluhan sklera ikterus.Dari pemeriksaan fisik didapatkan tanda vital dalam batas normal, ikterik pada sklera dan mukosa. Dari pemeriksaan laboratorium didapatkan peningkatan kadar bilirubin dalam darah . Berapakah kadar bilirubin darah yang paling mungkin ? < 5 mg% mg% 10 – 20 mg% mg% mg%

46 Penggunaan BSSD Contoh soal:
Satu keluarga terdiri atas seorang bapak tinggal dengan dua orang anak, masing masing berusia tujuh dan tiga tahun. Istri bapak tersebut meninggal satu tahun yang lalu karena menderita TB Paru. Apakah tahapan perkembangan keluarga tersebut diatas ? Keluarga dengan anak todler Keluarga dengan anak balita Keluarga dengan anak pra sekolah Keluarga dengan anak remaja Bukan Salah Satu di Atas

47 Next step? Bekerja dalam kelompok untuk mereview soal-soal dengan menggunakan formulir review yang ada.

48 Daftar Tilik Soal/Item (Untuk Reviewer)
Catatan: satu set daftar tilik berlaku untuk tiap satu soal/item Diisi dengan tanda silang (X)   ID Soal : Isi soal Relevansi dan kesesuaian terhadap kompetensi ners Indonesia ( ) Sangat Relevan ( ) Relevan ( ) Ragu – ragu ( ) Kurang relevan ( ) Tidak relevan Bahasa yang digunakan Tingkat kesulitan soal ( ) Sulit dimengerti ( ) Sangat sulit ( ) Kurang dimengerti ( ) Sulit ( ) Mudah dimengerti ( ) Sedang ( ) Mudah ( ) Sangat Mudah Struktur Soal Vingete Terdapat ( ) Ya ( ) Tidak Berfungsi ( ) Ya ( ) Tidak

49 Badan soal terlalu panjang, sulit, dan kompleks ( ) Ya ( ) Tidak
Lead in Memenuhi Close the option rules ( ) Ya ( ) Tidak Pertanyaan/pernyataan negatif ( ) Ya ( ) Tidak Option Kesalahan tata bahasa ( ) Ya ( ) Tidak Penggunaan istilah yang absolut ( ) Ya ( ) Tidak Jawaban benar yang panjang ( ) Ya ( ) Tidak Pengulangan kata dari badan soal ke jawaban ( ) Ya ( ) Tidak Konvergensi option ( ) Ya ( ) Tidak Pilihan jawaban yang panjang, kompleks, atau duplikasi ( ) Ya ( ) Tidak Pilihan yang mengandung unsur frekuensi suatu kejadian ( ) Ya ( ) Tidak bersifat multi interpretasi ( ) Ya ( ) Tidak Pilihan jawaban tidak paralel dan urutan tidak logis ( ) Ya ( ) Tidak Penggunaan BSSD (bukan salah satu diatas) pada pilihan jawaban ( ) Ya ( ) Tidak Komentar Umum Reviewer

50 Kesimpulan Hasil Review
( ) Diterima tanpa perbaikan ( ) Diterima dengan perbaikan ( ) Tidak perlu konfirmasi dengan pembuat soal ( ) Perlu konfirmasi pembuat soal ( ) Dikembalikan kepada pembuat soal ( ) Berpotensi diterima dengan perbaikan ( ) Memerlukan perbaikan keseluruhan Saran Perbaikan Tanda Tangan Reviewer Tanggal:   (DD) / (MM) / (YY) Nama Jelas : Dengan ini menyatakan bahwa proses review soal di atas telah benar – benar telah dilakukan oleh nama yang bertanda tangan di atas, tidak dilakukan oleh orang lain atau juga tidak dilakukan oleh orang lain yang mengatasnamakan nama di atas.

51 Terima kasih