ANALISIS SOAL- PENENTUAN KELULUSAN & STANDAR SETTING

Tujuan ujian-soal Menyampaikan materi yang penting Memotivasi peserta didik untuk belajar Identifikasi area yang kurang dan memerlukan peningkatan bagi pesrta didik Menentukan nilai peserta didik dan/atau menentukan langkah selanjutnya Identifikasi kelemahan kurikulum

analysis Kualitatif  review soal Kuantitatif  statistik

ANALISIS SOAL TULIS

Fungsi Menentukan apakah butir soal yang ditulis berfungsi seperti yang diharapkan.. kelemahan &kekuatan butir soal Umpan balik kepada peserta dan pengajar Perbaikan kurikulum Perbaikan butir soal Meningkatkan ketrampilan menulis soal 09/04/2019

7 langkah analisis butir soal Beri skor untuk setiap peserta dengan menghitung jumlah jawaban yang benar Langkah 2 Urutkan skor mahasiswa dari yang tertinggi ke yang rendah Langkah 3 Tentukan kelompok atas, bawah dan tengah 09/04/2019

Pembagian Kelompok Jumlah Metode < 20 Separuh kelompok atas Separuh kelompok bawah 20-40 Kelompok atas: 10 skor tertinggi kelompok bawah: 10 skor terendah Sisanya menjadi kelompok tengah >40 Kelompok atas: 25-33% skor tertinggi Kelompok bawah: 25-33% skor terendah Sisanya kelompok tengah 09/04/2019

Langkah 4 Buatlah ringkasan respon jawaban untuk setiap alternatif jawaban pada kelompok atas dan bawah. Untuk kelompok tengah hitung jumlah mahasiswa yang memilih jawaban yang benar

10 soal MCQs dari 34 peserta ujian Jawaban 10 soal MCQs dari 34 peserta ujian 09/04/2019

Hitung indek kesukaran butir soal Langkah 5 Hitung indek kesukaran butir soal Step 6 Hitung indek daya beda untuk tiap butir soal Step 7 Cek setiap butir soal : misalnya apakah distraktornya tidak berfungsi, membingungkan, kunci salah, dan kemungkinan ‘blind guessing’ 09/04/2019

Fokus Indek Kesulitan (p) Indek Daya Beda (D) Fungsi Distraktor Item analysis Indek Kesulitan (p) Indek Daya Beda (D) Fungsi Distraktor 09/04/2019

Indek berkisar antara 0.00 sampai 1.00 Indek kesulitan butir soal Jumlah peserta yang memilih jawaban yang benar Jumlah seluruh peserta P = Indek berkisar antara 0.00 sampai 1.00 P antara 0.00 dan 0.25 Sulit P antara 0.26 dan 0.75 Sedang P antara 0.76 dan 1.00 Mudah 09/04/2019

tk kesukaran soal mrpkan kemampuan rata2 kelompok peserta tes tk kesukaran dianggap baik adl sekitar 0,5 Tingkat kesukaran naskah soal (k) sebaiknya: Sukar = 25% Sedang = 50% Mudah = 25%

Jika standard setting menggunakan norn-reference standard (PAN) maka semakin dekat indek kesulitan butir soal ke 0,5 semakin baik . Jika menggunakan criterion-reference standard (PAP) jangan memilih butir soal berdasar indek kesulitan, tetapi pilihlah soal berdasar kesesuain dengan blue print. Soal dengan indek kesulitan tinggi perlu dipertimbangkan untuk melihat apakah soal telah ditulis dengan baik. 09/04/2019

DAYA BEDA adl indeks yg menunjukkan kemampuan butir soal membedakan kelompok berprestasi tinggi dgn kelpk berprestasi rendah diantara para peserta test.

Indek berkisar antara -1.00 to +1.00 Indek daya beda Proporsi peserta kelompok atas yang menjawab benar Proporsi peserta kelompok bawah yang menjawab benar D = Indek berkisar antara -1.00 to +1.00 09/04/2019

Jika standard setting menggunakan norm-reference standard (PAN) maka indek daya beda yang diterima adalah lebih besar atau sama dengan +0,30. Jika menggunakan criterion-reference standard (PAP) maka butir soal semestinya memiliki indek daya beda sama atau lebih besar dari 0. 09/04/2019

Bila kurang dari itu maka butir soal dianggap kurang mampu membedakan peserta yg mampu & tdk. Bila daya beda negatif maka soal tdk bisa dipakai sama sekali.

Fungsi Distraktor Aturan umum: Setiap distraktor semestinya dipilih oleh minimal satu peserta dari kelompok bawah. Lebih banyak peserta dari kelompok bwah yang memilih daripada kelompok atas. 09/04/2019

Function of distracters Indication of: Ambiguous alternatives Miskeyed items Blind guessing 09/04/2019

BERFUNGSI TIDAKNYA PILIHAN untuk menentukan berfungsi tdknya pengecoh dpt dianalisis butir soalnya lembar jawaban peserta kelp atas dan bawah dijadikan sumber informasi distribusi jawaban dimasukkan dlm tabel

Baik A* B C D E Atas 9 1 Bawah 3 2 Total 12 09/04/2019

Membingungkan A B C* D E Atas 5 Bawah - 3 2 1 Total 8 6 09/04/2019

Kunci salah A B* C D E Atas 9 1 Bawah 3 2 Total 12 4 09/04/2019

Blind Guessing A* B C D E Atas 2 3 1 Bawah Total 5 6 09/04/2019

Revisi distraktor D dan E B C D E Atas 8 1 Bawah 5 4 Total 6 2 09/04/2019

Contoh Butir soal no 1 KELOMPOK/ PILIHAN A B* C D ATAS 4 1 BAWAH 2 4 1 BAWAH 2 JUMLAH 6

BUTIR SOAL NO 2 KELOMPOK/ PILIHAN A B C D* ATAS 2 3 BAWAH 1 JUMLAH 5 2 3 BAWAH 1 JUMLAH 5 28

BUTIR SOAL NO 3 KELOMPOK/ PILIHAN A* B C D ATAS 1 2 BAWAH 3 JUMLAH 4

contoh utk soal ke-3 bisa disebabkan krn steam yg kurang baik, atau pilihan B dan C yg menarik, atau A hrs diperbaiki

SPESIFIKASI KUALITAS BUTIR SOAL Validasi (ketepatan) Reliabilitas (keakuratan pengukuran tujuan yg dicapai)/KEAJEGAN

VALIDITAS ISI berkenaan dgn kesanggupan alat penilai dlm mengukur isi yg seharusnya (ssi kurikulum/ kompetensi bidan), shg perlu kisi-kisi soal

VALIDITAS CONSTRUCT/bangun pengertian berkenaan dgn kesanggupan alat mengukur pengertian2 yg terkandung dlm materi pengertian2 tsb hrs jelas apa yg akan diukur, hrs jelas indikatornya

RELIABILITAS kapanpun alat penilai tsb digunakan dapat akan memberikan hasil yg relatif sama Ada 4 cara: Reliabilitas tes ulang reliabilitas pecahan setara reliabilitas belah dua kesamaan rasional

Reliabilitas Test Ulang Penilaian thd subjek yg sama dlm waktu yg berlainan. Kedua hasil kmd dikorelasikan bila koefisien korelasi cukup tinggi berarti reliabel

Reliabilitas Pecahan setara Penggunaan bentuk test yg setara kepada subjek yg sama pada waktu yg sama. Dua perangkat test harus disusun dgn derajat yg sama dlm hal isi, tk kesukaran, jumlah pertanyaan, bentuk pertanyaan dan segi teknis lainnya, yg membedakan hanya pertanyaannya saja.

Reliabilitas Belah Dua Mirip pecahan setara hanya pelaksanaannya saja yg beda. Butir soal dibagi menjadi dua bagian yg sebanding, biasanya hanya membedakan soal nomor genap dgn ganjil Krn soal dibagi 2 maka korelasinya hny utk separoh soal bs menggunakan sperman brown

Kesamaan rasional penghitungan reliabilitas tanpa korelasi, tetapi menghubungkan setiap butir dlm satu test dgn butir-butir yg lain dlm test itu sdri scr keseluruhan dgn rumus KR21 (Kuder-Richardson)

ANALISIS SOAL PRAKTIK 39

di OSCA tdk ada analisis butir soal shg hrs diputuskan sejak awal. print biru....shg bs dilihat kompetensi scr tersebar/ada variasi keterwakilan

MATRIKS KOMPETENSI Area subjek anamnese Pem fisik Usul: pemeriksaan penunjang Interpretasi hasil Manajemen lewat edukasi Pemecahan masalah ANC Perdarahan pervaginam Pem fisik, perdarahan Pem penunjang Interpretasikan hasil lab Nasehat utk dirujuk Pasien dgn perdarahan antepartum

Agar “content validity” bisa terpenuhi diatur agar kelompok kompetensi terwakili ditetapkan bersama prosentase jumlah stasi prosedur dan stasi pemecahan masalah

STANDAR LULUS PAN (Penilaian Acuan Norma): penilaian yg dilakukan dgn mengacu pd norma kelompok , nilai mengacu perolehan nilai kelompok. PAP (Penilaian Acuan Patokan): mengacu suatu kriteria pencapaian tujuan instruksional yg telah ditetapkan.

STANDAR LULUS Ditetapkan sejak penyusunan soal Uji kompetensi:PAP Passing level diharapkan dimasa mendatang 80,bisa bertahap mulai 60 Bila passing level 60, nilai dibawah itu bisa remedial Bisa menetapkan “must pass station” dalam hal kompetensi yg mutlak harus dikuasai, bila tdk lulus maka gagal semua.

PENILAIAN OSCE Reliabilitas OSCA Reliabilitas OSCA dipengaruhi banyak faktor terutama total waktu ujian dan jumlah station. Hasil penelitian: untuk mencapai reliabilitas 0,8 memerlukan waktu 4 jam dengan 12-24 station

Standar Setting for OSCA Station Angoff The Boderline Group Method Boderline Regression Method

Diskusikan batas lulus ANGOFF METHOD Diskusikan batas lulus Panel pakar..membuat keputusan minimal 6 org dr org yg kompeten..tahu kebidanan, tahu standar setting. 6 org berkumpul, eks soal2 ya sdh ada, kmd mendiskusikan, eks utk bidan yg baru lulus..apa yg disepakati sbg border line..berapa kali harus ngulang dsb

MODIFIED ANGOFF IN OSCE Based on each item in checklist Average scores from judges will be the cut-off point Both overall cut-off and item-by-item one can be calculated ITEMS FULL MARK Explain to pt 1 80% 0,8 Position pt Inspection of skin 2 1,6 Temperature change 60% 0,6 Pulsation Femoral Popliteal 50% 0,5 Post.tibial Dors.pedis Capillary refill Total 10 6,6 Pass mark for this station is 6,6 (Ben-David, 2000)

The Boderline Group Method Menggunakan 2 metode: Ceklist Global performance: gagal, borderline, lulus, memuaskan dll minimal ada gagal, bodrerline, lulus.

borderline group method di bawah chelkis ditulis: secara umum peserta: observer menentukan kelulusan, tanpa melihat ceklis di stasi ini

BORDERLINE REGRESSION METHOD ITEMS FULL MARK MARK Explain to pt 1 Position pt Inspection of skin 2 Temperature change Pulsation Femoral Popliteal Post.tibial Dors.pedis Capillary refill Total 10 9 Put the global rating from the overall performance in OSCE Fail (1) Borderline (2) Pass (3) √ Outstanding (4)

eks station 1 anc: ada 200 org yg ikut, ujian ternyata 5 hari yg boderlien 40 org dilihat nilai ceklis nya, nilai 40 mhs direkap dijumlah dan dirata2. itulah batas lulus utk stasion anc dgn teknik boderline group method.

BORDERLINE REGRESSION METHOD GLOBAL RATING ACTUAL MARK 4 10 3 9 8 7 2 6 5 1

Thanks for Your Attention See.....U.....