ANALISIS SOAL- PENENTUAN KELULUSAN

Presentasi berjudul: "ANALISIS SOAL- PENENTUAN KELULUSAN"— Transcript presentasi:

1 ANALISIS SOAL- PENENTUAN KELULUSAN
& STANDAR SETTING

2 Tujuan ujian-soal Menyampaikan materi yang penting Memotivasi peserta didik untuk belajar Identifikasi area yang kurang dan memerlukan peningkatan bagi pesrta didik Menentukan nilai peserta didik dan/atau menentukan langkah selanjutnya Identifikasi kelemahan kurikulum

3 analysis Kualitatif  review soal Kuantitatif  statistik

4 ANALISIS SOAL TULIS

5 Fungsi Menentukan apakah butir soal yang ditulis berfungsi seperti yang diharapkan.. kelemahan &kekuatan butir soal Umpan balik kepada peserta dan pengajar Perbaikan kurikulum Perbaikan butir soal Meningkatkan ketrampilan menulis soal 09/04/2019

6 7 langkah analisis butir soal
Beri skor untuk setiap peserta dengan menghitung jumlah jawaban yang benar Langkah 2 Urutkan skor mahasiswa dari yang tertinggi ke yang rendah Langkah 3 Tentukan kelompok atas, bawah dan tengah 09/04/2019

7 Pembagian Kelompok Jumlah Metode < 20 Separuh kelompok atas
Separuh kelompok bawah 20-40 Kelompok atas: 10 skor tertinggi kelompok bawah: 10 skor terendah Sisanya menjadi kelompok tengah >40 Kelompok atas: 25-33% skor tertinggi Kelompok bawah: 25-33% skor terendah Sisanya kelompok tengah 09/04/2019

8 Langkah 4 Buatlah ringkasan respon jawaban untuk setiap alternatif jawaban pada kelompok atas dan bawah. Untuk kelompok tengah hitung jumlah mahasiswa yang memilih jawaban yang benar

9 10 soal MCQs dari 34 peserta ujian
Jawaban 10 soal MCQs dari 34 peserta ujian 09/04/2019

10 Hitung indek kesukaran butir soal
Langkah 5 Hitung indek kesukaran butir soal Step 6 Hitung indek daya beda untuk tiap butir soal Step 7 Cek setiap butir soal : misalnya apakah distraktornya tidak berfungsi, membingungkan, kunci salah, dan kemungkinan ‘blind guessing’ 09/04/2019

11 Fokus Indek Kesulitan (p) Indek Daya Beda (D) Fungsi Distraktor
Item analysis Indek Kesulitan (p) Indek Daya Beda (D) Fungsi Distraktor 09/04/2019

12 Indek berkisar antara 0.00 sampai 1.00
Indek kesulitan butir soal Jumlah peserta yang memilih jawaban yang benar Jumlah seluruh peserta P = Indek berkisar antara 0.00 sampai 1.00 P antara 0.00 dan Sulit P antara 0.26 dan Sedang P antara 0.76 dan Mudah 09/04/2019

13 tk kesukaran soal mrpkan kemampuan rata2 kelompok peserta tes
tk kesukaran dianggap baik adl sekitar 0,5 Tingkat kesukaran naskah soal (k) sebaiknya: Sukar = 25% Sedang = 50% Mudah = 25%

14 Jika standard setting menggunakan norn-reference standard (PAN) maka semakin dekat indek kesulitan butir soal ke 0,5 semakin baik . Jika menggunakan criterion-reference standard (PAP) jangan memilih butir soal berdasar indek kesulitan, tetapi pilihlah soal berdasar kesesuain dengan blue print. Soal dengan indek kesulitan tinggi perlu dipertimbangkan untuk melihat apakah soal telah ditulis dengan baik. 09/04/2019

15 DAYA BEDA adl indeks yg menunjukkan kemampuan butir soal membedakan kelompok berprestasi tinggi dgn kelpk berprestasi rendah diantara para peserta test.

16 Indek berkisar antara -1.00 to +1.00
Indek daya beda Proporsi peserta kelompok atas yang menjawab benar Proporsi peserta kelompok bawah yang menjawab benar D = Indek berkisar antara to +1.00 09/04/2019

17 Jika standard setting menggunakan norm-reference standard (PAN) maka indek daya beda yang diterima adalah lebih besar atau sama dengan +0,30. Jika menggunakan criterion-reference standard (PAP) maka butir soal semestinya memiliki indek daya beda sama atau lebih besar dari 0. 09/04/2019

18 Bila kurang dari itu maka butir soal dianggap kurang mampu membedakan peserta yg mampu & tdk.
Bila daya beda negatif maka soal tdk bisa dipakai sama sekali.

19 Fungsi Distraktor Aturan umum:
Setiap distraktor semestinya dipilih oleh minimal satu peserta dari kelompok bawah. Lebih banyak peserta dari kelompok bwah yang memilih daripada kelompok atas. 09/04/2019

20 Function of distracters
Indication of: Ambiguous alternatives Miskeyed items Blind guessing 09/04/2019

21 BERFUNGSI TIDAKNYA PILIHAN
untuk menentukan berfungsi tdknya pengecoh dpt dianalisis butir soalnya lembar jawaban peserta kelp atas dan bawah dijadikan sumber informasi distribusi jawaban dimasukkan dlm tabel

22 Baik A* B C D E Atas 9 1 Bawah 3 2 Total 12 09/04/2019

23 Membingungkan A B C* D E Atas 5 Bawah - 3 2 1 Total 8 6 09/04/2019

24 Kunci salah A B* C D E Atas 9 1 Bawah 3 2 Total 12 4 09/04/2019

25 Blind Guessing A* B C D E Atas 2 3 1 Bawah Total 5 6 09/04/2019

26 Revisi distraktor D dan E
B C D E Atas 8 1 Bawah 5 4 Total 6 2 09/04/2019

27 Contoh Butir soal no 1 KELOMPOK/ PILIHAN A B* C D ATAS 4 1 BAWAH 2
4 1 BAWAH 2 JUMLAH 6

28 BUTIR SOAL NO 2 KELOMPOK/ PILIHAN A B C D* ATAS 2 3 BAWAH 1 JUMLAH 5
2 3 BAWAH 1 JUMLAH 5 28

29 BUTIR SOAL NO 3 KELOMPOK/ PILIHAN A* B C D ATAS 1 2 BAWAH 3 JUMLAH 4

30 contoh utk soal ke-3 bisa disebabkan krn steam yg kurang baik, atau pilihan B dan C yg menarik, atau A hrs diperbaiki

31 SPESIFIKASI KUALITAS BUTIR SOAL
Validasi (ketepatan) Reliabilitas (keakuratan pengukuran tujuan yg dicapai)/KEAJEGAN

32 VALIDITAS ISI berkenaan dgn kesanggupan alat penilai dlm mengukur isi yg seharusnya (ssi kurikulum/ kompetensi bidan), shg perlu kisi-kisi soal

33 VALIDITAS CONSTRUCT/bangun pengertian
berkenaan dgn kesanggupan alat mengukur pengertian2 yg terkandung dlm materi pengertian2 tsb hrs jelas apa yg akan diukur, hrs jelas indikatornya

34 RELIABILITAS kapanpun alat penilai tsb digunakan dapat akan memberikan hasil yg relatif sama Ada 4 cara: Reliabilitas tes ulang reliabilitas pecahan setara reliabilitas belah dua kesamaan rasional

35 Reliabilitas Test Ulang
Penilaian thd subjek yg sama dlm waktu yg berlainan. Kedua hasil kmd dikorelasikan bila koefisien korelasi cukup tinggi berarti reliabel

36 Reliabilitas Pecahan setara
Penggunaan bentuk test yg setara kepada subjek yg sama pada waktu yg sama. Dua perangkat test harus disusun dgn derajat yg sama dlm hal isi, tk kesukaran, jumlah pertanyaan, bentuk pertanyaan dan segi teknis lainnya, yg membedakan hanya pertanyaannya saja.

37 Reliabilitas Belah Dua
Mirip pecahan setara hanya pelaksanaannya saja yg beda. Butir soal dibagi menjadi dua bagian yg sebanding, biasanya hanya membedakan soal nomor genap dgn ganjil Krn soal dibagi 2 maka korelasinya hny utk separoh soal bs menggunakan sperman brown

38 Kesamaan rasional penghitungan reliabilitas tanpa korelasi, tetapi menghubungkan setiap butir dlm satu test dgn butir-butir yg lain dlm test itu sdri scr keseluruhan dgn rumus KR21 (Kuder-Richardson)

39 ANALISIS SOAL PRAKTIK 39

40 di OSCA tdk ada analisis butir soal
shg hrs diputuskan sejak awal. print biru....shg bs dilihat kompetensi scr tersebar/ada variasi keterwakilan

41 MATRIKS KOMPETENSI Area subjek anamnese Pem fisik
Usul: pemeriksaan penunjang Interpretasi hasil Manajemen lewat edukasi Pemecahan masalah ANC Perdarahan pervaginam Pem fisik, perdarahan Pem penunjang Interpretasikan hasil lab Nasehat utk dirujuk Pasien dgn perdarahan antepartum

42 Agar “content validity” bisa terpenuhi diatur agar kelompok kompetensi terwakili
ditetapkan bersama prosentase jumlah stasi prosedur dan stasi pemecahan masalah

43 STANDAR LULUS PAN (Penilaian Acuan Norma): penilaian yg dilakukan dgn mengacu pd norma kelompok , nilai mengacu perolehan nilai kelompok. PAP (Penilaian Acuan Patokan): mengacu suatu kriteria pencapaian tujuan instruksional yg telah ditetapkan.

44 STANDAR LULUS Ditetapkan sejak penyusunan soal Uji kompetensi:PAP Passing level diharapkan dimasa mendatang 80,bisa bertahap mulai 60 Bila passing level 60, nilai dibawah itu bisa remedial Bisa menetapkan “must pass station” dalam hal kompetensi yg mutlak harus dikuasai, bila tdk lulus maka gagal semua.

45 PENILAIAN OSCE Reliabilitas OSCA
Reliabilitas OSCA dipengaruhi banyak faktor terutama total waktu ujian dan jumlah station. Hasil penelitian: untuk mencapai reliabilitas 0,8 memerlukan waktu 4 jam dengan station

46 Standar Setting for OSCA Station
Angoff The Boderline Group Method Boderline Regression Method

47 Diskusikan batas lulus
ANGOFF METHOD Diskusikan batas lulus Panel pakar..membuat keputusan minimal 6 org dr org yg kompeten..tahu kebidanan, tahu standar setting. 6 org berkumpul, eks soal2 ya sdh ada, kmd mendiskusikan, eks utk bidan yg baru lulus..apa yg disepakati sbg border line..berapa kali harus ngulang dsb

48 MODIFIED ANGOFF IN OSCE
Based on each item in checklist Average scores from judges will be the cut-off point Both overall cut-off and item-by-item one can be calculated ITEMS FULL MARK Explain to pt 1 80% 0,8 Position pt Inspection of skin 2 1,6 Temperature change 60% 0,6 Pulsation Femoral Popliteal 50% 0,5 Post.tibial Dors.pedis Capillary refill Total 10 6,6 Pass mark for this station is 6,6 (Ben-David, 2000)

49 The Boderline Group Method
Menggunakan 2 metode: Ceklist Global performance: gagal, borderline, lulus, memuaskan dll minimal ada gagal, bodrerline, lulus.

50 borderline group method
di bawah chelkis ditulis: secara umum peserta: observer menentukan kelulusan, tanpa melihat ceklis di stasi ini

51 BORDERLINE REGRESSION METHOD
ITEMS FULL MARK MARK Explain to pt 1 Position pt Inspection of skin 2 Temperature change Pulsation Femoral Popliteal Post.tibial Dors.pedis Capillary refill Total 10 9 Put the global rating from the overall performance in OSCE Fail (1) Borderline (2) Pass (3) √ Outstanding (4)

52 eks station 1 anc: ada 200 org yg ikut,
ujian ternyata 5 hari yg boderlien 40 org dilihat nilai ceklis nya, nilai 40 mhs direkap dijumlah dan dirata2. itulah batas lulus utk stasion anc dgn teknik boderline group method.

53 BORDERLINE REGRESSION METHOD
GLOBAL RATING ACTUAL MARK 4 10 3 9 8 7 2 6 5 1

54 Thanks for Your Attention
See.....U.....