TEAM OSCA JURUSAN KEBIDANAN POLTEKKES SURAKARTA STANDAR SETTING TEAM OSCA JURUSAN KEBIDANAN POLTEKKES SURAKARTA

PUSING?

CERIA

ASSESSMENT The process of collecting, interpreting, recording & using information of student achievement The information should be interpreted by comparing with a group or criterion

Definisi A standard is a statement about whether an examination performance is good enough for a particular purpose Standar: identifikasi point-point tertentu dari suatu skala nilai dengan standar prestasi tertentu Standar: batas antar lulus atau tidak lulus, atau batas antara kompeten dan tidak kompeten

Standard setting: penetapan suatu hasil ujian sesuai atau tidak dengan tujuan ujian

Standard setting Metode yg digunakan utk mendefinisikan level pencapaian/kemampuan Merupakan bagian integral dari pengembangan suatu test

Metode seharusnya Valid ( harus dapat dijustifikasi) Kredibel Didukung oleh evidence Realistik Dapat diterima oleh semua stakeholder

Standard Setting OSCE Standard Setting OSCE Hasil Tidak Lulus Lulus/

Masalah Standard Setting Competent Incompetent Lulus Tidak Lulus

The examiner’s role in standard setting Uses the examiner’s clinical expertise to judge the candidate’s performance Examiner allocates a global judgement based on the candidate’s performance at that station Remember the level of the examination Pass Borderline Fail

Standard setting OSCE Compromise (Relative) Methods Absolute Methods Angoff (modified) Ebel Compromise (Relative) Methods The Hofstee Method The Borderline Group Method The Borderline regression method

METODE PENILAIAN PAP (PENILAIAN ACUAN PATOKAN): pendekatan penilaian yg membandingkan hasil pengukuran seorang mahasiswa dengan patokan batas lulus yg telah ditetapkan PAN (PENILAIAN ACUAN NORMATIF): pendekatan penilaian yg membandingkan hasil pengukuran seorang mahasiswa dlm kelompoknya

Gambaran Absolute Satandard ^ Lebih kooperative ^ Penampilan mandiri anggota grup, contoh : jika semua anggota melakukan dengan baik, setiap orang lulus ^ Digunakan dalam ujian berdasarkan kompetensi ^ Lebih sulit untuk di set Normativ Standar ^ menyulut kompetisi yang kuat ^Penampilan dari satu mahasiswa relative tergantung dari penampilan yang lain ^Tidak valid dalam ujian berdasarkan kompetensi ^ Sedikit usaha keras

Metode masukan bagi standard Beberapa metode yang berbeda untuk memilih standard Tidak ada satu metode yang sempurna Proses adalah kuncinya

Proses Proses yang systematis, reproduktif dan tidak bias. Menjastifikasi penampilan yang diujikan Mempertimbangan batasan karateristik kandidat

Metode Absolut

Metode ANGOFF Memilih Juri (pakar sesuai bidang ilmu) Mendiskusikan karakteristik peserta ujian kelompok borderline Membuat konsensus kualitas peserta ujian kelompok borderline

KRITERIA JURI AHLI DALAM BIDANGNYA TERBIASA DG METODE UJIAN SEORANG PEMECAH MASALAH YANG BAIK TERBIASA DAN MENGETAHUI TINGKAT KOMPETENSI MAHASISWA TERTARIK DLM BIDANG PENDIDIKAN

Metode ANGOFF Setiap Juri memperkirakan performa kelompok borderline pada setiap item penilaian (1 / 100) Observer Independent mencatat penjurian Setiap juri mengestimasi soal demi soal dan memberi proporsi minimal (%) dari tiap soal tsb berapa banyak dr teruji menjawab benar dari satu item soal Seluruh penjurian dikumpulkan (dijumlah dan dirata-rata) untuk ditetapkan sebagai nilai batas lulus

contoh Standard setter judges percent Mean Chosing crrect point question juri1 juri2 juri3 juri4 juri5 Mean 1 .90 .85 .80 .75 .83 2 .60 .55 .40 .35 .50 .48 3 .70 .65 4 5 .95 6 7 8 .45 .47 .54 Cut score 5,27

Metode EBEL Memilih Juri (pakar sesuai bidang ilmu) Setiap juri mengklasifikasikan setiap item berdasarkan: Tingkat Kesulitan/DIFFICULTY (easy, medium, atau hard); Relevansi/RELEVANCE (acceptable, important , or essential). Kesepakatan karakteristik kel.borderline Juri memperkirakan setiap kotak menurut katagori relevansi &tingkat kesulitan berapa banyak soal yg msk pd kategori tsb dan berapa persen mhs borderline yg mampu menjawab

Metode EBEL MUDAH SEDANG SULIT MEAN SANGAT PENTING PENTING RELEVANSI MUDAH SEDANG SULIT MEAN SANGAT PENTING 0,75 (20 item) 0,55 (10 item) 0,15 (5 item) 0,48 PENTING 0,65 (15 item) 0,50 (12 item) 0,10 (5 item) 0,42 DPT DIPERTIMBANGKAN 0,55 (12 item) 0,45 (10 item) 0,08 (5 item) 0,36 DIPERTANYAKAN 0,25 (2 item) 0,05 (2 item) 0.03 (2 item) 0,11

Metode EBEL Hasil dari penjumlahan dirata-rata, hasilnya merupakan nilai batas lulus 0,48+0,42+0,36+0,11= 1,37/4 =0,34 sehingga nilai batas lulusnya 34

Keuntungan Metode Absolut Fokus perhatian pada isi item Mudah untuk digunakan Banyak evidence Sering digunakan dalam high stakes testing

Kerugian Metode Absolut Kelompok “borderline” kadang sulit didefinisikan Juri kadang membuat “perkiraan terlalu tinggi” Metode dapat membosankan

Metode Kompromi

Metode HOFSTEE Memilih Juri (pakar sesuai bidang ilmu) Menganalisis item penilaian: Berapa minimum acceptable cut score? Berapa maximum acceptable cut score? Berapa minimum acceptable fail rate? Berapa maximum acceptable fail rate? Keempat nilai tengah di atas dr seluruh juri, masing-masing nilai digambarkan ke dlm grafik Tarik garis diagonal dr nilai lulus minimum ke nilai maksimum Setelah ujian, buat grafik distribusi nilai dan nilai batas lulus ditetapkan (perpotingan : cut score)

Metode HOFSTEE

Borderline Group Method Pada setiap Station, peserta dinilai berdasarkan 2 metode: check list based method Global performance (e.g. fail, borderline, pass, outstanding) Juri menelaah nilai setiap mahasiswa dan mengidentifikasikan mhs yg termasuk kel.borderline (mhs yg mempunyai nilai minimal) Nilai dimasukkan dlm grafik Nilai tengah (median) kelompok borderline ditetapkan sebagai standar

contoh Sebaran nilai mahasiswa: 30 30 40 40 40 50 60 60 70 70 80 80 90 100 100 Juri menentukan nilai kelompok borderline: 30 30 40 40 40 50 (digambar dlm grafik) Nilai median (nilai tengah) sebagai Nilai Batas Lulus (cut score)

Borderline Method