ASSESSMENT IN HEALTH PROFESSIONS EDUCATION wien 2010

Health professionals • Physicians • Nurses • Pharmacists • Physical therapists • Dentist • Nuclear and radiological technicians • Who provide health care or health related services to patients or clients

Assessment, Measurement, Test • Assessment “a ny systematic method of obtaining information from test and other sources, used to draw inferences about characteristics of people, objects, or program” (the Sandards for Educational and Psychological testing) “everything we do to measure the educational learning or progress of our student” ( Downing & Yudkowsky, 2009 )

• Measure  bentuk kuantifikasi dari suatu asesmen • Test  Suatu tipe spesifik dari asesmen yang digunakan untuk mengukur atau meng- kuantifikasi pencapaian tujuan pembelajaran  untuk menggambarkan kognitif asesmen, mis: tes dalam gross anatomi

Three Modalities of Assesment 1. Read what learners write (written assess) 2. Listen what learners to argue (deliver of opinion) 3. Watch what learners do (performance)

Formative and Summative Assessment • Formative testing: Menyediakan umpan-balik kelebihan dan kekurangan student terhadap tujuan pembelajaran, mis. kuis singkat ketika sedang pembelajaran mikrobiologi (during course) • Summative testing: Mengukur apa yang telah dipelajari student selama pembelajaran (end of course)

Key term in CBC • Skill—A task or group of tasks performed to a specific level of competency or proficiency which often use motor functions and typically require the manipulation of instruments and equipment (e.g. intravenous line, suture of skin). Some skills, however, such as counseling, are knowledge- and attitude-based • Competency—A skill performed to a specific standard under specific conditions

George Miller’s Pyramid • Suatu konstruksi yang bermanfaat untuk mengarahklan pemikiran kita mengenai “teaching” dan “assessment” dalam profesi kesehatan

Does (action) Shows how (performance) Knows how (competence) Knows (knowledge) Bloom Cognitive Taxonomy: • recall • synthesizing & evaluating factual knowledge • solving problem MILLER’S PYRAMID

Cognitive knowledge • fondasi (essensial prerequisite) dari semua aspek penting lainnya • “knows level” terhadap pengetahuan faktual (biologik proses dan prinsip2 saintifik) • asesmen: tes objektif tertulis

Competence • A skill performed to a specific standard under specific conditions • Menjelaskan knowledge dengan kata-kata (“verbally”) dari pada mengerjakan (“doing”) • “knows how level” :  Level yang lebih dari simple recall atau recognition terhadap knowledge faktual  mampu mengaplikasikan knowledge, memahami hubungan antara konsep dengan prinsip  mampu mendiskripsikan solusi terhadap problem • Asesmen: written test, oral exam

Performance • “shows how” level • asesmen: simulated patient untuk menilai skill komunikasi  artificial, dalam format standard setting sehingga terkontrol

Action • “does level” merupakan level asesmen tertinggi • performance student pada pasien sesungguhnya (clinical setting)  free • student menggunakan semua pengetahuan kognitif, skill, kemampuan, dan pengalaman dilapangan • Asesmen: observasi oleh ahli dan dosen klinik berpengalaman  internship

4 Metode Asesmen Utama • Written test • Performance test • Clinical observational methods • Other methods: portofolio, live patient exam (long and short-cases)

Written Test 1. Constructed Response (CR):  diberikan pertanyaan / stimuli & student menjawab dengan menulis atuau typing  mis: short and long essay, “fill-in-the blanks” 2. Selected-Response (SR)  stimulus dalam bentuk stem, diikuti dengan sejumlah pilihan jawaban  mis: MC dengan true-false, alternate-choice items, matching items  Tradisonal (LJK) atau CBT

Observational of Clinical Performance • Selama training di klinik (in real setting) • Informal observations – very formal (sometimes complex) • Observasional menggunakan checklist

Performance test • Formal setting  mengukur “what student can do” (bukan hanya “what they know”) • Traditional: oral exam menggunakan short/long cases pada real pasien (“vivas”) • Relative baru: OSCE (by Hart and Harden pada akhir 1970)  simulated and standardized patient exam

Other Methods • Formal oral exam • Portfolio dari pengalaman dan hasil kerja student • Vivas  non-standardized assessment methods

KURIKULUM BERBASIS KOMPETENSI

• “All health professionals should be educated to deliver patient centered care as part of an interdisciplinary team, emphasizing evidence- based practice, quality improvement approaches and informatics”

S P ICES Student centered Problem based Integra- ted Community oriented Early exposure Systema- tic

Perubahan Paradigma PBM  Teacher centered  Student centered  Passive Learning  Active Learning  Learning Skill  perlu perhatian  Evaluasi Output  Evaluasi Proses & Output

Model SAL MODELKEUNTUNGANKERUGIAN SeminarDapat dilakukan dlm kelas besar Sukar melakukan evaluasi individual Diskusi Kelompok Mudah melakukan evaluasi individual Butuh banyak ruang dan tutor, harus dalam series Diskusi Kelompok bermodul Materi diskusi lebih focus, mudah dilakukan evaluasi individual idem

•Kompetensi tak mungkin diajarkan oleh 1 lab saja •Perlu integrasi Kurikulum Berbasis Kompetensi •Membutuhkan integrasi beberapa MK •Cara pembelajaran  learning skill Metode PBM: MODUL, PBL

DASAR HUKUM

PBM di PSPD FKUB PEMBELAJARAN MODUL NON-PBL PEMBELAJARAN MODUL PBL

MODUL NON-PBL vs MODUL PBL • MODUL NON-PBL, berisi:  overview, kompetensi  LO  modul task Self inquiry untuk mengerjakan tugas modul • MODUL PBL, berisi:  skenario  mhs menentukan sendiri: ‘Problem’ sebagai triger belajar, hipotesis, LO Self inquiry untuk menjawab LO, hipotesis, masalah

Pembelajaran PBL • Salah satu model pembelajaran ( adult learning ) • Menggunakan problem (masalah) untuk meningkatkan pengetahuan dan pemahaman • Mhs menggunakan ‘trigger’ dari problem kasus atau skenario untuk menentukan sendiri tujuan belajarnya • ‘Problem Solving’ merupakan bagian dari PBL Downloaded from bmj.com on 26 December 2008

Generic skills & attitudes pada PBL • Teamwork • Chairing a group • Listening • Recording • Cooperation • Respect for colleagues' views • Critical evaluation of literature • Self directed learning and use of resources • Presentation skills

• Record points made by group • Help group order their thoughts • Participate in discussion • Record resources used by group • Encourage all group members to participate • Assist chair with group dynamics and keeping to time • Check scribe keeps an accurate record • Ensure group achieves appropriate LO • Check understanding • Assess performance All participants have role to play ScribeTutorChairGroup member • Lead the group through the process • Encourage all members to participate • Maintain group dynamics • Keep to time • Ensure group keeps to task in hand • Ensure scribe can keep up and is making an accurate record • Follow the steps of the process • Participate in discussion • Listen to and respect contributions of others • Ask open questions • Research all the learning objectives • Share information with others • Asses tutor’s performance TUTORIAL DALAM SGD

PBL di PSPD FKUB • Hanya diberikan pada setiap akhir semester  memberi latihan berpikir sintesis dan komprehensif atas materi pembelajaran yang diterima dalam semester terkait  memberi pengalaman belajar berdasarkan masalah  memberi kesempatan kepada mahasiswa memperkaya pengetahuan diluar pembelajaran modul non-PBL

 langkah-langkah untuk mendapatkan kesimpulan Hasil Belajar yang dilakukan secara sistimatis dan terencana ASESMEN

1 PROSES ASESMEN, melalui ujian dan atau observasi menggunakan alat ukur (bentuk soal maupun lembar observasi) 2 •EVALUASI HASIL BELAJAR, untuk mengukur hasil ujian ataupun hasil oservasi 3 •PENGAMBILAN KEPUTUSAN untuk menetapkan status pembelajaran dan masa studi mahasiswa

PROSES ASESMEN

Asesmen Modul Asesmen Matakuliah Disiplin Ilmu Asesmen Skill (terkait Sistem organ) Asesmen PBL OSCE ( Objective Structured Clinical Examination)

Asesmen Matakuliah Kompetensi (MKK) Ujian BLOK (Modul, MKDI, Skill) UAS Ujian Perbaikan USP Ujian Perbaikan

Skor Blok (Modul + MKDI+Skill) Nilai Akhir Semester Skor UAS Tidak Memperbaiki  Konversi Memperbaiki/ diambil terbaik Konversi Algoritma Pengukuran dan Penilaian MKK

Asesmen Matakuliah Disiplin Ilmu (MKDI) Ujian MKDI terdiri dari: • Ujian MKDI yang ditarik kembali dari Ujian MKK • Ujian Praktikum/format ujian lain jika ada Ujian Perbaikan Nilai MKDI: - Secara internal pada semester yang sedang berjalan dengan sepengetahuan Ketua Jurusan - SP / UK Nilai Akhir MKDI pada akhir pendidikan menjadi Lampiran Transkrip Akademik Lulusan

Asesmen Skill Clinical Skill terkait Blok •Ujian Tulis •Observasi OSCE •Ujian Tulis •Observasi ‘Pass’ / “Fail” SERTIFIKAT KOMPETENSI Skor Nilai IPK

UNTUK KNOWLEDGE  Ujian tertulis:  bentuk kasus - MCQ jumlah 50 soal, tipe 1 (ada 5 option, hanya ada satu option yang benar tanpa KECUALI)  Essay ASSESSMENT TOOLS UNTUK SKILL (termasuk small group discussion) • Ujian tertulis • Observation sheet

OSCE • Diberikan pada akhir semester mulai Semester-III • Dikoordinasi oleh Tim Skill Development • Asesmen: Ujian Teori, Observasi/ checklist • Nilai: “Pass” atau “Fail” Clinical Skill terdiri dari 1. Keterampilan berkomunikasi termasuk History Taking 2. Pemeriksaan Fisik 3. Prosedur Klinik

PROPORSI NILAI DISKUSI TERHADAP MKK Modul • Semester I – III  10% • Semester IV - VII  20% PBL • SGD 2x + Ujian tulis 1x, dibagi 3 Pada Ujian Perbaikan  Nilai Diskusi tidak lagi diperhitungkan

UJIAN SUSULAN

• Karena sebab yang dibenarkan oleh Fakultas • Pengajuan kepada PD-I  Jurusan  PJMK • OSCE  tidak dapat dilakukan ujian susulan

EVALUASI HASIL BELAJAR

PELAPORAN NILAI • Nilai Blok dalam bentuk Skor diumumkan oleh PJMK  untuk pertimbangan Uj Perbaikan • Nilai Akhir: - Setelah semua ujian selesai (termasuk UAS) - Dilaporkan PJMK kepada Jurusan dengan tembusan kepada subbag akademik - Diumumkan oleh Jurusan dalam bentuk Huruf

Konversi nilai  Nilai MKK: Nilai skor  Grade ( A s/d E) s/d A: ≥ 80,1 B + : 75,1 s/d 80 B: 70 s/d 75 C + : 61 s/d 69,9 C: 56 s/d 60,9 D + : 51 s/d 55,9 D: 45 s/d 50,1 E: < 45  Nilai Proses /Diskusi lihat observation sheet  Nilai Skill: Nilai skor/check list  “Pass” atau “Fail”

PENILAIAN KEMAMPUAN AKADEMIK • IP: - dihitung untuk MKK non-skill - tidak berpengaruh terhadap jumlah MKK yang akan diambil • Sistem PBM adalah end block  tidak bisa mengambil satu MKK melainkan 1 blok

PENGAMBILAN KEPUTUSAN

Evaluasi KELANJUTAN STUDI • Akhir Semester - II • Akhir Semester - VII • IPK ≥ 2

Lulus Sarjana kedokteran • Tidak melebihi 11 semester • MKK: nilai D/D + ≤ 10% • MKDI: lulus (menurut lab terkait) • Seluruh MK Skill : “Pass” • Predikat Lulusan: – Cum laude: SKed.  IPK > 3,5 tanpa ada nilai C+/C masa studi 7 semester

Lulus PROFESI dokter • Tidak melebihi 6 semester • Predikat Lulusan: – Cum laude:IPK > 3,5 tanpa ada nilai C+/C masa studi 3 semester

PEMBELAJARAN NON-BLOK • TUGAS AKHIR • PKNM • PROGRESS TEST • PROGRAM ELEKTIF (?)  ikut menentukan IPK dan persyaratan yudisium SKed.

1. Komitmen 2. Kebersamaan 3. Saling menghargai