Pengukuran Student Learning Outcomes

Presentasi berjudul: "Pengukuran Student Learning Outcomes"— Transcript presentasi:

1 Pengukuran Student Learning Outcomes
Lokakarya Outcome-Based Education

2 Outline Menyusun Rencana Asesmen Student Learning Outcomes
Alat Ukur Asesmen Target Capaian Penggabungan outcomes, alat ukur, dan target capaian Hal yang perlu diperhatikan

3 Menyusun Rencana Asesmen
Harus mencakup Pernyataan misi program studi Student learning outcomes Alat Ukur Target capaian

4 Student Learning Outcomes
Menyatakan knowledge (pengetahuan), skills (keterampilan), dan attitudes yang ditunjukkan mahasiswa ketika menyelesaikan studi Mencakup Aspek Kognitif Psikomotorik Afektif Bersifat Dapat diukur Bermakna Dapat dikendalikan

5 Student Learning Outcomes
Fokus pada hasil akhir, bukan pengalaman Buruk: mahasiswa akan berpartisipasi dalam penelitian Baik: mahasiswa akan dapat memilih metoda penelitian Menunjukkan apa yang dapat diamati dan diukur Buruk: mahasiswa menyadari perlunya studi lanjut dalam bidangnya Baik: mahasiswa akan siap untuk mengikuti pasca sarjana dalam bidangnya Hindari penggunaan “dan” terlalu banyak dalam satu outcomes

6 Karakteristik Alat Ukur Asesmen yang Efektif
Dapat diamati, dihitung, dikuantifikasi, dll. (measurable and observable) Dapat menangkap komponen penting dari obyek pengamatan untuk merepresentasikannya (meaningful) Dapat memodifikasi sesuatu yang tengah dikerjakan yang bermakna bagi program (manageable)

7 Alat Ukur – Sumber Bukti
Asesmen capaian program studi dilakukan melalui pengukuran dan evaluasi hasil pengukuran Pengukuran dilakukan dengan cara Direct Measurements – langsung dengan menggunakan rubrics dan metrics pada aktivitas dan hasil kerja mahasiswa Indirect Measurements – tak langsung melalui persepsi yang diperoleh dari survey atau kuesioner baik pada peserta didik mau pun pihak lain yang terkait Bersifat komplementer Fokus pada Direct Measurements

8 Direct and Indirect Measurements
Indirect Measurement berupa kuesioner diberikan pada berbagai tingkatan Setiap semester untuk setiap mata kuliah untuk persepsi mahasiswa akan capaiannya dalam perkuliahan Setiap menjelang wisuda untuk setiap wisudawan untuk persepsi wisudawan akan capaian dalam program studinya (SO) Tenaga perekrut dari perusahaan dan kantor pengembangan karir lulusan untuk capaian program studi (SO) dan isu lain Alumni untuk persepsinya atas pencapaiann PEO Employer untuk persepsinya atas pencapaian PEO

9 Direct and Indirect Measurements
Direct Measurement melalui rubrics dan metrics Seyogianya dilakukan pada setiap mata kuliah untuk setiap capaian diharapkan mata kuliah Sejalan dengan proses penilaian mahasiswa, namun mempunyai tujuan yang berbeda – rancangan yang baik akan memudahkan pelaksanaan keduanya secara simultan Alat ukur adalah rubrics yang dikenakan pada karya (tugas, PR, Kuis, Makalah, Ujian dll.) dan aktivitas (praktikum, seminar, dll.) mahasiswa

10 Alat Ukur Umum untuk Direct Measurements
Portfolio Makalah Ujian Kelulusan Capstone project Ujian standarisasi Ujian Serifikasi Presentasi Tes yang dikembangkan sendiri Simulasi dan demonstrasi Studi kasus Pengawasan performansi kerja praktek Evaluator eksternal Pertanyaan tertanam Performasi Tes awal dan akhir Obeservasi rekan Tugas kuliah Asesmen tingat institut Tesis, disertasi, ujian kompihensif

11 Alat Ukur Umum untuk Direct Measurements
Agar bermakna, alat ukur dinilai berdasarkan kriteria yang ditentutkan yang sejalan dengan learning outcomes Contoh Alat ukur: Makalah Tugas Akhir, makalah disampling dengan identitas dihilangkan, Evaluasi oleh panel Evaluasi dengan kriteria pada rubrik yang sejalan dengan outcomes Metoda yang digunakan dalam TA sesuai Akurasi data TA Kualitas tulisan Tiap kriteria diberi skala nilai dan dikenakan pada alat ukur

12 Rubrics A scoring tool that lays out the specific expectation for an assignment. (Steven and Levi, 2005) Rujukan pengukuran performansi (alat/ pedoman penilaian) pada populasi dengan uraian kriteria dan skala yang tegas Manfaat rubrics Menghemat waktu Penilai menggunakan skala yang sama Penilai menggunakan penilaian berdasarkan kriteria

13 Rubrics Mengapa harus menggunakan rubrics
Untuk menguji perilaku atau produk yang kompleks Untuk memperjelas ekspektasi dosen Untuk menjaga konsistensi dalam menilai produk atau tulisan Untuk menunjukkan pola kekuatan mahasiswa dan bidang yang perlu mendapat perhatian Untuk menggunakan rujukan kriteria, bukan rujukan norma Untuk memberi mahasiswa perangkat untuk menilai pekerjaannya sendiri

14 Penyusunan Rubrik Rujuk pada Learning Outcomes (LO) yang akan diukur
Tentukan Performance Criteria (PC) dari LO tersebut yang akan diukur Tentukan jumlah kategori (metrik) capaian yang akan dibuat Tentukan kategori yang dapat diterima sebagai memenuhi target dan berikan uraian hasil/ capaian yang diharapkan Tentukan uraian capaian yang menunjukkan hasil yang lebih baik dari target Tentukan uraian capaian yang kurang atau gagal memenuhi target

15 Rubrics Contoh rubric untuk Bekerja dalam Tim Kategori Kurang Cukup
Baik Istimewa Bekerja dalam tim Tidak bekerja baik dalam kelompok Kadang mengganggu rekan bekerja Perlu dukungan untuk bekerja dalam tim Mencoba bekerja sendiri Dapat bekerja baik hanya dalam tim yang dipilihnya Dapat bekerja sama dengan anggota yang lain Tetap mengerjakan tugasnya Berkomunikasi baik dengan timnya Bekerja sama dengan baik dengan anggota yang lain Menjaga fokus tim dan tetap mengerjakan tugasnya Berkomunikasi baik dengan timnya dan atas nama kelompoknya

16 Rubrics Contoh rubric Keterampilan Menyolder Kategori Buruk Cukup Baik
Keselamatan kerja Serampangan tidak memperhatikan petunjuk keselamatan kerja Kurang hati-hati Kadang tidak memperhatikan petunjuk keselamatan kerja Hati-hati Membaca dan mengikuti petunjuk keselamatan kerja Kualitas penyolderan Timah menempel pada pad yang tidak diinginkan Apa komponen ddengan pin tidak tersolder Timah menempel hanya pada pad yang diinginkan Semua komponen tersolder Timah menempel pada pad yang diinginkan dengan tepi mencekung Semua komponen tersolder dan berfungsi baik

17 Contoh Istilah Skala Capaian
Capstone Milestone Benchmark Exemplary Accomplished Developing Beginning Excellent Very Good Average Fair Distinguihes Proficient Appentice Novice

18 Pemilihan Alat Ukur Inventori data yang telah terkumpul yang bermanfaat untuk asesmen atau perbaikan Pilih sejumlah alat ukur yang dapat dikelola saja Pilih alat uku yang dapat memberikan data untuk beberapa outcomes sekaligus (bentuk matrik) Saat implementasi mulailah dengan yang mudah dan menarik Kumpulkan informasi yang menarik untuk dosen Populasi yang penting Impak dari program baru atau hasil perbaikan

19 Pemilihan Alat Ukur Hindari alat ukur yang memerlukan teknik pengumpulan data yang kompleks atau pengumpulan di tempat yang diluar kendali Evaluasi ketepatan waktu dan biaya (masalah waktu/ kesibukan dosen) Siapa yang akan mengalisis informasi? Kapan akan dianalisis? Ukur karya mahasiswa menjelang kelulusan Pilih metoda yang sepenuhnya dalam kendali prodi (tidak memerlukan informasi dari pusat) Ukur hal-hal yang dapat dipengaruhi oleh prodi (Apakah hasil berfluktuasi dapat dijelaskan dari faktor luar?)

20 Pemilihan Alat Ukur Untuk alat ukur yang baru, pelajari kemungkinan pilot study untuk menentukan Tingkat kesukaran mengumpulkan data Tingkat manfaat hasil Apakah data menjawab pertanyaan yang benar Hati-hati pada motivasi Tes yang tidak menentukan nilai mahasiswa tidak mencerminkan pengetahuan mahasiswa Segera peroleh/ berikan umpan balik pada dosen

21 PortFolio Tujuan: sebagai alat bantu evaluasi menyeluruh perkuliahan
Merupakan bagian dari alat evaluasi pelaksanaan dan capaian mata kuliah Hanya bermanfaat bila digunakan untuk evaluasi

22 PortFolio Cakupan Isi Silabus Assesment Informasi umum perkuliahan
Tujuan dan capaian menurut kurikulum Sasaran Pembelajaran Mingguan Pelaksanaan pembelajaran mingguan Assesment Pola penilaian Kisi-kisi dan Rubric Rincian soal, tugas, kuis, PR, Ujian, dll berikut kuncinya Contoh karya mahasiswa yang buruk, rata-rata, dan baik/ istimewa Statistik nilai dan capaian mahasiswa

23 PortFolio Survey Mata Kuliah Evaluasi Assesment Capaian Program Studi
Pelaksanaan mata kuliah menurut mahasiswa Persepsi mahasiswa atas pemahamannya untuk materi perkuliahan Evaluasi Evaluasi diri dosen tentang cakupan pengajaran Evaluasi dosen atas statistik nilai dan persepsi mahasiswa Assesment Capaian Program Studi

24 Target Capaian Target capaian adalah hasil, target, tolok ukur, atau nilai yang menyatakan tingkat kesuksesan mencapai outcomes tertantu Contoh: 66% mahasiswa akan dapat menyelesaikan studi dalam 8 semester Target capaian adalah angka/ nilai tertentu atau trend meningkat atau menurun Target capaian harus ditetapkan sebelum hasil pengukuran

25 Contoh Target Capaian Mahasiswa akan mencapai nilai 3 atau 4 dalam rubrik Nilai rata-rata pada rubrik adalah 3 (skala 4) atau lebih

26 Menggabungkan Outcomes, Alat Ukur, dan Target Capaian
Contoh Outcomes: Mahasuswa menggunakan konvensi sitasi yang tepat Alat Ukur 1 (Direct) Menggunakan rubrik untuk menulis karya ilmiah pada makalah tugas akhir Target Capaian: mahasiswa memperoleh nilai “proficient” pada rubrik Alat Ukur 2 (Indirect) Menggunakan exit-survey Target Capaian: 80% mahasiswa menjawab mengetahui perbedaan cara tulis sitasi pada buku dan makalah

27 Hal-hal yang Perlu Diperhatikan
Menggantungkan alat ukur pada nilai mahasiswa Nilai fokus pada pembelajaran individu mahasiswa bukan pola pembelajaran dalam program Nilai merupakan gabungan sejumlah outcomes dan persyaratan Terlalu banyak alat ukur indirect Berapa akurat persepsi mahasiswa pada pembelajaran dirinya? Apa korelasi antara kepuasan mahasiswa dengan pembelajarannya?

28 Hal-hal yang Perlu Diperhatikan
Mencampurkan outcomes, alat ukur, dan target capaian Outcome: Mahasiswa siap mengikuti ujian profesi Alat Ukur: Tingkat kelulusan mahasiwa pada ujian profesi Target Capaian: Tingkat kelulusan mahasiswa di atas rata-rata provinsi

29 Menulis Alat Ukur Berikan deskipsi singkat alat ukur
Uraikan dimana, kapan, dan siapa Lakukan dengan spesifik agar mudah direplikasi Bila perlu lengkapi dengan rubrik

30 Menulis Alat Ukur - Contoh
Alat Ukur: Prakiraan cuaca mahasiswa dalam GM4012 Deskripsi: Mahasiswa akan mempresentasikan prakiraan cuaca pada minggu terakhir kuliah GM4012 yang dievaluasi oleh panel dosen menggunakan rubrik Outcomes terkait – Mahasiswa mampu Menganlisa dan menginterpretasi data meteorologi Membuat prakiraan cuaca dengan akurat Mendemontrasikan keterampilan presentasi lisan Target Capaian Nilai 3 atau lebih pada rubrik Nilai 4 atau lebih pada rubrik

31 Pilih Alat Ukur yang Baik
Menggunakan alat ukur asesmen tanpa pengembangan dan percontohan dengan baik dapat membuat data yang diperoleh Tak bermafaat Tidak meyakinkan dosen Memberikan informasi perubahan yang salah Tidak dapat direpilasi pada siklus berikutnya Membuang waktu Upayakan memperoleh hasil yang menarik, bermakna, akurat, dan dapat ditindaklanjuti