Pengukuran Student Learning Outcomes Lokakarya Outcome-Based Education

Outline Menyusun Rencana Asesmen Student Learning Outcomes Alat Ukur Asesmen Target Capaian Penggabungan outcomes, alat ukur, dan target capaian Hal yang perlu diperhatikan

Menyusun Rencana Asesmen Harus mencakup Pernyataan misi program studi Student learning outcomes Alat Ukur Target capaian

Student Learning Outcomes Menyatakan knowledge (pengetahuan), skills (keterampilan), dan attitudes yang ditunjukkan mahasiswa ketika menyelesaikan studi Mencakup Aspek Kognitif Psikomotorik Afektif Bersifat Dapat diukur Bermakna Dapat dikendalikan

Student Learning Outcomes Fokus pada hasil akhir, bukan pengalaman Buruk: mahasiswa akan berpartisipasi dalam penelitian Baik: mahasiswa akan dapat memilih metoda penelitian Menunjukkan apa yang dapat diamati dan diukur Buruk: mahasiswa menyadari perlunya studi lanjut dalam bidangnya Baik: mahasiswa akan siap untuk mengikuti pasca sarjana dalam bidangnya Hindari penggunaan “dan” terlalu banyak dalam satu outcomes

Karakteristik Alat Ukur Asesmen yang Efektif Dapat diamati, dihitung, dikuantifikasi, dll. (measurable and observable) Dapat menangkap komponen penting dari obyek pengamatan untuk merepresentasikannya (meaningful) Dapat memodifikasi sesuatu yang tengah dikerjakan yang bermakna bagi program (manageable)

Alat Ukur – Sumber Bukti Asesmen capaian program studi dilakukan melalui pengukuran dan evaluasi hasil pengukuran Pengukuran dilakukan dengan cara Direct Measurements – langsung dengan menggunakan rubrics dan metrics pada aktivitas dan hasil kerja mahasiswa Indirect Measurements – tak langsung melalui persepsi yang diperoleh dari survey atau kuesioner baik pada peserta didik mau pun pihak lain yang terkait Bersifat komplementer Fokus pada Direct Measurements

Direct and Indirect Measurements Indirect Measurement berupa kuesioner diberikan pada berbagai tingkatan Setiap semester untuk setiap mata kuliah untuk persepsi mahasiswa akan capaiannya dalam perkuliahan Setiap menjelang wisuda untuk setiap wisudawan untuk persepsi wisudawan akan capaian dalam program studinya (SO) Tenaga perekrut dari perusahaan dan kantor pengembangan karir lulusan untuk capaian program studi (SO) dan isu lain Alumni untuk persepsinya atas pencapaiann PEO Employer untuk persepsinya atas pencapaian PEO

Direct and Indirect Measurements Direct Measurement melalui rubrics dan metrics Seyogianya dilakukan pada setiap mata kuliah untuk setiap capaian diharapkan mata kuliah Sejalan dengan proses penilaian mahasiswa, namun mempunyai tujuan yang berbeda – rancangan yang baik akan memudahkan pelaksanaan keduanya secara simultan Alat ukur adalah rubrics yang dikenakan pada karya (tugas, PR, Kuis, Makalah, Ujian dll.) dan aktivitas (praktikum, seminar, dll.) mahasiswa

Alat Ukur Umum untuk Direct Measurements Portfolio Makalah Ujian Kelulusan Capstone project Ujian standarisasi Ujian Serifikasi Presentasi Tes yang dikembangkan sendiri Simulasi dan demonstrasi Studi kasus Pengawasan performansi kerja praktek Evaluator eksternal Pertanyaan tertanam Performasi Tes awal dan akhir Obeservasi rekan Tugas kuliah Asesmen tingat institut Tesis, disertasi, ujian kompihensif

Alat Ukur Umum untuk Direct Measurements Agar bermakna, alat ukur dinilai berdasarkan kriteria yang ditentutkan yang sejalan dengan learning outcomes Contoh Alat ukur: Makalah Tugas Akhir, makalah disampling dengan identitas dihilangkan, Evaluasi oleh panel Evaluasi dengan kriteria pada rubrik yang sejalan dengan outcomes Metoda yang digunakan dalam TA sesuai Akurasi data TA Kualitas tulisan Tiap kriteria diberi skala nilai dan dikenakan pada alat ukur

Rubrics A scoring tool that lays out the specific expectation for an assignment. (Steven and Levi, 2005) Rujukan pengukuran performansi (alat/ pedoman penilaian) pada populasi dengan uraian kriteria dan skala yang tegas Manfaat rubrics Menghemat waktu Penilai menggunakan skala yang sama Penilai menggunakan penilaian berdasarkan kriteria

Rubrics Mengapa harus menggunakan rubrics Untuk menguji perilaku atau produk yang kompleks Untuk memperjelas ekspektasi dosen Untuk menjaga konsistensi dalam menilai produk atau tulisan Untuk menunjukkan pola kekuatan mahasiswa dan bidang yang perlu mendapat perhatian Untuk menggunakan rujukan kriteria, bukan rujukan norma Untuk memberi mahasiswa perangkat untuk menilai pekerjaannya sendiri

Penyusunan Rubrik Rujuk pada Learning Outcomes (LO) yang akan diukur Tentukan Performance Criteria (PC) dari LO tersebut yang akan diukur Tentukan jumlah kategori (metrik) capaian yang akan dibuat Tentukan kategori yang dapat diterima sebagai memenuhi target dan berikan uraian hasil/ capaian yang diharapkan Tentukan uraian capaian yang menunjukkan hasil yang lebih baik dari target Tentukan uraian capaian yang kurang atau gagal memenuhi target

Rubrics Contoh rubric untuk Bekerja dalam Tim Kategori Kurang Cukup Baik Istimewa Bekerja dalam tim Tidak bekerja baik dalam kelompok Kadang mengganggu rekan bekerja Perlu dukungan untuk bekerja dalam tim Mencoba bekerja sendiri Dapat bekerja baik hanya dalam tim yang dipilihnya Dapat bekerja sama dengan anggota yang lain Tetap mengerjakan tugasnya Berkomunikasi baik dengan timnya Bekerja sama dengan baik dengan anggota yang lain Menjaga fokus tim dan tetap mengerjakan tugasnya Berkomunikasi baik dengan timnya dan atas nama kelompoknya

Rubrics Contoh rubric Keterampilan Menyolder Kategori Buruk Cukup Baik Keselamatan kerja Serampangan tidak memperhatikan petunjuk keselamatan kerja Kurang hati-hati Kadang tidak memperhatikan petunjuk keselamatan kerja Hati-hati Membaca dan mengikuti petunjuk keselamatan kerja Kualitas penyolderan Timah menempel pada pad yang tidak diinginkan Apa komponen ddengan pin tidak tersolder Timah menempel hanya pada pad yang diinginkan Semua komponen tersolder Timah menempel pada pad yang diinginkan dengan tepi mencekung Semua komponen tersolder dan berfungsi baik

Contoh Istilah Skala Capaian Capstone Milestone Benchmark Exemplary Accomplished Developing Beginning Excellent Very Good Average Fair Distinguihes Proficient Appentice Novice

Pemilihan Alat Ukur Inventori data yang telah terkumpul yang bermanfaat untuk asesmen atau perbaikan Pilih sejumlah alat ukur yang dapat dikelola saja Pilih alat uku yang dapat memberikan data untuk beberapa outcomes sekaligus (bentuk matrik) Saat implementasi mulailah dengan yang mudah dan menarik Kumpulkan informasi yang menarik untuk dosen Populasi yang penting Impak dari program baru atau hasil perbaikan

Pemilihan Alat Ukur Hindari alat ukur yang memerlukan teknik pengumpulan data yang kompleks atau pengumpulan di tempat yang diluar kendali Evaluasi ketepatan waktu dan biaya (masalah waktu/ kesibukan dosen) Siapa yang akan mengalisis informasi? Kapan akan dianalisis? Ukur karya mahasiswa menjelang kelulusan Pilih metoda yang sepenuhnya dalam kendali prodi (tidak memerlukan informasi dari pusat) Ukur hal-hal yang dapat dipengaruhi oleh prodi (Apakah hasil berfluktuasi dapat dijelaskan dari faktor luar?)

Pemilihan Alat Ukur Untuk alat ukur yang baru, pelajari kemungkinan pilot study untuk menentukan Tingkat kesukaran mengumpulkan data Tingkat manfaat hasil Apakah data menjawab pertanyaan yang benar Hati-hati pada motivasi Tes yang tidak menentukan nilai mahasiswa tidak mencerminkan pengetahuan mahasiswa Segera peroleh/ berikan umpan balik pada dosen

PortFolio Tujuan: sebagai alat bantu evaluasi menyeluruh perkuliahan Merupakan bagian dari alat evaluasi pelaksanaan dan capaian mata kuliah Hanya bermanfaat bila digunakan untuk evaluasi

PortFolio Cakupan Isi Silabus Assesment Informasi umum perkuliahan Tujuan dan capaian menurut kurikulum Sasaran Pembelajaran Mingguan Pelaksanaan pembelajaran mingguan Assesment Pola penilaian Kisi-kisi dan Rubric Rincian soal, tugas, kuis, PR, Ujian, dll berikut kuncinya Contoh karya mahasiswa yang buruk, rata-rata, dan baik/ istimewa Statistik nilai dan capaian mahasiswa

PortFolio Survey Mata Kuliah Evaluasi Assesment Capaian Program Studi Pelaksanaan mata kuliah menurut mahasiswa Persepsi mahasiswa atas pemahamannya untuk materi perkuliahan Evaluasi Evaluasi diri dosen tentang cakupan pengajaran Evaluasi dosen atas statistik nilai dan persepsi mahasiswa Assesment Capaian Program Studi

Target Capaian Target capaian adalah hasil, target, tolok ukur, atau nilai yang menyatakan tingkat kesuksesan mencapai outcomes tertantu Contoh: 66% mahasiswa akan dapat menyelesaikan studi dalam 8 semester Target capaian adalah angka/ nilai tertentu atau trend meningkat atau menurun Target capaian harus ditetapkan sebelum hasil pengukuran

Contoh Target Capaian Mahasiswa akan mencapai nilai 3 atau 4 dalam rubrik Nilai rata-rata pada rubrik adalah 3 (skala 4) atau lebih

Menggabungkan Outcomes, Alat Ukur, dan Target Capaian Contoh Outcomes: Mahasuswa menggunakan konvensi sitasi yang tepat Alat Ukur 1 (Direct) Menggunakan rubrik untuk menulis karya ilmiah pada makalah tugas akhir Target Capaian: mahasiswa memperoleh nilai “proficient” pada rubrik Alat Ukur 2 (Indirect) Menggunakan exit-survey Target Capaian: 80% mahasiswa menjawab mengetahui perbedaan cara tulis sitasi pada buku dan makalah

Hal-hal yang Perlu Diperhatikan Menggantungkan alat ukur pada nilai mahasiswa Nilai fokus pada pembelajaran individu mahasiswa bukan pola pembelajaran dalam program Nilai merupakan gabungan sejumlah outcomes dan persyaratan Terlalu banyak alat ukur indirect Berapa akurat persepsi mahasiswa pada pembelajaran dirinya? Apa korelasi antara kepuasan mahasiswa dengan pembelajarannya?

Hal-hal yang Perlu Diperhatikan Mencampurkan outcomes, alat ukur, dan target capaian Outcome: Mahasiswa siap mengikuti ujian profesi Alat Ukur: Tingkat kelulusan mahasiwa pada ujian profesi Target Capaian: Tingkat kelulusan mahasiswa di atas rata-rata provinsi

Menulis Alat Ukur Berikan deskipsi singkat alat ukur Uraikan dimana, kapan, dan siapa Lakukan dengan spesifik agar mudah direplikasi Bila perlu lengkapi dengan rubrik

Menulis Alat Ukur - Contoh Alat Ukur: Prakiraan cuaca mahasiswa dalam GM4012 Deskripsi: Mahasiswa akan mempresentasikan prakiraan cuaca pada minggu terakhir kuliah GM4012 yang dievaluasi oleh panel dosen menggunakan rubrik Outcomes terkait – Mahasiswa mampu Menganlisa dan menginterpretasi data meteorologi Membuat prakiraan cuaca dengan akurat Mendemontrasikan keterampilan presentasi lisan Target Capaian Nilai 3 atau lebih pada rubrik Nilai 4 atau lebih pada rubrik

Pilih Alat Ukur yang Baik Menggunakan alat ukur asesmen tanpa pengembangan dan percontohan dengan baik dapat membuat data yang diperoleh Tak bermafaat Tidak meyakinkan dosen Memberikan informasi perubahan yang salah Tidak dapat direpilasi pada siklus berikutnya Membuang waktu Upayakan memperoleh hasil yang menarik, bermakna, akurat, dan dapat ditindaklanjuti