TES PILIHAN GANDA sebagai Evaluasi Hasil Pembelajaran Liche Seniati – F.Psi.UI Pelatihan Evaluasi Hasil Pembelajaran Universitas Indonesia, Depok, 11 – 15 Oktober 2010

TES sebagai Bentuk Evaluasi Test : “…A measurement device or technique used to quantify behavior or aid in the understanding and prediction of behavior.” (Kaplan & Saccuzzo, 2005) Jadi, tes merupakan alat yang digunakan untuk melakukan pengukuran. Dalam hal ini mengukur hasil pembelajaran.

Evaluasi Hasil Pembelajaran Evaluasi Hasil Pembelajaran  Mengukur prestasi Mengukur kemampuan optimal mahasiswa Oleh karena itu: Tes harus mengukur kompetensi yang harus dimiliki mahasiswa melalui mata ajar tertentu Tes harus memiliki derajat kesulitan item yang bervariasi  Perlu dibuat kisi-kisi untuk menyusun soal tes

Tes Pilihan Ganda Merupakan salah satu bentuk EHP secara tertulis Tergolong dalam Selected Response Tests Tes berbentuk pertanyaan atau pernyataan dengan beberapa pilihan jawaban Merupakan tes yang baik untuk menguji ingatan, pemahaman, interpretasi, perbandingan Termasuk tes yang efektif dan efisien karena dapat mencakup materi yang luas, diberikan pada sejumlah besar mahasiswa, serta lebih cepat dan mudah untuk dinilai daripada metode EHP lain.

Tes Pilihan Ganda Dapat digunakan sebagai tes formatif untuk meningkatkan pemahaman mahasiswa atau sebagai tes sumatif untuk mengukur prestasi belajar mahasiswa Memungkinkan mahasiswa untuk menebak jawaban Tidak dapat menunjukkan kemampuan mahasiswa dalam memecahkan masalah, mengekspresikan pendapat, memberikan argumentasi, memberikan pandangan-pandangan baru, menggunakan informasi dalam berbagai konteks.

Langkah dan Kiat Menyusun Tes Pilihan Ganda Siapkan Kisi-kisi Tes agar semua soal mewakili tujuan instruksional, materi ajar, dan distribusi soal mempertanyakan hal-hal yang esensial dari materi ajar Contoh: Materi Ajar Ingatan Penyimpulan Perbandingan Jumlah Tipe-tipe tumbuhan 2 1 5 Peran dalam rantai makanan 4 6 Manfaat bagi manusia 9 7 20

Langkah dan Kiat Menyusun Tes Pilihan Ganda 2. Pilih dan tulis soal-soal yang akan diujikan Tulis kalimat secara singkat Soal harus mudah dipahami Sediakan 3 – 5 pilihan jawaban Hindari petunjuk ke arah jawaban yang benar Tulis jawaban yang berulang dalam soal Pastikan hanya ada satu jawaban yang benar Buat pilihan jawaban yang pendek dan setara Buat pilihan jawaban dalam urutan yang logis

Langkah dan Kiat Menyusun Tes Pilihan Ganda Susun soal mulai dari yang paling mudah Tampilkan soal dalam format yang sama Gunakan diagram, tabel, dan gambar yang dapat diinterpretasikan Atur agar soal dan jawaban berada dalam lembar yang sama Pastikan semua soal jelas dan dapat dibaca Jangan gunakan kalimat negatif Minta rekan dosen mereviu soal yang ditulis

Langkah dan Kiat Menyusun Tes Pilihan Ganda Untuk menilai kemampuan mahasiswa dalam memahami teori tertentu, berikan kasus dan minta mahasiswa memilih hipotesis yang paling tepat untuk kasus tersebut berdasarkan teori-teori yang ada Untuk menilai kemampuan mahasiswa dalam melakukan evaluasi dan sintesa, berikan masalah, kemudian minta mahasiswa mengevaluasi berbagai solusi berdasarkan kriteria yang tersedia dan memilih salah satu jawaban sebagai solusi yang paling tepat

Analisis Butir Soal Tes PG Fungsi tes : membedakan individu. Oki, setiap butir soal tes PG harus berfungsi dengan baik agar dapat membedakan mahasiswa  dilakukan analisis butir soal (item analysis).

Tujuan Analisis Butir Soal Meningkatkan fungsi butir soal untuk membedakan kemampuan mahasiwa Meningkatkan reliabilitas tes Meningkatkan validitas tes Menyusun urutan item sesuai derajat kesukaran butir soal Mencapai distribusi skor yang lebih baik Memperoleh distraktor dengan kualitas yang baik Hasil Analisis Butir Soal: Rekomendasi apakah butir soal dipergunakan/tdk

Analisis Butir Soal A. Kualitatif - Isi Apakah butir-butir soal sudah sesuai dgn ranah dimensi yg akan diukur (content validity) - Bentuk Apakah butir-butir soal sudah ditulis secara efektif (kalimat sederhana dan mudah dipahami)

Analisis Butir Soal B. Kuantitatif Analisis kesukaran (item difficulty) Analisis daya beda (item discrimination) 3. Analisis distraktor (distractor power analysis)

Analisis Kesukaran Butir Soal Mahasiswa yg lebih kompeten diharapkan lebih banyak menjawab benar dibandingkan mahasiswa yg tidak kompeten. Mahasiswa yg lebih kompeten, menjawab benar butir soal yang dpt dijawab mahasiswa yang tidak kompeten dan juga beberapa butir soal yg lebih sukar. Tes harus memiliki derajat kesukaran yang bervariasi untuk mampu membedakan mahasiswa

Indeks Kesukaran Butir Soal (p) - p = rasio antara jumlah mahasiswa yg menjawab benar butir soal dgn jumlah mahasiswa yang menjawab butir soal tersebut. - Indeks p antara 0,0 ≤ p ≤ 1,0 - Semakin besar nilai p, maka butir soal semakin mudah - Sifatnya ordinal (hanya utk mengurutkan item berdasarkan kesukarannya)

Interpretasi nilai p Pembagian kategori indeks kesukaran butir soal (berdasarkan nilai p): - sangat mudah : p > 0,8 - mudah : p = 0,6 – 0,8 - sedang : p = 0,4 – 0,6 - sukar : p = 0,2 – 0,4 - sangat sukar : p < 0,2

Analisis Diskriminasi Butir Soal Butir-butir soal harus dpt membedakan mahasiswa yang kompeten dengan yang tidak kompeten dalam materi ajar tertentu. Kriteria yg dpt digunakan utk mengetahui bahwa item tes membedakan individu - Hasil ukur di luar tes (kriteria eksternal). - skor total tes tersebut (skor tes menjadi kriteria internal).

Analisis Diskriminasi Butir Soal Tujuan Analisis Diskriminasi Butir Soal: 1. Reliabilitas item: meningkatkan homogenitas tes  Hubungan skor butir soal dgn skor total tes (kriteria internal) 2. Validitas item: meningkatkan criterion/ construct validity  Hubungan skor butir soal dgn kriteria eksternal yang ditetapkan

Teknik Analisis Butir Soal A. EXTREME GROUP METHOD Membandingkan mahasiswa yang memperoleh skor tertinggi (upper) dengan individu berskor terendah (lower).  item berfungsi baik apabila dpt membedakan kedua kelompok mahasiswa tsb. Membentuk kelompok: - jika jumlah mhsw banyak (>350): 27%-33% - jika jumlah mhsw sedikit : 50%

Extreme Group Method Indeks diskriminasi/daya beda (D) D = pU – pL Kelemahan D: - hanya untuk item alat ukur kemampuan yg diskor benar-salah (dikotomi). - besar kemampuan daya beda setiap item tidak dpt diketahui dengan pasti, karena hanya selisih proporsi individu menjawab benar.

Teknik Analisis Butir Soal B. CORRELATION INDICES METHOD Mahasiswa yang memiliki kompetensi tinggi diharapkan memiliki skor yang lebih tinggi pada setiap butir soal, dibandingkan mahasiswa yang memiliki kompetensi rendah.  korelasi skor butir soal dengan skor total tes

Correlation Indices Method Item-total correlation cenderung over-estimate krn pada skor total tes terkandung skor butir soal. Dapat diperoleh korelasi item-total yang tinggi namun kemampuan diskriminasi item rendah. Diatasi dengan corrected tem-total correlation: Korelasi skor butir soal dengan skor total yang dikurangi skor butir soal yang yang dianalisis. Kelebihan: Tidak perlu membagi kelompok upper-lower Kemampuan daya beda butir soal diketahui dari signifikansi korelasi skor butir soal dan skor total

Interpretasi Diskriminasi Item Secara umum: apakah item dpt membedakan kemampuan subyek. Reliabilitas item: item mampu membedakan subyek yg memiliki skor total tinggi dgn subyek yg memiliki skor total rendah. Validitas item: item mampu membedakan subyek yg memiliki skor kriteria tinggi dgn subyek yg memiliki skor kriteria rendah

Analisis Distraktor Dalam tes PG, pilihan jawaban yang bukan jawaban sebenarnya disebut “Distraktor” Distraktor yang baik adalah distraktor yang kemungkinan besar dipilih oleh mahasiswa yang memiliki kompetensi kurang Ini berarti, jika ada distraktor yang sama sekali tidak dipilih oleh mahasiswa berarti distraktor tersebut tidak baik dan harus diganti Distraktor harus dapat ‘menipu’ tetapi bukan ‘menjebak’ mahasiswa dalam memilih jawaban.

Referensi http://www.fairtest.org/multiple-choice-tests http://pareonline.net/getvn.asp?v=4&n=9 http://books.google.co.id/books? (Developing and validating multiple choice test items – Thomas M. Haladyna) Global Learning Communities. (....). Assessment. Australia Cohen, R.J. & Swerdlik, M.E. (2005). Psychological testing and assessment: An introduction to tests and measurement. Boston: McGraw-Hill Int’al Ed.