BEDAH KISI-KISI UN TENTANG UJIAN NASIONAL CBT DAN CAT

Presentasi berjudul: "BEDAH KISI-KISI UN TENTANG UJIAN NASIONAL CBT DAN CAT"— Transcript presentasi:

1 BEDAH KISI-KISI UN TENTANG UJIAN NASIONAL CBT DAN CAT
C. ANALISIS DAYA SERAP UN 2013/2014 D. PENJABARAN SKL KE DALAM KISI-KISI E. PERSIAPAN UN TAHUN 2014/2015 DR. JUANDANILSYAH. MA 85

2 Bambang Kulup Karnoto T TL: Pemalang, 8 Juli 1964
Pendidikan S-1: IKIP Jakarta S-2: Universitas Indonesia Training: TOT School Leadership di London UK Delegasi program Pembelajaran Bahasa Mandarin, Hainan, China. Konferensi: International Conference on Best Practice: I di Jakarta, II di Brunei Darusalam, III di Bangkok, IV di Bali, V di Nha Trang Vietnam Pekerjaan Utama : Guru SMP N 1 RSBI Jakarta Pekerjaan Tambahan : Kepala SMP N 1 RSBI, Penulis Bank Soal, Tim Pengembang PMPTK, Tim Pengembang Pusbang Tendik, Ketua MGMP IPA Prov. DKI Jakarta, Penulis Buku Fokus Biologi, Seribu Pena Penerbit Erlangga, SPM IPA, SPM Plus 2010, LPR, SPM Plus 2011, Penerbit Esis, Sukses UN Penerbit Akasia, dll. NO HP ,

3 TENTANG UJIAN NASIONAL
SMP/MTS 13

4 Mencegah disintegrasi bangsa
Mengenal UN Ujian Nasional (UN) dilaksanakan sejak tahun pelajaran 2004/2005 dengan tujuan sebagai alat penilaian pencapaian standar kompetensi lulusan secara nasional. Hasil UN kemudian dapat digunakan sebagai salah satu pertimbangan untuk pemetaan mutu program dan/atau satuan pendidikan, dasar seleksi masuk ke jenjang pendidikan berikutnya, penentuan kelulusan peserta didik dari program dan/atau satuan pendidikan, pembinaan dan pemberian bantuan kepada satuan pendidikan dalam upaya untuk meningkatkan mutu pendidikan. Perlunya UN Evaluasi capaian Akuntabilitas Barometer pendidikan Pemetaan Perencanaan Pembinaan Quality control Mencegah disintegrasi bangsa

5 Skala Ujian Nasional 80.000 sekolah 700.000 pengawas 7 juta peserta
UN merupakan pekerjaan dengan skala yang sangat besar. Pada tahun pelajaran 2013/2014 diikuti oleh siswa SMP/MTs, siswa SMA/MA, dan siswa SMK. Pelaksanaan UN mencakup rentang geografis yang jaraknya km dari SMP Negeri 1 Sabang di desa Cot Bau, Sabang, hingga ke SMP 2 Merauke di desa Kelapa Lima, Merauke. Diselenggarakan di 34 Provinsi 11 Negara sekolah SMP SMA/MA SMK pengawas 7 juta peserta Siswa SMP Siswa SMA Siswa SMK Kesetaraan 35 juta exlempar naskah UN harus didistribusikan tepat waktu 5

6 Meningkatkan Mutu dan Kredibilitas UN
Mutu Soal Pelaksanaan Output Dimanfaatkan untuk: Pemetaan Kelulusan Seleksi Pembinaan Peningkatan mutu pelaporan Kualitas Instrumen (andal dan valid) Dapat dijaga kerahasiaannya Prosedur baku dalam penulisan soal untuk menjamin mutu (Quality Control) Peningkatan Mutu UN Setiap tahun Kemdikbud selalu meningkatkan mutu penyelenggaraan UN. Komponen utama mutu UN terdiri dari tiga elemen: soal yang bermutu, pelaksanaan yang kredibel, dan output yang termanfaatkan dengan optimal Sistem Penggandaan dan distribusi naskah Sistem Pengawasan Sistem Pengolahan Nilai ACER is pleased to report that the analysis plan is sound and ACER believes that a set of criteria used for selecting test items into examination test forms is appropriate [Maurice, ACER, 2014]

7 Contoh Karakteristik Tingkat Kesulitan Soal
Persiapan soal UN Penyusunan Soal UN. Soal-soal UN disiapkan dengan kendali mutu yang mengikuti praktek internasional. Untuk menyelenggarakan sekali ujian Nasional disiapkan tidak kurang dari butir soal yang terkalibrasi dan direview melalui tahapan yang panjang. Penyusunan paket ujian tersebut dilakukan dengan standar kendali mutu yang ketat. Semua proses tersebut dilakukan oleh Puspendik dan pada akhirnya direview dan ditetapkan oleh BSNP. Karakteristik Soal UN. Soal-soal UN terdiri atas soal-soal sukar, sedang, dan mudah. Setiap kategori soal memberikan hasil distribusi nilai yang berbeda. Jika dipergunakan hanya soal-soal mudah, distribusi nilai akan skew negatif, sedangkan distribusi nilai pada soal-soal sukar skew positif. Hal ini terjadi untuk semua mata pelajaran yang diujikan yang berarti tingkat kesukaran soal mampu mendiferensiasi hasil capaian siswa. Pada UN 2014 juga dilakukan adopsi soal PISA untuk membiasakan siswa berpikir pada level tinggi. Analisis menunjukkan hasil yang menggembirakan dengan persentase menjawab benar relatif tinggi, bahkan di zona wilayah tertentu mencapai lebih dari 99% siswa. Contoh Karakteristik Tingkat Kesulitan Soal

8 Perbandingan UN 2012, UN 2013 dan UN 2014
ASPEK 2012 2013 2014 Integrasi vertikal Nilai UN sebagai salah satu penentu kelulusan dari satuan pendidikan Nilai UN belum sepenuhnya digunakan dlm seleksi SNMPTN Nilai UN digunakan dalam penerimaan mhs baru SNMPTN Soal Mudah 10% Sedang 80% Sedang 70% Sukar 10% Sukar 20% Beberapa soal Higher Order Thinking setara PISA/TIMMS Paket Lima paket tes dalam satu ruang ujian dengan tingkat kesulitan yang relatif sama Tiap anak menerima set soal yang berbeda dengan tingkat kesulitan yang relatif sama Penggandaan bahan UN Terpusat Terpusat dengan panitia pengadaan secara regional Kelembagaan Perguruan tinggi dilibatkan dalam proses pengawasan pencetakan oleh penyelenggara pusat Majelis Rektor dilibatkan dalam kepanitian UN dari tingkat pusat sampai dengan satuan pendidikan untuk meningkatkan kredibilitas dan integrasi vertikal Pengawasan Majelis rektor dilibatkan dalam penyiapan soal di bawah koordinasi BSNP, pengawasan, pemrosesan LJUN untuk meningkatkan kredibilitas UN untuk jenjang SMA dan SMK Majelis rektor dilibatkan dalam penyiapan soal, pengawasan, pemrosesan LJUN untuk meningkatkan kredibilitas UN di tingkat SMA dan SMK sedangkan LPMP dilibatkan dalam pengawasan satuan pendidikan

9 Pemetaan Capaian Pendidikan contoh: nilai UN murni SMP

10 Gambaran distribusi nilai UN, nilai sekolah, nilai akhir SMP/MTs Sederajat Tahun 2013/2014
Distribusi Nilai UN dibandingkan NS. Pada semua jenjang, rentang Nilai UN lebih lebar dibandingkan NS secara signifikan. Pada jenjang SMP/MTs rentang Nilai UN 4,61 sedangkan rentang NS 2,13. Perbedaan rentang lebih lebar pada jenjang SMA/MA, yaitu rentang nilai UN 4,72 dan rentang nilai NS 1,96. Perbedaan rentang ini menunjukkan bahwa penilaian di tingkat sekolah kurang mampu mendiferensiasi kemampuan siswa dibandingkan penilaian yang terstandar secara nasional. Analisis terpisah antara kabupaten/kota dengan Nilai UN lebih tinggi dibandingkan NS juga menunjukkan bahwa nilai sekolah dapat menjadi prediktor yang baik dari pencapaian hasil ujian nasional. Hal ini mengindikasikan bahwa penilaian tingkat sekolah yang berkualitas mampu menyiapkan siswanya mencapai hasil yang lebih baik pada ujian nasional.

11 UN memetakan daya serap dan kompetensi lulusan
Peta Capaian Kompetensi. Setiap tahunnya terdapat 80 mata pelajaran yang diujikan pada UN pendidikan formal maupun UN pendidikan kesetaraan. Lebih dari butir soal dikembangkan setiap tahunnya untuk memenuhi kebutuhan UN. Oleh karena itu hasil UN diarahkan dapat dimanfaatkan untuk perbaikan mutu pembelajaran setiap mata pelajaran. Salah satu cara pemanfaatan adalah dengan melihat capaian peta kompetensi setiap pelajaran. Hasil UN dapat membandingkan capaian kompetensi satuan pendidikan dengan satuan pendidikan lainnya, kabupaten/kota, provinsi, sampai ke tingkat nasional. Titik lemah siswa dapat diperinci dari hasil capaian kompetensi yang rendah menjadi capaian setiap materi bahkan capaian setiap indikator soal melalui peta daya serap. Struktur Atom Kimia unsur stoikiometri Redoks Larutan Kinetika reaksi Kimia karbon Termokimia

12 Leveling Capaian Siswa
Deskripsi Kompetensi Sangat Baik Pada kompetensi membaca, peserta didik mampu menafsirkan informasi tersirat pada bacaan sastra/nonsastra, sedangkan pada kompetensi menulis, peserta didik mampu menyusun berbagai bentuk paragraf dengan memperhatikan ejaan dan tanda baca Baik Pada kompetensi membaca, peserta didik mampu menafsirkan informasi tersurat pada teks sastra/ nonsastra, sedangkan pada kompetensi menulis, peserta didik mampu menggunakan kalimat sesuai ilustrasi dengan memperhatikan penggunaan EYD Cukup Pada kompetensi membaca, peserta didik mampu mengidentifikasi informasi tersurat pada bacaan/iklan/denah, sedangkan pada kompetensi menulis, peserta didik mampu menggunakan kata/kalimat pada teks sastra/nonsastra. Kurang Siswa mampu mengidentifikasi informasi yang sangat sederhana dan tersurat dari sebuah wacana non teks sederhana. Siswa memiliki keterbatasan dalam menggunakan kata/frasa pada teks sastra/nonsastra. Level Kompetensi Ujian Nasional. Mulai tahun 2014, dilakukan analisa mengenai level kompetensi siswa berdasarkan hasil UN. Level kompetensi ini mengelompokkan siswa berdasarkan nilai UN, menganalisa butir-butir soal yang mewakili setiap kelompok, kemudian mendefinisikan kemampuan setiap kelompok siswa berdasarkan butir-butir soal yang mewakilinya. Terdapat 4 level kompetensi UN 2014: sangat baik (rentang nilai >8-10), baik(rentang nilai >6-8), cukup(rentang nilai >4-6), dan kurang(rentang nilai 0-4). Contoh deskripsi kemampuan bahasa Indonesia berikut membedakan antara siswa level kompetensi sangat baik dengan siswa level kompetensi baik. Siswa pada level kompetensi sangat baik mampu menafsirkan informasi yang tersirat dari wacana teks sastra maupun nonsastra. Sedangkan siswa pada level kompetensi baik mampu menafisrkan informasi yang tersurat. Contoh soal Bahasa Indonesia disajikan untuk memberi gambaran perbedaan kompetensi menafsirkan informasi tersirat dengan menafsirkan informasi tersurat.

13 Pengembangan penilaian untuk menyiapkan kompetensi abad 21
B. CBT dan CAT Pengembangan penilaian untuk menyiapkan kompetensi abad 21

14 CBT dan CAT Salah satu kompetensi yang diperlukan agar kompetitif di abad ke 21 adalah kemampuan penggunaan teknologi informasi dan telekomunikasi (digital literacy). Anak-anak yang sekarang duduk di sekolah dasar maupun menengah lahir di abad digital (digital natives). Dengan kemajuan teknologi informasi dan ketersediaan prasarana komputer dan jaringan pendidikan yang semakin merata di sekolah-sekolah kita, Puspendik telah mengembangkan aplikasi CBT (Computerized Based Test) dan CAT (Computerized Adaptive Test). Untuk semakin mendorong literasi TIK, direncanakan secara bertahap penyelenggaraan Ujian Nasional maupun Penilaian Mutu Tingkat Kompetensi berdasar kurikulum 2013 dilakukan berbasis komputer.

15 Manfaat CBT Aspek Sebelum Sesudah Soal ujian Sekali pakai
Tetap tersimpan Jenis Paket Tes Terbatas generate jumlah yg banyak Ragam soal Hanya check point Beragam bentuk Administrasi Ujian Tidak fleksible jadwal Fleksible dilakukan berulang Pelelangan bahan Lama (2 bulan), mahal Tidak ada, murah Pencetakan soal Lama (2 bulan), mahal Cepat (1 bulan), murah Pengamanan Fisik, sulit, mahal Soft copy, lebih mudah, murah Pengawasan Sulit, berjenjang Lebih mudah, langsung Mengatasi kecurangan Sulit, mahal Lebih kredibel Pengolahan hasil Lama (1 bulan), mahal Lebih cepat (2 minggu), murah Akuntabilitas Rumit, berjenjang Lebih transparan 15

16 Peta Jalan Pengembangan UN CBT
Nilai Matematika Pada tahun 2014 telah diselenggarakan uji coba terbatas UN CBT secara online di Sekolah Indonesia Singapura dan Sekolah Indonesia Kuala Lumpur (SIKL). Di SIKL siswa mengerjakan baik secara online maupun paper based test. Meski soal dan caranya berbeda, hasil ujian dengan kedua metode tersebut berkorelasi tinggi. Korelasi: 0.82 stdev : 1.74 (C); 1.94(P) min: 4.00 (C) ; 2.25 (P) max: (C) ; 9.75 (P) mean: 7.74 (C); 5.87 (P) Peta Jalan Pengembangan UN CBT 2014 2015 2016 2017 Mini piloting Pengembangan software Persiapan hardware Pengembangan bank soal Uji coba Kajian academis POS UN online Pemantapan software Penetapan sekolah pilot Pemantapan hardware Pemantapan jaringan Implementasi UN online (terbatas) di beberapa prov Evaluasi Penyempurnaan sistem Dual mode UN secara Nasional Evaluasi Penyempurnaan sistem UN kertas sebagai pekecualian Pengembangan soal yg lebih advanced Evaluasi

17 Rencana 2014 Mini piloting Malaysia Singapura (Mei 2014)
Penyempurnaan software/aplikasi (Juni-Oktober 2014) Persiapan hardware (Juni – Desember 2014) Pengembangan bank soal (Januari – Desember 2014) Uji coba ekuivalensi (Oktober 2014) Uji coba di 8 Provinsi (November 2014) Kajian akademis (Oktober – November 2014) Permen Penilaian (Oktober 2014) POS UN online (Desember 2014)

18 Uji Coba Ekuivalensi Tujuan: mengkaji kesetaraan PBT dan CBT
sosialisasi CBT pada siswa Lokasi: 20 SMA, 20 SMK dan 15 SMP di Area JABODETABEK Peserta: Siswa kelas 3 SMA: Oktober 2014 SMK: Oktober 2014 SMP: 4-5 November 2014

19 kalau kau suka hati tepuk tangan (2X tepuk)
INTI- LAKUKAN kalau kau suka hati tepuk tangan (2X tepuk) kalau kau suka hati, angkat tangan kalau kau suka hati mari jabatan tangan kalau kau suka hati, petik jari (2 X) kalau kau suka hati, lihat kekiri Kalau kau suka hati, mari lihat ke mari

20 ANALISIS DAYA SERAP UN 2013/2014
C ANALISIS DAYA SERAP UN 2013/2014 SMP/MTS 13

21

22 PENJABARAN SKL KE DALAM KISI-KISI
13

23

24

25 D PERSIAPAN UN 2014/2015 13

26 Tahapan: Menganalisis KISI-KISI UN 2012-2013
Breakdown Indikator Kisi-Kisi Kompetensi Menulis soal Menyusun tes Melaksanakan uji coba (try out) Menganalisis hasil uji coba Tindak lanjut

27 KARAKTERISTIK SOAL UN SOAL DIBUAT BERDASARKAN INDIKATOR KOMPETENSI (TERBUKA) Memperhatikan Kaidah Penulisan Soal yang Benar Soal dibuat mempertimbangkan kompetensi siswa dari Aceh sampai Papua

28 Ujian Nasional Spesifikasi
Menelaah Indikator dalam UN, sehingga dihasilkan indikator soal yang spesifik mampu mengukur Indikator tersebut

29 Standar Kompetensi Lulusan (SKL)
INDIKATOR tingkat berpikir cakupan isi indikator soal soal UN

30 indikator soal Setidaknya terdiri atas kondisi, subjek, dan perilaku
Perilaku dinyatakan menggunakan kata kerja operasional yang dapat diukur Indikator dapat bersifat spesifik/tertutup, sehingga setiap indikator menghasilkan satu soal yang spesifik Indikator dapat juga bersifat terbuka, sehingga setiap indikator menghasilkan sejumlah soal berbeda tetapi mengukur kemampuan setara

31 STANDAR KOMPETENSI LULUSAN (SKL)
Contoh Analisis SKL STANDAR KOMPETENSI LULUSAN (SKL) INDIKATOR INDIKATOR SOAL Menjelaskan ciri-ciri dan keanekaragaman makhluk hidup, komponen ekosistem serta interaksi antar makhluk hidup dalam lingkungan, pentingnya pelestarian makhluk hidup dalam kehidupan. Mengidentifikasi ciri-ciri pada pengelompokan makhluk hidup Disajikan data ciri-ciri organisme, siswa dapat mengidentifikasi ciri-ciri jamur

32 Perhatikan data berikut:
1. hidup di tempat lembab atau basah 2. memiliki klorofil 3. bersifat parasit atau saprofit 4. tubuh memiliki akar, batang dan daun sejati 5. tidak bisa melakukan fotosintesis Berdasarkan data tersebut, ciri-ciri tumbuhan jamur sesuai dengan nomor .... A. 1, 2, dan 3 B. 1, 3, dan 5 C. 2, 3, dan 4 D. 3, 4, dan 5

33 STANDAR KOMPETENSI LULUSAN (SKL)
Contoh Analisis SKL STANDAR KOMPETENSI LULUSAN (SKL) INDIKATOR INDIKATOR SOAL Mengaitkan hubungan antara struktur dan fungsi jaringan/ organ-organ pada tumbuhan dan manusia Menjelaskan struktur dan fungsi jaringan /organ pada tumbuhan Disajikan gambar struktur jaringan batang pada tumbuhan, siswa dapat menentukan jaringan yang berfungsi mengangkut zat makanan dari daun ke seluruh tubuh

34 Perhatikan gambar berikut!
1 3 2 4 Jaringan yang berfungsi untuk mengangkut zat makanan dari daun ke seluruh tubuh tanaman adalah nomor …. A. 1 B. 2 C. 3 D. 4

35

36 Terima Kasih 85