PENILAIAN PEMBELAJARAN BERBAHASA INDONESIA Burhan Nurgiyantoro FBS/PPs Universitas Negeri Yogyakarta Yogyakarta, 22 November 2010

PENDAHULUAN(1) Istilah-istilah: Penilaian: proses sistematis dalam pengumpulan, analisis, dan penafsiran informasi untuk menentukan seberapa jauh seorang peserta didik dapat mencapai tujuan pendidikan. Pengukuran: proses untuk memeroleh deskripsi angka (skor) yang menunjukkan tingkat capaian seseorang dalam suatu bidang tertentu, misalnya jawaban pertanyaan “seberapa banyak”. Asesmen: proses pengumpulan, penafsiran, dan sintesis informasi untuk membuat keputusan penentuan status peserta didik berkenaan dengan berbagai variasi pendidikan yang menjadi perhatian guru. Tes: instrumen atau prosedur yang sistematis untuk mengukur suatu sampel tingkah laku, misalnya untuk menjawab pertanyaan “seberapa baik (tinggi) kinerja seseorang” yang jawabnya berupa angka.

PENDAHULUAN(2) Komponen penilaian: (1) informasi, (2) pembuatan pertimbangan, dan (3) pembuatan keputusan Informasi: kemampuan, keterampilan, tingkah laku, sikap subjek-belajar; informasi antara lain diperoleh lewat pengukuran Keakuratan informasi akan menjamin keakuratan, objektivitas, dan ketepatan pembuatan pertimbangan dan pengambilan keputusan Pertimbangan: estimasi kondisi dan penampilan kini dan prediksi kondisi dan penampilan mendatang Pengambilan keputusan: pemilihan di antara sejumlah alternatif atau berbagai arah tindakan. Pengambilan keputusan diikuti oleh tindakan

Langkah Penilaian Menentukan kompetensi dasar yang akan diujikan Membuat deskripsi bahan yang akan diujikan Membuat kisi-kisi pengujian (diikuti telaah oleh sejawat, revisi); kisi-kisi yang baik dapat dipergunakan sebagai pertanggungjawaban validitas alat tes (validitas isi) Menulis soal ujian Menelaah soal ujian oleh sejawat atau orang yang ahli di bidangnya (menggunakan lembar pengamatan), revisi Mengujicobakan alat evaluasi atau pelaksanaan tes Melakuka penyekoran Menelaah hasil uji coba per indikator per kompetensi dasar Menganalisis hasil ujian: analisis butir soal dan penghitungan indeks reliabilitas Melakukan tindak lanjut: revisi alat tes (uji coba, analisis) soal jadi, bank soal, desiminasi

PENILAIAN BERBASIS KOMPETENSI Penilaian Berbasis Kompetensi Dasar Kompetensi: pengetahuan, keterampilan, nilai-nilai dasar yang terrefleksi dalam berpikir dan bertindak Kompetensi: seperangkat tindakan cerdas untuk berpikir dan bertindak Standar kompetensi: batas dan arah kemampuan yang harus dikuasai Kompetensi dasar: kemampuan minimal yang harus dikuasai dan dijabarkan langsung dari standar kompetensi Penilaian standar kompetensi lewat kompetensi dasar Penilaian kompetensi dasar lewat indikator

Pengembangan Indikator ciri, perbuatan, tanggapan yang ditunjukkan siswa petunjuk tingkah laku bukti hasil belajar dijabarkan langsung dari kompetensi dasar berupa kata-kata kerja operasional cakupan bahan lebih sempit dibanding kompetensi dasar pengembangannya diserahkan kepada kreativitas guru untuk menilai pencapaian kompetensi dasar sebagai dasar membuat soal, tugas, pertanyaan, atau perintah satu indikator dapat terdiri dari satu atau beberapa soal Cakupan ranah: kognitif, afektif, psikomotorik

Sistem Pengujian Berkelanjutan Pengujian berbasis kompetensi menganut sistem pengujian berkelanjutan Sistem pengujian berkelanjutan: semua indikator harus ada soalnya, hasil ujian dianalisis, dan ada tindak lanjut (selama ini hal ini masih menjadi kendala para guru baik karena kemauan maupun kemampuan) Perlu dikembangkan kisi-kisi untuk rencana pengujian satu semester/tahun Kolom kisi-kisi yang harus diisi: (i) kompetensi dasar, (ii) materi pokok dan uraian materi, (iii) pengalaman belajar, (iv) indikator, (v) jenis tagihan, (vi) bentuk tagihan, (vii) waktu, (viii) sumber/bahan/alat

Pembuatan Kisi-kisi Pengujian Kisi-kisi adalah cetak-biru panduan penyusunan soal ujian Semua pembuatan soal ujian semestinya mendasarkan diri pada kisi-kisi yang telah disusun/disepakati Atau sebaliknya, semua soal harus secara jelas menunjuk pada kompetensi tertentu yang tertulis pada kisi-kisi Komponen kisi-kisi tes objektif paling tidak mencakup (i) standar kompetensi, (ii) kompetensi dasar, (ii) materi pokok, (iv) indikator, (v) jumlah soal, (vi) nomor soal, (vii) bentuk soal, (viii) waktu Kisi-kisi bisa disusun oleh setiap pengajar atau mungkin sudah disediakan formatnya oleh lembaga Jika kisi-kisi dibuat oleh pengajar sendiri, sebelum dipergunakan harus ditelaah terlebih dahulu oleh sejawat (orang yang ahli di bidangnya, expert judgement) Alat ujian (tes) yang ditulis dengan mendasarkan diri pada kisi-kisi yang baik (: telah dinyatakan baik oleh expert), dapat dipandang telah memenuhi validitas isi

Contoh Kisi-kisi Pengujian Contoh II: (sejumlah standar kompetensi) No. Standar Kompetensi Dasar Materi Pokok Indikator Soal Nomor Jumlah Soal Bentuk Soal 1. 2. 3. 4. 1) 2) 3) 1, 2 3 4, 5, 6 2 1 PG … n Jumlah 60

Telaah Soal Telaah soal dimaksudkan untuk meningkatkan kualitas alat tes yang telah disusun sehingga dapat dipertanggungjawabkan sebagai sebuah alat ukur Telaah soal dilakukan dengan mencermati berbagai aspek (materi, konstruksi, bahasa) untuk menemukan berbagai kekurangan/kekeliruan untuk kemudian merevisinya Untuk keperluan telaah soal telah tersedia rambu-rambu yang dapat dijadikan acuan Rambu-rambu yang dimaksud berbeda untuk tiap bentuk tes (pilihan ganda, penjodohan, isian singkat, uraian) Namun, pada prinsipnya kesemuanya terdiri atas unsur materi, konstruksi, dan bahasa Sebuah butir soal dinyatakan baik (layak diujikan) jika kesemua butir instrumen analisis (subranah) memenuhi persyaratan Jika ada satu atau sejumlah subranah yang tidak memenuhi persyaratan, butir soal yang bersangkutan harus direvisi atau bahkan diganti

Contoh Telaah Soal Bentuk Pilihan Ganda Butir Soal Jenis Persyaratan 1 2 ... n A. Materi 1. Butir soal sesuai dengan indikator √ 2. Hanya ada satu kunci jawaban benar 3. Isi materi sesuai dgn tujuan pengukuran 4. Isi materi sesuai dgn tk kelas/jenj. pend. 5. Butir pengecoh berfungsi dengan baik - B. Konstruksi 6. Pokok soal dirumuskan dengan jelas 7. Pilihan jawaban dirumuskan dengan jelas 8. Pokok soal tdk mengarah ke jawbn benar 9. Tidak ada bentuk negatif ganda 10. Pilihan jawaban homogen 11. Panjang pilihan jawbn kurang lebih sama 12. Antarbutir soal tdk brgntng satu sama lain 13. Pilihan dlm bentuk angka/waktu diurutkan C. Bahasa 14. Rumusan bahasa komunikatif 15. Kalimat gramatikal 16. Kalimat tidak bermakna ganda 17. Kosakata baku/umum/netral

Telaah Hasil Pengukuran Untuk keperluan tindak lanjut pembelajaran, hasil pengukuran harus dianalisis untuk mengetahui kemampuan dasar (artinya juga: indikator) mana saja yang sudah dikuasai siswa dan mana yang belum Berdasarkan hasil telaah itu dapat ditentukan tindak lanjut yang perlu diambil: perlu program remidial, penguatan/pengayaan, atau yang lain (akselerasi) Sebuah indikator dan KD dinyatakan dikuasai oleh siswa jika tingkat penguasaannya minimal 75% Indikator-indikator (KD) tertentu yang masih rendah tingkat ketercapaiannya haruslah kembali “dibelajarkan” lewat program remidial Siswa yang tingkat pencapaiannya masih di bawah standar minimal harus diberi program remidial, sedang yang sudah memenuhi diberi program pengayaan Intinya, ada umpan-balik pembelajaran berdasarkan hasil pengukuran sebelumnya, dan untuk itu analisis soal ujian menjadi sebuah keniscayaan Telaah hasil pengukuran dilakukan dengan cara menghitung jmlah jawaban benar per soal, per indikator, dan per kemampuan dasar

Contoh Telaah Hasil Pengukuran Seorang Siswa No. Kemampuan Dasar Indikator (Jml Soal) Jumlah Butir (KD) Jumlah Betul Persentase Capaian Pengua-saan Keterangan 1. 1) 2 2) 3 3) 3 8 6 75 √ 2. .. (60) 60 48 80

Analisis Butir Soal (Item Analysis) Analisis butir soal adalah estimasi kualitas butir-butir soal sebuah alat tes; menguji efektivitas butir-butir soal Alat tes yang baik didukung oleh butir-butir yang baik, efektif, dapat dipertanggungjawabkan Ada kesejajaran antara tinggi rendahnya indeks reliabilitas (teknik konsistensi internal) dan jumlah butir soal yang baik Indeks reliabilitas yang tinggi, pasti akan tinggi pula jumlah butir yang baik; juga sebaliknya Kerja analisis butir soal bisa mengikuti teori pengukuran klasik atau teori pengukuran modern (teori respon butir) Dalam teori pengukuran klasik, analisis butir soal menyangkut tiga macam hal: tingkat kesulitan, daya beda, dan efektivitas distraktor Dalam teori respon butir juga ada tiga hal: tingkat kesulitan (model satu parameter), tingkat kesulitan dan daya beda (model dua parameter), dan kedua hal itu ditambah unsur tebakan (model tiga parameter) Teori pengukuran klasik mempunyai banyak kelemahan, tetapi persyaratan ringan dan praktis Pembicaraan di bawah dibatasi pada teori pengukuran klasik

Analisis Tingkat Kesulitan Butir Kerja analisis ini menghasilkan indeks tingkat kesulitan (ITK, Item Difficulty, Item Facility) ITK menunjukkan seberapa sulit (mudah) sebuah butir soal bagi kelompok siswa yang dikenai uji coba ITK diperoleh dengan menghitung proporsi jawaban benar; dapat dihitung secara manual, tabel (item analysis table), tetapi secara mudah dapat dihitung dengan komputer: program Iteman ITK berkisar antara 0,00 ─ 1,00; indeks 0,00 berarti semua siswa menjawab salah (soal amat sulit), 1,00 berarti semua menjawab benar (soal amat mudah) ITK yang diterima: 0,20 ─ 0,80; di luar indeks itu sebuah butir soal ditolak karena terlalu sulit atau mudah Kategori ITK: 0,20 ─ 0,40: sulit; 0,41 ─ 0,60: sedang; dan 0,61 ─ 0,80: mudah Jumlah butir soal yang terbanyak dalam sebuah alat tes sebaiknya yang berkategori sedang

Indeks Daya Beda Kerja analisis ini menghasilkan indeks daya beda (IDB, Item Discrimination) IDB merupakan sebuah estimasi yang menunjukkan seberapa besar sebuah butir soal mampu membedakan siswa kelompok tinggi dengan kelompok rendah IDB dapat dihitung dengan rumus secara manual, tabel, atau dengan komputer program Iteman bersamaan dengan ITK IDB berkisar antara -1,00 ─ 1,00; indeks -1,00 berarti semua siswa kelompok rendah menjawab benar sebuah butir soal dan siswa kelompok tinggi semua menjawab salah; demikian sebaliknya IDB yang diterima minimal 0,25; untuk tes buatan sendiri dan dipakai untuk menguji siswa sendiri IDB 0,20 masih ditoleransi Butir soal yang IDB-nya negatif harus didrop karena menyalahi logika (siswa kelompok tinggi menjawab salah, sedang kelompok rendah malah menjawab benar) Sebuah butir soal dinyatakan layak (oke) jika ITK dan IDB sama- sama memenuhi persyaratan; jika salah satu saja tidak memenuhi persyaratan, butir soal itu dinyatakan gugur

Penilaian Proses, Produk, dan Kinerja KBK (KTSP) menekankan pentingnya penilaian proses , produk, dan kinerja sekaligus Penilaian proses: penilaian yang dilakukan ketika pembelajaran masih berlangsung Penilaian proses juga disebut dan atau bagian dari penilaian kelas Contoh penilaian proses: kuis, pertanyaan lisan di kelas, pemberian tugas di kelas, latihan-latihan, PR, ulangan harian Penilaian produk: penilaian yang dilakukan di akhir program: ujian sistem blok, ulangan umum bersama, ujian nasional Penilaian produk lazimnya dilakukan secara tertulis dengan bentuk soal objektif pilihan ganda Penilaian kinerja: penilaian melakukan sesuatu terkait dengan tuntutan kompetensi mata pelajaran Penilaian kinerja sebaiknya dilakukan di tengah proses pembelajaran, kecuali berbagai faktor pendukungnya siap (tempat, waktu, tenaga, biaya) Penilaian kinerja kini diutamakan, khususnya dalam bentuk penilaian otentik

KETERBACAAN SOAL BI UN(1) Keterbacaan (readabilitas): dapat dibaca dengan mudah terutama disebabkan oleh stile penulisan Keterbacaan terkait dengan masalah pemahaman, retensi, dan kecepatan baca Keterbacaan (readabilitas): semua unsur yang ada pada teks yang berpengaruh terhadap keberhasilan pembaca memahami isi kandungan teks itu dengan kecepatan normal. Keterbacaan adalah kemampuan berinteraksi pembaca (peserta didik) dengan teks yang dibacanya. Berinteraksi di sini berarti memahami dan menanggapi isi kandungan teks lewat bahasa (BI) yang dipergunakan.

KETERBACAAN SOAL BI UN(2) Teks yang dimaksud dapat berupa soal-soal ujian, UN BI Keterbacaan UN: kemampuan peserta didik memahami kandungan UN lewat bahasa (BI) sehingga dapat mereaksi sebagaimana yang dikehendaki (sesuai dengan perintah dalam UN). Keterbacaan UN BI: BI sebagai sarana memahami kandungan materi ujian dan sekaligus sebagai materi itu sendiri. Uji keterbacaan teks lazimnya terkait dengan masalah kelayakan teks yang terkait dengan unsur semantik dan sintaksis terhadap peserta didik jenjang tertentu.

Faktor Penyebab Keterbacaan Soal BI Ada berbagai faktor yang menyebabkan tinggi rendahnya kadar keterbacaan soal ujian BI dan itu saling mengait. Faktor-faktor yang dimaksud tentunya perlu dipertimbangkan oleh para penyusun soal UN BI (atau ujian-ujian yang lain). Faktor-faktor itu secara garis besar terkait dengan peserta didik (lengkap dengan karakterisasinya) dan bahasa yang dipergunakan (lengkap dengan segala macam aspek yang terkait). Kedua faktor tersebut haruslah menjadi fokus dalam pengembangan soal-soal ujian (UN).

FAKTOR PESERTA DIDIK(1) Faktor peserta didik (uji) terkait dengan masalah: tingkat perkembangan usia, kejiwaan tingkat perkembangan kognitif, afektif keluasan pengalaman, kematangan sosial, emosinal pengetahuan sebelumnya yang telah dikuasai kemampuan membaca minat, ketertarikan pada suatu bidang motivasi

FAKTOR PESERTA DIDIK(2) Faktor peserta didik secara konkret ditandai oleh jenjang-jenjang sekolah (satuan pendidikan) Ada konsekuensi bagi pengembangan soal ujian: Pembuatan soal ujian mesti disesuaikan dengan tingkat-tingkat perkembangan di atas. Jika kurang diperhatikan, ia akan berakibat tinggi/rendahnya keterbacaan soal bagi peserta uji. Keterbacaan tinggi: jenjang pendidikan tinggi, tetapi soal seperti untuk jenjang sekolah yang lebih rendah; atau sebaliknya. Akibat: soal bisa terlalu mudah atau terlalu sulit dan tindak terjangkau.

Faktor Bahasa(1) Faktor bahasa yang dipergunakan untuk membahasakan soal ujian Faktor bahasa dapat memberi fasilitas kemudahan, jadi keterbacaannya tinggi, tetapi dapat juga sebaliknya. Hal itu termasuk juga dalam ujian Bahasa Indonesia, maka ada soal yang mudah ada yang sebaliknya (bersifat gradasi) Di sini haruslah dipahami: soal dalam bahasa Indonesia untuk mengukur kompetensi berbahasa Indonesia. Ada sejumlah faktor yang dapat memengaruhi tingkat keterbacaan soal UN BI: bahasa (kosakata, struktur), konstruksi, kandungan isi

Faktor Bahasa(2) Faktor kosakata: Hal-hal yang memengaruhi tinggi rendahnya keterbacaan teks dari aspek kosakata a.l.: kosakata mudah vs sulit konkret vs abstrak sederhana vs kompleks sering dipakai vs jarang dipakai makna denotatif vs konotatif kosakata umum vs istilah teknis istilah Indonesia vs istilah pungut (asing, daerah) dll. Wacana dan butir soal yang memergunakan kosakata sulit akan memersulit pemahaman. Bisa jadi seorang peserta didik kesulitan memahami kandungan makna suatu wacana lebih disebabkan oleh sulitnya kosakata.

Faktor Bahasa(3) Faktor struktur kalimat: Hal-hal yang memengaruhi tinggi rendahnya keterbacaan teks dari aspek struktur kalimat a.l.: struktur sederhana vs kompleks kalimat pendek vs kalimat panjang kejelasan koherensi vs kekaburan kejelasan kohesi vs kekaburan dll. Teks dan butir soal yang memergunakan struktur kalimat sederhana memberi fasilitas keterbacaan yang lebih baik. Kejelasan dan kesederhaan struktur kalimat memfasilitasi kemudahan pemahaman kandungan isi teks. Demikian juga sebaliknya.

Faktor KONSTRUKSI SOAL(1) Faktor konstruksi soal ujian: Bentuk soal yang lazim dipakai dalam ujian (UN) adalah objektif pilihan ganda dengan beberapa variasi seperti melengkapi, tinjauan kasus, sebab akibat, dll. Tingkat kemudahan tiap variasi bentuk PG tersebut tidak sama: artinya ada bentuk yang mudah dipahami dan ada yang sebaliknya. Pemakaian bentuk soal yang sulit, misalnya PG sebab akibat, bisa jadi menyebabkan peserta uji lebih sulit memahami soal ujian. Jumlah opsi yang lebih banyak (misalnya 5 seperti UN SMA) cenderung lebih memersulit soal ujian. Bisa jadi soal yang demikian memerendah kadar keterbacaan soal UN

FAKTOR KONSTRUKSI SOAL(2) Faktor konstruksi juga mencakup penulisan stem dan opsi jawaban. Ada rambu-rambu yang mesti dipenuhi untuk pembuatan stem dan opsi jawaban yang kesemuanya demi lebih baiknya (keterbacaan) soal yang dihasilkan. Kesalahan yang sering terjadi a.l: stem tidak dirumuskan dengan baik kurang ada hubungan gramatikal (mungkin juga makna) antara stem dan opsi opsi tidak sekarakteristik/homogen panjang opsi tidak sama opsi membingungkan karena tidak jelas beda antara yang benar dan yang salah ada lebih dari satu jawaban yang benar Konsekuensi bagi penulis soal: soal harus dikaji ulang dan dibaca reviuer

FAKTOR KANDUNGAN MAKNA(1) Orang berbahasa karena ada sesuatu yang ingin disampaikan dengan bahasa, bukan karena bahasa itu sendiri. Bahasa memiliki fungsi komunikatif, peserta didik yang mahir berbahasa berarti mahir berkomunikasi dengan (suatu) bahasa. Intinya, ujian (UN) BI adalah uji kompetensi ber-BI: BI yang dimuati kandungan makna. Makna yang terkandung dalam bahasa, bahkan ketika ujian bahasa sekalipun, harus mendapat perhatian serius. Makna yang terkandung dapat memberi fasilitas kemudahan (keterbacaan) teks yang diujikan, namun juga dapat sebaliknya. Teks harus dipilih yang kandungan maknanya tidak memersulit peserta uji.

FAKTOR KANDUNGAN MAKNA(2) Tingkat keterbacaan kandungan makna dalam sebuah teks akan tergantung pada hal-hal: pengetahuan yang telah dimiliki peserta uji kesesuaiannya dengan bidang, minat pengetahuan umum, dalam arti masalah-masalah umum yang menjadi konsumsi masyarakat bukan pengetahuan teknis kejuruan yang menampilkan istilah dan makna abstrak kadar kedalaman dan keluasan keilmuan yang ditampilkan kelangsungan, ketidaklangsungan, dan keabstrakan makna, kadang ambiguitas makna misalnya, sama-sama berisi teknologi-komunikasi, tetapi teks untuk peserta didik jenjang SD, SMP, SMA, dan STM mesti tidak sama dll. termasuk kejelasan bahasanya. Jika hal-hal tersebut tidak sesuai dengan kondisi peserta didik, kandungan makna yang ada dalam UN BI berpotensi menyulitkan peserta didik.

SURVEI UN BI SMK 2010(1) Soal UN BI SMK yang disurvei adalah P 15 dan P 48. Soal berjumlah 50 butir: P15: kosakata/kebahasaan= 9, kompetensi membaca= 19, kompetensi menulis = 13, kompetensi bersastra = 9 P 48: kosakata/kebahasaan = 11, kompetensi membaca = 17, kompetensi menulis = 15, kompetensi bersastra = 7 (dua hilang) Dari ke-50 butir soal kedua perangkat tsb 12 butir sama. Persoalan: Jika kedua perangkat ditulis berdasarkan kisi-kisi yang sama (: harus sama!), mengapa terjadi perbedaan jumlah terhadap masing-masing komponen kompetensi yang diujikan.

Unsur positif: SURVEI UN BI SMK 2010(2) Secara umum kedua perangkat soal bagus. Semua butir soal berangkat dari satu wacana, walau ada beberapa yang kurang baik. Bahasa dan format terjaga sesuai dengan tuntutan sebagai dokumen resmi. Semua wacana untuk satu soal sehingga tidak ada butir soal yang saling memengaruhi, walau akibatnya soal-soal menjadi relatif panjang. Secara umum panjang-pendek tiap opsi seimbang, makna homogen, walau ada beberapa yang terasa ambigu.

SURVEI UN BI SMK 2010(3) Unsur positif: Secara umum butir-butir tidak hanya berurusan dengan aspek bahasa, melainkan juga makna yang diungkapkan lewat bahasa. Bahasa lebih sebagai sarana berkomunikasi, jadi ketepatan bahasa juga ditentukan oleh konteks dan bukan semata dari aspek kebahasaan saja. Jadi, secara umum butir-butir soal UN sudah mencerminkan SKL (SMK) yang mengukur kompetensi ber-BI. Dengan demikian, sebagian besar butir soal sudah mengarah ke tes otentik, bentuk objektif pilihan ganda dengan roh otentik (model penilaian disarankan pendekatan CTL). Maka, skor yang dicapai peserta uji dapat mencerminkan kompetensinya ber-BI secara nyata.

SURVEI UN BI SMK 2010(4) Perlu perhatian: SMK amat heterogen (STM, SMEA, SMKK, SMSR, dll), tetapi perangkat UN hanya satu. Jika hanya ada satu perangkat untuk semua, soal menjadi kurang adil, kurang dapat mengakomodasi karakteristik masing-masing sekolah. Jika soal-soal berisi BI secara umum, apa perbedaannya dengan soal UN SMA. Jika soal berangkat dari suatu wacana yang mengakomodasi salah satu asal SMK, hal itu potensial menjadi soal yang sulit bagi yang lain. Misalnya, soal yang menanyakan fluida dan hidrogen (P 15: 11) dan kebijakan moneter dan fiskal (P 48: 11), mudah bagi siswa SMK yang cocok, tetapi sulit bagi yang lain.

SURVEI UN BI SMK 2010(5) Perlu perhatian: Ketentuan penyusunan butir-butir soal dari yang mudah ke yang sulit, tampaknya belum diperhatikan oleh perakit soal UN. Misalnya, peletakan tabel dan grafik di depan (P 15: 7,& 8; P 48: 3 & 4), atau butir-butir soal yang nyaris satu butir satu halaman di awal atau agak ke tengah. Seharusnya butir-butir soal sulit (walau hanya diprediksi), ditempatkan di nomor-nomor akhir, atau tidak mendahului butir-butir yang mudah. Hal itu bersifat psikologis, siswa akan termotivasi jika membaca butir-butir yang mudah dahulu. Selain itu, siswa juga diuntungkan seandainya tidak selesai karena nomor-nomor yang mudah sudah dikerjakan.

SURVEI UN BI SMK 2010(6) Perlu perhatian: Butir soal menulis berdasarkan kalimat acak lazimnya hanya terdiri atas empat kalimat, namun butir-butir soal yang ada hampir semuanya terdiri atas enam kalimat. Hal itu pasti menambah tingkat kesulitan butir-butir yang bersangkutan, dan sebagai konsekuensinya waktu yang dibutuhkan untuk menjawab lebih banyak. Cukup mengherankan juga munculnya soal tentang perubahan makna kata (P15: 24; P48: 24) dan peribahasa (P15: 33; P48: 38) pada UN SMK, padahal di UN SMA saja hal itu tidak ditanyakan. Selain itu, juga ditemukan sejumlah butir soal yang opsi jawabnnya membingungkan (ambigu).

SURVEI UN BI SMK 2010(7) Perlu perhatian: Secara umum butir-butir soal kompetensi bersastra (P15 = 9; P48 = 7) kurang baik. Ada kesan teks kesastraan yang diujikan hanya asal ambil, padahal mestinya dipilih teks-teks yang tidak abstrak dan mencerminkan kebutuhan siswa SMK. Kutipan novel Musyawarah Burung tidak cocok; demikian juga teks-teks puisi yang dipilih. Belum lagi soal-soal yang dibuat yang terlihat bersifat ambigu (P 15: 34 & 35; P 48: 37). Butir-butir soal yang demikian tidak memotivasi siswa untuk mencintai kesastraan karena dipikir hanya menyulitkan dirinya saja.

KONSEKUENSI BAGI PEMBELAJARAN(1) Model UN BI kini sudah diusahakan untuk menguji kompetensi ber-BI dan bukan lagi pengetahuan BI, walau masih ada beberapa butir yang terlihat ujian BI. Hal itu sesuai dengan tuntutan pembelajaran BI yang difokuskan pada capaian kompetensi ber-BI (baca: SKL pada kurikulum SMK). Hal itu harus membawa dampak dalam KBM BI di sekolah yang juga harus memfokuskan pada capaian kompetensi ber-BI peserta didik khususnya kompetensi membaca dan menulis. Pembelajaran yang terkait dengan pengetahuan BI juga mendapat porsi, tetapi tidak diutamakan. Ia lebih berfungsi sebagai perbaikan kesalahan dari hasil diagnosis kesulitan atau kesalahan yang dibuat siswa.

KONSEKUENSI BAGI PEMBELAJARAN(2) Model UN ber-BI memergunakan tes tradisional pilihan-ganda, namun dengan roh tes otentik. Maka, penilaian capaian kompetensi belajar keseharian peserta didik, khususnya penilaian proses, harus dibiasakan dengan model otentik. Tugas-tugas kinerja ber-BI selama pembelajaran yang otentik dapat dipandang sebagai latihan UN ber-BI dengan bentuk lain. Lewat tes otentik yang penilaiannya dilakukan secara analitis lewat rubrik, sekaligus dapat diketahui keunggulan dan kelemahan seorang peserta didik Hal itu merupakan umpan balik yang berharga untuk pembenahan dan peningkatan kerja pembelajaran selanjutnya

KONSEKUENSI BAGI PEMBELAJARAN(3) Butir-butir soal UN BI relatif panjang, maka kebiasaan membaca dan kecepatan memahami bacaan haruslah ditekankan dalam KBM. Peserta didik dibiasakan membaca dan membaca, menulis dan menulis, sehingga tidak terkejut berhadapan dengan UN BI yang memrasyarkatkan kompetensi keduanya baik. Salah satu kompetensi yang dilatihkan adalah meringkas teks atau menuliskan kembali sebuah teks. Sekadar diketahui, kompetensi meringkas teks (misalnya membuat excutive summary) adalah salah kemampuan yang paling dibutuhkan dalam dunia kerja. SMK menyiapkan lulusannya untuk langsung bekerja.