Penggunaan Hasil Tes, Penutup dan Review

Presentasi berjudul: "Penggunaan Hasil Tes, Penutup dan Review"— Transcript presentasi:

1 Penggunaan Hasil Tes, Penutup dan Review

2 Outline Bab 12 Penggunaan Hasil Tes
A. Transformasi Skor Beracuan Patokan B. Transformasi Skor Beracuan Norma - Pelaksanaan Norming Study - Jenis Norma Bab 13 Penutup Pengukuran Psikologis dan Esensialisme Konteks Sosio-Historis Lahirnya Tes Psikologis Asumsi yang Mendasari Penerapan Tes Psikologis

3 BAB XII : Penggunaan Hasil Tes
Skor kasar sering merupakan tally atau jumlah yaitu : Jumlah pertanyaan atau soal yang dijawab secara benar atau berhasil pada maximal performance tests. b. Jumlah pertanyaan atau pernyataan yang dijawab sesuai kunci yang mengarah ada penafsiran tertentu pada typical performance tests.

4 Penggunaan Hasil Tes pada Dasarnya dapat digolongkan menjadi 2 kategori :
Keperluan Ilmiah Penggunaan hasil tes untuk penelitian ilmiah tentang atau yang melibatkan pengukuran aneka atribut psikologis. Keperluan Praktis Penggunaan Hasil tes untuk aneka layanan praktis penggunaan dalam psikologi terapan.

5 Transformasi Skor Beracuan Patokan
Satu langkah penting : setting standard atau penentuan standard atau patokan. Inti penentuan standard atau patokan adalah penentuan cut off scores atau skor pemisah (Crocker & Algina, 2008). Contoh : setiap siswa peserta ujian sekolah harus menjawab benar minimal 80 % dari keseluruhan soal-soal ujian sekolah Bahasa Indonesia.

6 Pendekatan patokan : consensus judment based on holistic inspection atau musyawarah berdasarkan pemeriksaan menyeluruh  lulus/tidak lulus atau diterima/tidak diterima. Kelemahan : tidak bisa dijamin atau dipastikan bahwa kelompok-kelompok penilai tersebut akan mendasarkan penilaian mereka pada aspek-aspek tes yang sama atau bahwa mereka memiliki pandangan yang sama tentang cakupan isi yang semestinya dari atribut psikologis yang diukur atau diujikan.

7 Transformasi Skor Beracuan Norma
Dua langkah penting dalam penentuan norma : Pelaksanaan Norming Study : a. Mengidentifikasi Populasi Sasaran Tes. b. Mengidentifikasi Jenis Statistik yang Diperlukan c. Menetapkan Besar sampling Error yang Dipandang Bisa Ditolerir. d. Menetapkan Prosedur Memilih Sampel dari Populasi e. Menetapkan Besar Minimal Sampel yang Akan Menghasilkan Sampling Error dalam Batas yang Bisa Ditolerir.

8 Mengambil Sampel dan Mengadministrasikan Tes untuk memperoleh Data.
Menghitung nilai-nilai statistik yang sudah ditetapkan dan nilai kesalahan standardnya, khususnya MSE Menetapkan Jenis Norma yang akan digunakan dan Menyusun Tabel Konversi Skornya. 2. Jenis norma : norma persentil & norma standard score atau score baku.

9 Mengidentifikasi Populasi Sasaran Tes
Populasi sasaran tes bisa memiliki cakupan luas seperti : - orang dewas berusia 18 sampai dengan 56 tahun di sebuah negara. - semua pelamar calon PNS - siswa kelas V SD tertentu di kota tertentu

10 Mengidentifikasi Jenis Statistik yang Diperlukan
Jenis statistik penting yang akan dihitung berdasarkan data yang diperoleh dari sampel dan yang akan diperlukan untuk mengembangkan norma. Jenis statistik : mean, deviasi standard , jenjang persentil.

11 Menetapkan Prosedur Memilih Sampel dari Populasi
Apakah akan menggunakan sampel (bagian dari populasi) atau menggunakan seluruh populasi. Probability sampling atau Non Probability sampling Probability Sampling : random sampling, sample of convenience (kelompok-kelompok testi yang kebetulan bisa diakses oleh penyusun tes). Probability sampling lebih baik dari Non Probability Sampling

12 Menetapkan Besar Sampling Error yang Dipandang Bisa Ditolerir
Sampling Error : kesalahan akibat pengambilan sampel secara random merpakan ukuran diskrepansi atau kesenjangan atau perbedaan antara nilai murni suatu parameter dengan estimasi parameter tersebut yang didasarkan pada sampel. Salah satu ukuran yang lazim digunakan -> SEM (Standard Error of Measurement) atau kesalahan baku pengukuran.

13 Interval kepercayaan (confidence interval) adalah range nilai yang mengandung kemungkinan skor murni dari suatu skor tes. Kita bisa yakin 68% bahwa skor murni testi tersebut terletak dalam range : rata-rata  SEM (berarti sampling error 32%) atau kita yakin 95% bahwa skor murni testi tersebut terletak dalam range : rata-rata  1,96* SEM (berarti sampling error 5 %).

14 Mengambil Sampel dan Mengadministrasikan Tes untuk memperoleh Data.
Apa yang sudah ditetapkan terkait jenis dan besar sampel harus ditaati dalam pengambilan sampelnya. Jika tidak tercapai, apakah pengurangan jumlah sampel bisa diterima atau harus diganti dengan jumlah sampel yang bisa diterima.

15 Menghitung nilai-nilai statistik yang sudah ditetapkan dan nilai kesalahan standardnya, khususnya SEM Jenis statistik yang lazi digunakan dalam penyusunan norma meliputi mean, SD, persentil dan SEM untuk menetapkan batas sampling error yang bisa ditolerir.

16 Menetapkan Jenis Norma yang akan digunakan dan Menyusun Tabel Konversi Skornya.
Norma yang dihasilkan bisa bertaraf ordinal atau interval. Jenis norma yang dipilih perlu disesuaikan dengan keperluan penggunaan hasil tes.

17 Menyusun Penjelasan Tertulis tentang Proses Penyusunan Norma serta Petunjuk Penggunaan Norma dalam Menafsirkan Hasil Tes Informasi tentang proses penyusunan norma : - populasi - prosedur pengambilan sampel - masa saat penelitian dalam rangka penyusunan sampel dilaksanakan serta komposisi sampel dari segi gender, latar belakang etnik, status sosial-ekonomik, tempat tinggal dan jenis kelompoknya (pelajar, pekerja, ibu rumah tangga dsb) Standard error of measurement (SEM) Interval kepercayaan Penjelasan tentang makna dan cara menafsirkan hasil konversi skor berdasarkan norma

18

19 Jenis Norma Transformasi skor kasar dalam rangka penyusunan norma : transformasi linear dan transformasi nonlinear. Transformasi linear : Y = aX + b Transformasi nonlinear -> transformasi wilayah (area transformation)  akar atau pangkat.

20 Norma Persentil Transformasi non linear -> percentile rank atau jenjang persentil atau persentil (percentile score). Jenjang persentil yang menunjukkan proporsi orang yang mencapai skor di bawah atau lebih rendah dibandingkan masing-masing skor yang sedang kita tentukan jenjang persentilnya.

21

22 Kelebihan : langsung bisa dihitung tanpa perlu mempertimbangkan bentuk distribusinya dan mudah dipahami. Namun kelemahannya adalah : 1. skala pengukuran yang dihasilkan hanya bertaraf ordinal sehingga kurang leluasa untuk dilakukan analisi lebih lanjut dengan teknik statistik. 2. bentuk distribusi persentil adalah rectangular atau segi empat dan bukan normal sehingga tidak bisa dilakukan analisis dengan menggunakan teknik statistik parametrik. 3. Jenjang persentil bisa menghasilkan penafsiran yang berbeda terhadap perbedaan kecil yang sama antar skor yang terletak di tengah dan di ujung distribusi.

23 Jika digunakan pernormaan dengan menganggap mean = 5 dan SD = 2 serta digunakan 9 skor penilaian maka akan diperoleh tabel berikut :

24 Norma Standard Score atau Skor Baku
Transformasi linear -> transformasi standard score (skor baku) atau z-score atau skor-z atau Z dengan rumus :

25 Skor-z mrpk salah satu jenis skor baku yang menempatkan skor kasar dalam sebuah skala baru dengan mean = 0 dan sd = 1. Rumus perhitungan :

26 Ada beberapa pilihan standardized score dengan mean dan SD yang berbeda-beda. Salah satu jenis standardized scores yang cukup popular adalah T-scores atau skor-T atau disingkat T. Dalam hal ini, T memiliki mean  = 50 dan  = 10. Mean setara z = 0 sehingga T = 50 sehingga skor kasar yang terletak di atas mean akan memiliki T > 50 dan jika sebaliknya maka T < 50. Agar terhindar dari pecahan T dibulatkan ke bilangan bulat terdekat.

27 BAB 13 : Penutup Pengukuran Psikologis dan Esensialisme
Realisme merupakan pandangan dunia yang meyakini bahwa realitas bersifat real atau nyata atau benar-benar ada dan tunggal. Relativisme merupakan pandangan dunia yang meyakini bahwa realitas bersifat relatif dalam arti tidak bersifat tunggal melainkan jamak bahkan kadang-kadang saling bertentangan sebab merupakan konstruksi mental yang bersifat lokal atau spesifik dalam arti bahwa bentuk dan isinya ditentukan oleh pengalaman masing-masing orang atau kelompok orang yang meyakini aneka konstruksi tentang realitas tersebut mengalami revisi dan rekonstruksi secara terus menerus.

28 Pandangan dunia bertumpu pada lima keyakinan dasar :
Dunia nyata memang benar-benar ada dan semua yang ada di dalamnya adalah benar-benar nyata berupa jenis beings atau makluk tertentu yang keberadaannya tidak ditentukan oleh pendapat atau dugaan orang. Alam materi benar-benar memiliki keberadaan otonom. Esensialisme tentu saja tidak menyangkal atau mengakui keberadaan ‘makluk’ yang bersifat immaterial.

29 c. Esensi atau hakikat dapat dipahami oleh akal manusia
c. Esensi atau hakikat dapat dipahami oleh akal manusia. Pikiran atau akal budi manusia mampu menangkap atau memahami esensi atau hakikat segala jenis makluk. d. Pengetahuan tentang esensi atau hakikat dicapai lewat perumusan real definition atau definisi nyata (real definition). e. Kaum esensialis meyakini bahwa dunia ini tertib teratur maka segala sesuatu di dunia ini bersifat classifable atau bisa diklasifikasikan atau bisa digolong-golongkan menurut suatu sistem kategori tertentu.

30

31 Konteks Sosio-Historis Lahirnya Tes Psikologis
Pengukuran psikologis -> gerakan testing. Pembentukan sosial (social engineering) sangat dipengaruhi oleh pandangan tentang pentingnya intelegensi sebagai penentu keberhasilan hidup seseorang di tengah masyarakat. Cita-cita eugenetika Francis Galton : perbaikan atau peningkatan kualitas masyarakat melalui seleksi orang-orang yang memiliki intelegensi bawaan yang tinggi  diberi kesempatan mengembangkan diri secara optimal melalui kesempatan studi lanjut ke jenjang pendidikan yang main tinggi yang kala itu masih terbatas.

32 Merupakan sarana pembentukan masyarakat atau tepatnya perekayasa sosial berdasarkan prinsip eugenetika. Perubahan pandangan tentang inteligensi yang kemudian bersifat ganda dan bukan tunggal -> bukan satu-satunya penentu keberhasilan hidup manusia. Personal portofolio : rekaman prestasi yang menorehkan narasi pribadi tentang pengalaman belajar seseorang sepanjang hayatnya.

33 Asumsi yang Mendasari Penerapan Tes Psikologis
Keunggulan tes psikologis -> pemberian layanan asesmen untuk berbagai keperluan di berbagai bidang kehidupan. Lima asumsi dasar yang perlu diperhatikan dalam penggunaan tes psikologi : Pertama, orang yang mengadministrasikan tes harus benar-benar mendapatkan pendidikan dan latihan yang memadai untuk menjalankan tugas tersebut.

34 Kedua, setiap tes hanyalah merupakan sampel tingkah laku yang memenuhi kriteria memadai secara statistik pada taraf tertentu. Ketiga, terdapat kesalahan pengukuran baik bersifat sistematis maupun bersifat random. Keempat, tingkah laku atau kinerja testi pada masa kini sedangkan tingkah laku sebenarnya yang dicoba diungkap baru akan terjadi kemudian atau di masa mendatang hanya baru bisa diinferensikan berdasarkan tingkah laku sekarang. Kelima, kebanyakan tes baku yang digunakan di Indonesia merupakan hasil adaptasi dari tes yang dikembangkan di negara lain.

35 REVIEW

36 Bab 9 Langkah Umum Konstruksi Tes
Mendefinisikan Tes Menyusun Tabel Spesifikasi Tes Memilih Metode Penskalaan Menuliskan Item Melakukan Review dan Revisi Item Merakit Item Melakukan Uji Coba Analisis Item Memeriksa Reliabilitas, Validitas & Daya Diskriminasi Menyusun Manual dan Menerbitkan Tes

37 Bab. 10 Penyusunan Maximal Perormance Tests
A. Penyusunan Aptitute Tes - Mendefinisikan Tes - Menuliskan Item B. Penyusunan Achievement Tes - Analisis Item

38 Analisis Item A. Distribusi Jawaban Terhadap Item : Taraf Kesukaran Item B. Hubungan antara Jawaban Terhadap Item dan Skor Total Tes sebagai Kriteria Internal : Daya Diskriminasi Item - Item Discrimination Index atau Indeks Diskriminasi Item - Korelasi Pearson Product Moment - Korelasi Point Biserial - Korelasi Biserial - Korelasi Phi - Korelasi Tetrakorik C. Variabilitas Skor Item serta Korelasi Skor Item dan Kriteria : Indeks Reliabilitas dan Indeks Validitas Item D. Analisis Efektifitas Distraktor E. Melakukan Seleksi Item

39 Distribusi Jawaban Terhadap Item : Taraf Kesukaran Item (pi)

40 Korelasi Pearson Product Moment : Korelasi item total : Correl(B3:B17, $G$3:$G$17)

41 Korelasi Point Biserial : Data 0/1

42 Item Discrimination Index atau Indeks Diskriminasi Item : Data awal

43 Hasil Perhitungan : Indeks Diskrimination Item

44 Analisis Efektifitas Distraktor
Distraktor yang efektif dalam arti menjalankan fungsi atau perannya harus mampu menarik perhatian testi untuk memilihnya. Metode efektifitas distraktor -> metode Friedenberg (1995) yaitu : Pertama, item pilihan ganda yang baik memiliki dua ciri yaitu testi yang memiliki kemampuan yang diujikan akan emilih jawaban yang benar dan testi yang kurang atau tidak memiliki kemampuan yang diujikan akan menebak dalam menjawab dengan cara memilih secara acak dari antara opsi yang tersedia. Kedua, efektifitas sebuah distraktor dianalisis dengan cara membandingkan efektifitas distraktor nyata dengan efektivitas distraktor yang diharapkan.

45 Kriteria untuk menentukan efektivitas distraktor sebuah item adalah sbb :
1) sebuah item adalah baik jika efektivitas distraktor nyata dari masing-masing distraktornya adalah sama atau makin mendekati efektivitas distraktor yang diharapkan, 2) dalam sebuah item, distraktor yang tidak dipilih oleh testi dalam jumlah yang terlampau kecil atau sebaliknya terlampau besar dibandingkan dengan jumlah testi yang diharapkan kiranya perlu dilihat kembali atau bahkan perlu ditulis ulang.

46 Contoh

47 Contoh penerapan metode Friedenberg dalam analisis distraktor sebuah tes yang terdiri dari n item pilihan ganda dengan 4 opsi yang diberikan pada 30 orang. Item 1 cukup mudah, distraktor B dan D cukup baik sebab hanya berselisih tidak terlalu besar yaitu 0.67 dari efektivitas distraktor yang diharapkan namun distraktor C kurang baik sebab jumlah pemilih nyatanya melebih jumlah pemilih yang diharapkan secara cukup signifikan. Item 5 cukup sukar, ketiga distraktornya kurang efektif sebab distraktor A dan B memiliki pemilih nyata jauh melampaui yang diharapkan sedangkan distraktor D tidak ada yang memilih sama sekali.

48 Bab 11 Penyusunan Typical Performance Tests
Mendefinisikan Tes Memilih Metode Penskalaan Penulisan Item Uji Coba Skala & Analisis Item Merevisi Item

49 Terima Kasih