Validitas.

Presentasi berjudul: "Validitas."— Transcript presentasi:

1 Validitas

2 Validitas didefinisikan sebagai sejauh mana tes mampu mengukur apa yang didesain untuk diukur.
Kelemahan definisi ini adalah implikasi bahwa tes hanya memiliki satu validitas yang barangkali dibentuk dari satu studi saja. Seharusnya tes dapat memiliki banyak validitas berbeda, tergantung pada tujuan khusus untuk apa tes dirancang, populasi sasaran, kondisi ketika tes diadakan dan metode dalam menentukan validitas.

3 Metode yang menentukan validitas meliputi (1) menganalisis isi tes (2) menghitung korelasi antara skor pada tes dan skor pada kriteria yang dimaksud dan (3) membuat investigasi karakteristik atau susunan psikologi tertentu yang diukur dengan tes. Semua prosedur ini bermanfaat dalam arti bahwa prosedur itu meningkatkan pemahaman mengenai apa yang diukur oleh tes dan menyediakan informasi untuk pembuatan keputusan mengenai orang.

4 Mungkin menarik juga mengevaluasi incremental validity tes yakni seberapa jauh tes menambah prediksi dan pemahaman terhadap kriteria yang telah diprediksi pada beberapa tingkat. Validitas tes dipengaruhi oleh eror tidak sistematis maupun eror sistematis (konstan). Karena alasan ini, tes dapat diandalkan tanpa harus valid tetapi tidak dapat valid tanpa dapat diandalkan.

5 Validitas Isi Validitas isi (content validity) merujuk ke lebih dari sekedar penampilan. Validitas isi berkaitan dengan apakah isi tes menimbulkan cakupan respons yang mewakili seluruh domain atau semesta dari ketrampilan, pemahaman dan perilaku lain yang telah dirancang untuk diukur oleh tes. Respons terhadap sampel item pada tes yang dirancang dengan sangat baik dianggap menjadi indikasi mengenai respons apa yang akan diberikan pada seluruh semesta perilaku bersangkutan.

6 Validitas isi juga penting pada ukuran bakat (aptitude), minat dan kepribadian meskipun barangkali tidak sebanyak yang dapat dilakukan oleh validitas yang berkaitan dengan kriteria atau validitas susunan (construct validity). Salah satu cara menyelesaikan validitas ini adalah dengan membandingkan isi tes dengan garis besar atau tabel spesifikasi berkaitan dengan pokok bahasan yang harus dibahas oleh tes.

7 Jika ahli pokok bahasan setuju bahwa tes tampak dan bertindak sebagai instrument yang dirancang untuk mengukur apa saja yang harus diukur oleh tes maka dapat dikatakan tes memiliki validitas isi. Dengan mendefinisikan semesta isi tes dan sampel dari semesta yang harus dimasukkan, perancang tes dapat menentukan langkah untuk membuat instrument valid isi.

8 Validitas yang terkait dengan Kriteria
Istilah validitas yang terkait dengan criteria (criterion-related validity) merujuk pada prosedur yang berupa skor tes kelompok orang yang dibandingkan dengan peringkat, klasifikasi atau ukuran lain kinerja. Contoh kriteria yang digunakan memvalidasi tes adalah nilai sekolah, peringkat penyelia dan angka atau dolar jumlah penjualan. Jika ukuran kriteria tersedia pada saat tes, concurrent validity tes dapat ditentukan. Jika skor kriteria belum tersedia sampai beberapa saat setelah tes dilaksanakan, fokus menjadi predictive validity tes.

9 Concurrent Validity Prosedur validasi sama waktu (concurrent validity procedures) digunakan ketika tes dilaksanakan pada orang dengan berbagai kategori, seperti kelompok diagnostik klinis atau level sosial ekonomi dengan tujuan menentukan apakah skor tes pada satu kategori berbeda dari orang pada kategori lain. Skor pada Minnesota Multiphasic Personality Inventory (MMPI) misalnya bermanfaat dalam mengidentifikasi gangguan mental khusus karena telah ditemukan bahwa pasien yang didiagnosis oleh psikiater memiliki gangguan tertentu cenderung membuat skor berbeda pada kelompok item (skala) tertentu daripada orang pada umumnya.

10 Predictive Validity Validitas prediksi (predictive validity) berkaitan dengan seberapa akurat skor tes memrediksi skor criteria sebagaimana ditunjukkan oleh korelasi antara skor tes (predictor) dengan kriteria kinerja masa depan (apa yang diprediksi tes). Predictive validity penting terutama menyangkut tes bakat atau tes kecerdasan karena skor pada jenis instrument ini sering berkorelasi dengan peringkat kelas, skor tes pencapaian dan kriteria kinerja lain.

11 Standard eror estimate
Bagian regresi dan prediksi di Lampiran A menjelaskan prosedur untuk menentukan persamaan regresi (persamaan prediksi) untuk meramalkan skor kriteria kelompok orang dari skor tes mereka atau variabel lain. Akan tetapi, memasukkan skor tes seseorang ke dalam persamaan regresi hanya menghasilkan estimasi skor sesungguhnya akan dibuat orang berdasar variabel kriteria. Jika skor kriteria prediksi orang tertentu dipandang sebagai mean distribusi normal dari skor kriteria yang diperoleh dari kelompok orang yang membuat skor sama dengan variabel predictor seperti orang tersebut maka deviasi standard distribusi ini adalah indeks eror rata-rata pada prediksi tersebut.

12

13

14

15 Faktor yang Mempengaruhi Validitas yang Berkaitan dengan Kriteria
Validitas yang berkaitan dengan kriteria tes dapat dipengaruhi oleh banyak faktor yang mencakup perbedaan kelompok, panjang tes, kontaminasi kriteria dan base rate. Validitas incremental tes yakni kontribusi tes di atas dan di luar variabel lain harus juga dipertimbangkan dalam memutuskan apakah akan menggunakan tes untuk tujuan seleksi dan penempatan.

16 Perbedaan Kelompok Karakteristik kelompok orang yang digunakan untuk memvalidasi tes meliputi variabel seperti jenis kelamin, usia dan ciri kepribadian. Faktor ini yang disebut dalam konteks ini sebagai variabel moderasi dapat mempengaruhi korelasi antara tes dan ukuran kriteria. Besarnya koefisien validitas seperti pada koefisien reliabilitas juga dipengaruhi oleh derajat heterogenitas kelompok validitas mengenai apa pun yang diukur oleh tes.

17 Koefisien validitas cenderung lebih kecil pada kelompok yang lebih homogen. Yakni, kelompok yang memiliki rentang skor tes yang lebih sempit. Ukuran koefisien korelasi adalah fungsi dari variabel prediktor dan juga variabel kriteria. Karena itu, menyempitkan rentang skor menurut salah satu variabel itu cenderung menurunkan koefisien validitas prediksi.

18 Panjang Tes Seperti reliabilitas, validitas bervariasi mengikuti panjang tes dan heterogenitas kelompok yang dites. Hingga titik ini, skor pada tes panjang dan skor pada tes yang diselenggarakan terhadap kelompok individu sangat beraneka ragam karakteristik yang diukur memiliki varian yang lebih besar dan akibatnya, validitas prediksi yang lebih tinggi daripada tes pendek atau tes yang diselenggarakan terhadap kelompok orang yang lebih homogen.

19 Kontaminasi kriteria. Validitas tes terbatasi tidak hanya oleh reliabilitas tes dan kriterianya, tetapi juga validitas criteria itu sendiri sebagai ukuran dari variabel yang dimaksud. Kadang-kadang kriteria dibuat kurang valid atau menjadi terkontaminasi oleh metode tertentu untuk mengukur skor kriteria. Contohnya, ahli psikologi klinis yang mengetahui bahwa sekelompok pasien telah didiagnosis sebagai psikotik mungkin tidak menampakkan tanda psikotik pada respons tes kepribadian para pasien ini. Kemudian metode kelompok pembanding (method of contrasting groups) yang mana skor tes pasien psikotik dibandingkan dengan skor orang normal akan menghasilkan bukti salah mengenai validitas tes itu.

20 Validitas Inkremental
Ketika berupaya mengambil keputusan apakah menyelenggarakan instrument pemeriksaan khusus untuk tujuan prediksi ataukan diagnosistik dapat dibenarkan dari segi biaya, validitas yang meningkat sedikit demi sedikit (incremental validity) harus dipertimbangkan. Incremental validity menyangkut pertanyaan berapa tambahan akurasi terhadap prediksi atau diagnostik jika tes tertentu dimasukkan ke kumpulan soal prosedur pemeriksaan. Ada kemungkinan metode pemeriksaan lain yang tidak mahal (observasi, interview, daftar biografi) dapat memenuhi tujuan pemeriksaan, demikian juga dapat menyelenggarakan tes lain.

21 Incremen validity berkaitan dengan konsep kegunaan (utility), seperti yang diterapkan pada konteks seleksi tenaga kerja. Kegunaan tes didefinisikan sebagai kenaikan terukur mutu tenaga kerja yang dipekerjakan atau dipromosikan jika tes atau prosedur pemeriksaan lain digunakan dibandingkan dengan mutu tenaga kerja yang dipekerjakan atau dipromosikan jika prosedur itu tidak digunakan.

22

23 Construct Validity Validitas prediksi sangat penting pada seleksi dan penempatan tenaga kerja atau pendidikan. Berbagai jenis tes kemampuan dan kadang-kadang tes kepribadian dan minat digunakan untuk tujuan seleksi dan penempatan. Yang juga lebih penting menyangkut tes kepribadian adalah validitas susunan. Validitas penalaran (construct validity) pada instrument pemeriksaan psikologi mengacu ke sejauh mana instrument tertentu mengukur susunan (construct) atau konsep psikologi tertentu seperti kecemasan, motivasi pencapaian, ekstroversi-introversi atau neurotisme.

24 Construct validity, yang merupakan jenis validitas paling umum, tidak ditentukan dengan cara tunggal atau dengan investigasi. Melainkan melibatkan investigasi jaringan dan prosedur lain yang dirancang untuk menentukan apakah konsumen pemeriksaan tertentu yang dianggap mengukur variabel kepribadian tertentu memang benar-benar mengukurnya.

25 Bukti atas Contruct Validity
Penilaian oleh pakar bahwa isi tes berkaitan dengan construct yang dimaksud. Analisis konsistensi tes. Penelitian baik berupa kejadian yang dirancang secara cerdas untuk eksperimen maupun kelompok yang terjadi secara alami mengenai keterhubungan antara skor tes dan variabel lain yang membedakan kelompok-kelompok tersebut.

26 Korelasi skor tes dengan skor tes atau variabel lain yang diharapkan memiliki hubungan tertentu diikuti dengan analisis faktor korelasi tersebut. Menanyai peserta tes atau pemeringkatan tes secara rinci mengenai respons mereka terhadap tes atau skala peringkat untuk mengungkap proses mental spesifik yang terlibat pada pemberian respons terhadap item.

27 Berbagai jenis informasi menyumbang ke pembentukan contruct validity instrument psikometrik.
Informasi tersebut dapat diterima dari analisis penalaran atau statistik atas variabel yang diperiksa oleh instrument dan penelitian mengenai kemampuannya memprediksi perilaku pada situasi tempat berlangsungnya construct.

28 Menurut teori pembelajaran Hullian, kecemasan merupakan dorongan (drive) karena itu orang sangat cemas akan lebih mudah terkondisi daripada orang yang kurang cemas. Karena itu jika TMAS merupakan ukuran yang valid atas construct kecemasan, skor tinggi pada TMAS harus mengkondisi lebih cepat pada situasi ini daripada skor rendah. Verifikasi atas prediksi ini berkontribusi secara signifikan terhadap penerimaan construct validity pada TMAS

29 Validitas Konvergen dan Validitas Diskriminan
Instrumen yang divalidasi-construct harus memiliki korelasi tinggi dengan ukuran lain atau metode pengukuran yang sama constructnya (validitas konvergen), tetapi korelasi rendah dengan ukuran construct yang berbeda (validitas diskriminan). Bukti atas validitas konvergen dan diskriminan pada instrument dapat diperoleh dengan membandingkan korelasi antar ukuran berikut : Construct yang sama dengan menggunakan metode yang sama. Construct berbeda dengan metode yang sama. Construct yang sama dengan metode yang berbeda. Construct yang berbeda dengan menggunakan metode yang berbeda.

30 Construct validity instrument psikometrik dibuktikan melalui pendekatan ciri-kepribadian ganda metode ganda atau multitrait multimethod approach jika korelasi antara construct yang sama diukur dengan metode yang sama dan metode yang berbeda adalah lebih tinggi secara signifikan daripada korelasi antara construct yang berbeda yang diukur dengan metode yang sama atau metode yang berbeda.

31 Kadang-kadang, korelasi antara construct yang berbeda yang diukur dengan metode yang sama lebih tinggi daripada korelasi antara construct yang sama dengan metode yang berbeda. Hal ini berarti metode (kumpulan soal tulisan tangan, teknik proyeksi, skala peringkat, interview dll) lebih penting daripada construct atau ciri kepribadian (trait) dalam menentukan apa pun yang diukur daripada construct atau ciri kepribadian yang dianggap sedang diperiksa.

32 Penggunaan Tes Pada Pengambilan Keputusan Pribadi
Sejak jaman dahulu, orang diseleksi, dikelompokkan dan ditempatkan ke sejumlah posisi untuk melaksanakan beragam kewajiban. Akan tetapi, sering prosedur yang diikuti pada seleksi, pengelompokan dan penempatan personalia tidak teratur dan tidak sistematis. Beragam prosedur untuk seleksi dan penaksiran personalia yang banyak didasarkan pada observasi sederhana dan intuisi telah dipergunakan. Contohnya, pada suatu saat, penekanan pada fitur fisik seperti bentuk kepala, gerakan mata dan tampilan tubuh secara keseluruhan. Asal etnis, status social dan hubungan social juga merupakan faktor untuk menentukan siapa yang ditunjuk untuk posisi tertentu, dipekerjakan untuk pekerjaan tertentu atau diterima untuk program pendidikan tertentu.

33 Penyaringan Secara tradisional, seleksi personalia akan menyangkut pengidentifikasian dari daftar pelamar, siapa yang paling mampu melaksanakan tugas yang direncanakan. Pada pendekatan ini, tes psikologi digunakan bersama dengan informasi non-tes (sejarah personalia, karakteristik fisik, rekomendasi dll). Untuk membantu menyeleksi pelamar yang dapat melaksanakan tugas tertentu secara langsung atau setelah di-training dengan cepat. Prosedur seleksi personalia mungkin agak sederhana atau sangat rumit bergantung pada sifat organisasi dan tugas yang dihadapi oleh pelamar yang diseleksi. Pendekatan yang paling sederhana adalah strategi gagal atau berhasil yakni semua pelamar diseleksi atau diterima tetapi hanya yang mampu melaksanakan tugas secara efektif yang dipertahankan.

34 Dalam banyak hal, pendekatan ini merupakan strategi seleksi yang ideal tetapi juga mahal bagi organisasi dan pelamar. Akibatnya, hampir semua organisasi besar saat ini menggunakan beberapa jenis prosedur penyaringan (screening procedure) yang mana pelamar yang jelas-jelas tidak sesuai dengan tugas (pekerjaan, program atau kegiatan lain) ditolak secara langsung. Jika prosedur penyaringan mencakup tes jenis tertentu, pelamar yang mencapai skor minimum tertentu (skor batas atau cut off score) atau lebih tinggi pada tes itu diterima dan pelamar yang skornya di bawah skor batas ditolak.

35

36 Klasifikasi dan Penempatan
Penyaringan awal biasanya diikuti oleh klasifikasi dan pemasangan pelamar terpilih ke salah satu dari sejumlah kategori pekerjaan. Keputusan klasifikasi dapat melibatkan pengelompokan karyawan berdasar skor pada lebih dari satu tes psikologi. Penyaringan dan klasifikasi sering diikuti oleh penempatan orang yang telah terseleksi pada tingkat tertentu pekerjaan program. Proses seleksi pegawai biasanya berisi urutan tahap yang berupa serangkaian keputusan ya-tidak berdasar informasi yang diperoleh dari blangko lamaran, surat referensi, panggilan telepon, interview pribadi, observasi dan tes psikologi.

37 Tujuan pengumpulan informasi seperti itu identik dengan penerapan psikologi lain : untuk membuat prediksi yang lebih baik mengenai perilaku mendatang berdasarkan perilaku masa lalu dan sekarang. Semakin dapat diandalkan dan validnya informasinya semakin besar kecenderungan pembuatan prediksi yang akurat atas perilaku di pekerjaan di program dan karena itu semakin sehat keputusan seleksinya. Tentu, keandalan dan validitas instrument dan prosedur pemeriksaan psikologi untuk membuat keputusan seleksi tidak dapat ditentukan semata-mata dengan meneliti material pemeriksaan.

38 Tabel Pengharapan Jika tes digunakan untuk tujuan seleksi akan tidak terlalu korelasi criteria-tes dan persamaan regresi yang menghubungkan kinerja variabel kriteria terhadap skor tes. Metode korelasi dapat diterapkan ke penyusunan tabel pengharapan (expectancy table) teoritis, tetapi tabel pengharapan empiris dapat disusun tanpa menghitung koefisien korelasi atau statistik lain kecuali frekuensi dan persentase.

39

40 Tabel disusun dari distribusi frekuensi gabungan skor 250 pelamar kerja pada OST (Occupational Selection Test) dan pemeringkatan yang diberikan kepada para pelamar oleh para supervisor mereka 6 bulan setelah dipekerjakan. Interval skor OST dibuat daftarnya di sisi kiri tabel dan pemeringkatan kinerja (pada skala 1 – 8) ada di atas. Frekuensi yang tidak ditulis miring pada sel di tabel itu merupakan jumlah karyawan yang mendapat skor OST di dalam rentang 5 poin dan pemeringkatan kinerja tertentu ditunjukkan di bagian atas kolom. Contohnya, 10 karyawan yang skor OST-nya antara 81 dan 85 diberi peringkat kinerja 5 oleh supervisor mereka, sedangkan 14 karyawan yang skor OST antara 66 dan 70 diberi peringkat kinerja 4.

41 Angka yang ditulis miring pada kurung di Tabel 5
Angka yang ditulis miring pada kurung di Tabel 5.1 merupakan prosentase orang yang memiliki skor OST pada interval tertentu yang pemeringkatan kinerjanya sama dengan nilai terkait pada sel tertentu atau yang lebih tinggi. Contohnya, 85 % karyawan yang skor OST-nya berada pada interval menerima peringkat kinerja 5 atau lebih dan 61 % dari yang memiliki skor OST antara 66 dan 70 memiliki peringkat kinerja 4 atau lebih. Misalkan John, karyawan berpotensi dari kelompok yang serupa dengan yang ada disusun di tabel 5.1, membuat skor 68 pada Occupational Selection Test. Kemudian dapat diestimasi peluang John adalah 61 dari 100 dia akan menerima peringkat 4 atau lebih tinggi pada kinerja pekerjaan oleh supervisor 6 bulan setelah dimulainya pekerjaan itu, tetapi peluang dia menerima peringkat kinerja 6 atau lebih adalah hanya 5 dari 100. Jika peringkat 4 atau lebih dapat diterima maka John mungkin dipekerjakan.

42

43 Faktor yang mempengaruhi keakuratan prediksi
Keakuratan prediksi terhadap skor criteria pelamar bergantung pada tidak hanya ukuran korelasi antara variabel predictor dan variabel criteria tetapi juga pada jumlah eror negatif-salah atau positif salah, rasio seleksi dan tingkat dasar (base rate). Jika skor batas (cutoff score) pada tes ditetapkan sangat rendah, akan ada banyak penerimaan yang tidak benar atau positif salah. Yakni para pelamar yang diseleksi tetapi tidak sukses di pekerjaan atau program mereka.

44 Sebaliknya, jika skor batas ditetapkan sangat tinggi akan ada banyak penolakan yang tidak benar atau negative-salah. Yakni para pelamar yang tidak dipilih tetapi mereka akan sangat sukses seandainya mereka dipilih. Karena tujuan seleksi personalia diperoleh sebanyak mungkin yang “sukses” yakni memilih orang yang sukses dan menolak orang yang akan gagal berkinerja baik di pekerjaan – skor batas harus ditetapkan secara cermat.

45 Ketika menetapkan skor batas pada tes atau kumpulan tes, peningkatan mempertimbangkan proporsi pelamar yang akan diseleksi, rasio seleksi. Semakin rendah rasio seleksi, semakin tinggi skor batasnya, demikian pula sebaliknya. Karena jumlah eror positif-salah dipengaruhi oleh dimana skor batas ditetapkan, orang bisa berpendapat rasio seleksi harus ditentukan oleh keseriusan relatif dua jenis eror ini. Apakah eror dibuat karena menerima pelamar yang gagal melaksanakan pekerjaan secara memuaskan (positif gagal) lebih kurang atau serius daripada menolak pelamar yang sebetulnya dapat melaksanakan tugas dengan baik jika dia dipilih (negatif salah) ?

46 Sebaliknya, pada pasar tenaga kerja yang bebas atau terbuka , jumlah pelamar banyak karena itu rasio seleksi biasanya akan rendah. Rasio seleksi rendah berarti skor batas pada tes itu perlu ditetapkan agak tinggi yang akan menyebabkan lebih rendahnya jumlah pelamar yang diterima. Juga akan ada lebih sedikit positif salah tetapi sayangnya akan ada lebih banyak jumlah pelamar yang ditolak yang sebetulnya akan mampu bekerja baik di pekerjaan itu bila diberi peluang (negatif salah). Persentase pelamar yang berhasil baik akan bervariasi secara terbalik dengan rasio seleksi tetapi juga bervariasi secara langsung (searah) dengan validitas tes atau sarana seleksi lainnya. Secara umum, semakin valid tesnya akan menyebabkan semakin besarnya persentase sukses (positif sebenarnya atau negatid sebenarnya) dan semakin kecil persentase positif salah atau negatif salah.

47 Faktor lain yang mempengaruhi keakuratan tes dalam menunjukkan orang yang akan berperilaku cara tertentu adalah base rate yakni proporsi pelamar yang diharapkan bekerja dengan memuaskan pada pekerjaan tertentu meskipun tidak ada instrument atau prosedur yang diterapkan. Mengenai rasio seleksi, tes yang dirancang untuk memprediksi jenis perilaku tertentu akan sangat efektif jika base rate-nya sangat tinggi atau sangat rendah. Karena alasan ini, tes yang dirancang untuk menyeleksi orang pada pekerjaan yang rumit yang karena itu relative sedikit saja pelamar yang dapat bekerja baik akan tidak seefektif tes yang dirancang untuk menyeleksi orang pada pekerjaan yang dilakukan dengan memuaskan oleh separuh pelamar.

48 Konsep base rate juga penting pada diagnosis klinis
Konsep base rate juga penting pada diagnosis klinis. Contohnya karena tingkat kejadian (incidence) bunuh diri pada populasi umum itu sangat rendah (base rate rendah), tes yang dirancang untuk mengenali orang yang memenuhi kriteria depresi akan lebih tinggi karena persentase orang depresi pada populasi secara umum itu lebih tinggi (2% hingga 9 % populasi) daripada yang berpotensi bunuh diri. Pengamatan ke sejumlah Tabel Taylor-Russell untuk base rate tertentu memperlihatkan persentase pelamar yang diharapkan sukses bervariasi mengikuti secara langsung dengan koefisien validitas tetapi secara terbalik dengan rasio seleksi.

49

50 Skor batas ganda dan Regresi Ganda
Serangkaian skor tes dan ukuran lain digabungkan untuk membuat keputusan seleksi dan klasifikasi. Salah satu prosedur untuk menggabungkan skor yang disebut pagar beruntun atau batas ganda (multiple cutoff) ialah dengan menetapkan skor batas yang terpisah pada tiap-tiap dari sejumlah ukuran. Tanpa memandang seberapa tinggi skor mereka pada tes kemampuan kognitif, orang yang tuli tekanan suara tidak diharapkan menjadi konduktor orchestra yang baik.

51 Pendekatan matematika lain untuk menggabungkan skor sampel besar pada sejumlah ukuran adalah menentukan persamaan regresi ganda yang mana bobot berdasar statistik yang berbeda-beda diterapkan ke sejumlah skor pada sejumlah tes yang berbeda-beda.

52

53 TERIMA KASIH