Reliabilitas dan Validitas Pengukuran Metodologi Penelitian Komunikasi I Departemen Ilmu Komunikasi

Signifikansi Studi Empirik: Dalam Perspektif Dominant Methodology Signifikansi Studi: Akademik, Praktis, Teknis, Sosial Kualitas Kerangka Teori, Proposisi Validitas Internal Validitas Eksternal Validitas dan Reliabilitas Pengukuran Generalisasi Deskriptif Validitas Disain dan Analisis Generalisasi Konteks

Measurement Results: Variances / Scores Differences Source of Variance / Scores Differences (Singleton, 1988; p.112; Selltiz, et.al. p. 164-169) True Differences Random Errors Systematic Error Biases inherent in the method or operational definitions (singleton, 1988); is an error introduces into the measurement by some factor that systematically affects the characteristics being measured or the process of measurement (Selltiz, et.al. 1976) Differences in the concepts the measure intended to measure (singleton, 1988); differences in the characteristics we are attempting to measure (Selltiz, 1976) Measurement error due to random or chance factors (singleton, 1988) or transient aspects of the person, of the situation of measurement, or of the measurement procedures that are likely to vary from one act of measurement to the next, event though the characteristic we are trying to measure has not changed (Selltiz, 1976) X = T + R + S

Measurement Errors Random Errors Systematic Errors Reliability *Kesalahan yang terjadi secara acak/random akibat kondisi, proses, atau variasi prosedur pengukuran yang dilakukan *Membias secara acak ke berbagai arah kemungkinan *Kesalahan yang terjadi secara sistematis antara lain bersumber dari faktor-faktor yang melekat dalam alat ukur atau definisi operasional konsep yang diukur *Membias ke satu arah kemungkinan tertentu Reliability Validity Tingkatan sejauh mana pengukuran yang dilakukan memperoleh hasil yang konsisten (antar waktu, antar pengamatan, antar indikator dsb). The consistency of a measure (Bailey, 1987) Tingkatan sejauh mana pengukuran yang dilakukan benar-benar mengukur konsep yang semula akan diukur. The degree to which a test measures what it purpose to measure (Borg & Gall, 1971)

Discriminant Validity Stability Overtime reliability Equivalence Over-alternate / raters Reliability Homogeneity Over-indicators Measurement Quality Face Validity Subjective/ Pre-data Validity Apparent Content Validity Logical/Sampling Validity Validity Concurrent Validity Criterion-related/ Pragmatic Validity Predictive Validity Data-based Validity Convergent Validity Theoretical/Construct Validity Discriminant Validity

Test-retest reliability Reliability The consistency of a measure (Bailey, 1987) Homogenity Stability Equivalence Over-indicators / Internal consistency Konsistensi hasil pengukuran antar tiap indikator dalam suatu instrumen pengukuran Overtime reliability Konsistensi hasil pengukuran dari waktu ke waktu Over-alternate / Over-raters reliability Konsistensi suatu hasil pengukuran dengan hasil pengukuran lain yang serupa atau dengan hasil pengukuran yang dilakukan oleh pengamat/pengamat lain Internal consistency Test-retest reliability Alternate and parallel form (wording, order, etc) rx1x2 X1 = hasil pengukuran belahan 1 X2 = hasil pengukuran belahan 2 rx1x2 X1 = hasil pengukuran t1 X2 = hasil pengukuran t2 rx1x2 X1 = hasil pengukuran versi 1 X2 = hasil pengukuran versi 2

Estimasi Reliabilitas Pengukuran Koefisien Reliabilitas Prosedur Pengambilan Data Pehitungan Koefisien 1. Stability Coefficient Tes 1 – tunggu – tes 2 pada subyek yang sama Hitung Pearson’s coefficient antara skor tes 1 dengan tes 2 2. Equivalence Coefficient Tes versi 1 – tunggu – tes versi 2 Hitung Pearson’s coefficient antara skor versi 1 dengan versi 2 3. Internal Consistency Coefficient Homogenity: tes – kemudian belah skor hasil tes menjadi dua bagian Unidimensional: menghitung pola jawaban yang “salah” (khusus untuk Guttman-type scale) Hitung Spearman – Brown coefficient atau Cronbach’s alpha coefficient antara skor belahan 1 dengan skor belahan 2 Hitung coefficient of reproducibility

Coefficient of Reproducibility Estimasi Unidimensionality – Internal Consistency Skala Rating Kumulatif Guttman Coefficient of Reproducibility …the percentage of original responses that could be reproduced by knowing the scale scores to summarize them (Babbie, 1992; p.186) Contoh perhitungan coefficient of reproducibility skala jarak sosial Apakah anda bersedia menikahkan anak anda dgn eks narapidana anggota partai terlarang? Apakah anda bersedia menerima eks narapidana tersebut tinggal di sebelah rumah anda? Apakah anda bersedia menerima eks narapidana tersebut tinggal di lingkungan tetangga anda? Number of Errors CoR = 1 – Number of cases x Number of items 44 = 1 – = 0.966 (96.6%) 427 x 3

How to improve reliability ? Clearly conceptualize all constructs Increase the level of measurement Use multiple indicators of a variable Use pretest, pilot studies, and replication

Pre-data validity Subjective-content/ apparent Validity Face validity: Kesepakatan penilaian subyektif para pakar tentang sejauh mana definisi operasional / indikator yg dipergunakan suatu instrumen benar-benar mengukur konsep yang ingin diukur Logical/sampling validity: Kesepakatan penilaian subyektif para pakar tentang sejauh mana definisi operasional/ indikator-indikator suatu instrumen mewakili keseluruhan dimensi dari konsep yang diukur Data-based validity Criterion –related / pragmatic validity Concurrent validity: tingkatan sejauh mana data hasil pengukuran berkorelasi dgn hasil pengukuran konsep lain yg diasumsikan sebagai kriteria keadaan di masa lalu Predictive validity: tingkatan sejauh mana data hasil pengukuran berkorelasi dgn hasil pengukuran konsep lain yg diasumsikan sebagai kriteria keadaan di masa datang Theoretical / construct validity Convergent validity: Tingkatan sejauh mana hasil pengukuran suatu konsep menunjukkan korelasi positif dgn hasil pengukuran konsep lain yg secara teoritis harus berkorelasi positif Discriminant validity: Tingkatan sejauh mana hasil pengukuran suatu konsep mampu membedakan diri (tidak berkorelasi atau berkorelasi negatif) dg hasil pengukuran konsep lain yg secara teoritis memang harus berbeda