Materi 7 Bias, Error, Non Response dan Survei Pasca Pencacahan Non sampling error Pembahasan metode sampling  prosedur estimasi  penghitungan varian, standard error (presisi) Pembahasan berikut  bias dan non sampling error yg berpngruh tdp total error Non sampling error sangat dipengaruhi oleh faktor manusia, seperti : - konsep / definisi - daftar isian dan buku panduan - kualifikasi petugas - pelatihan petugas - responden - pengawasan, pemeriksaan - editing dan coding - perekaman data - lainnya

a possible sample result Variable errors around 2) Kaitan total error, variabel error dan bias Catatan : variabel error berasal dari sampling dan nonsampling error bias berasal dari sampling dan nonsampling bias [lihat Materi 4 butir 5)] Deviation from a possible sample result vs True value Variable errors around average value of the survey design Bias Apabila Variable Error hanya disebabkan oleh sampling error  = sampling variance Variable Error

3) Perbedaan variabel error dan bias a) Variabel error dari samping dan bias dari non sampling mempunyai efek yg lebih besar terhadap hasil survei dibandingkan dg variabel error dari nonsamping dan bias dari sampling b)  bias dari sampling, biasanya kecil  total survey bias  variabel error berbeda / berfluktuasi utk sampel yg berbeda pada desain yg sama. Variabilitas tsb diukur dg standard error : ( termasuk variabel error dari sampling dan nonsampling )

c) Bias dapat berupa nilai positif atau negatif, ada kemungkinan cancelled out (saling menghilangkan). Pengurangan salah satu sumber bias dapat menambah besar total bias. Total bias = Variabel error merupakan nilai yg selalu positif. Pengurangan salah satu sumber variabel error dapat mengurangi variabel error total. d) Bias tidak dapat dikurangi dengan menambah jumlah sampel. Mengurangi bias dapat dilakukan dg memperbaiki mekanisme operasional. Variabel error dapat dikurangi dengan menambah jumlah sampel. e) Bias dan variabel error memberikan efek yg berbeda terhadap berbagai statistik. Sebagai contoh : Bias yg mempunyai efek yg besar thdp rerata, dampaknya akan diabaikan pada analisis tentang perbedaan rerata. Variabel error yg mempunyai efek yg dapat diabaikan thdp rerata, dampaknya akan sangat besar pada analisis perbedaan rerata utk jumlah unit yg sedikit (subclass).

4) Variabel error, bias dan desain survei a) Presisi (precision). Variabel error kecil  tingkat presisi tinggi. Suatu desain mempunyai presisi yg baik (a precise design) apabila variabel errornya kecil b) Akurasi (accuracy). Variabel error dan bias (total error) kecil  akurat. Suatu desain dikatakan akurat (an accurate design) apabila mempunyai presisi yg baik dan bias yg kecil atau nol. Suatu desain dikatakan mempunyai presisi yg baik walaupun biasnya besar. Tetapi desain tsb bukan merupakan desain yg akurat. Dalam kaitannya dg pengukuran, ada 2 terminologi yaitu reliabilitas (reliability) dan validitas (validity). c) Reliabilitas  pengukuran dg presisi yg baik. Suatu desain dikatakan reliabel bila pengukurannya mempunyai presisi yg baik d) Validitas  pengukuran tanpa bias (bias = nol). Suatu desain dikatakan valid bila pengukurannya tidak bias. Perhatikan gambar di bawah ini :

4 (empat) desain A, B, C dan D, distribusi samplingnya digambarkan dengan distribusi normal seperti di atas. Tinggi kurva  probabilitas berbagai nilai estimasi Variabel error  standard deviasi dari kurva Bias  jarak titik tengah kurva thdp true value. Desain A dan C mempunyai bias yg “besar”, desain B dan D tidak bias. Desain C dan D presisinya lb baik dr A dan B krn std errornya lb kecil D  akurat krn total errornya (vbl errpr dan biasnya) kecil A  reratanya jauh dari true value A dan C  cenderung bergeser ke sisi kanan B dan D  rerata tepat pada target Variasi C dan D < A dan B C  mempunyai reliabilitas tapi tidak validitas B  mempunyai validitas tapi tidak reliabilitas A  tidak mempunyai validitas dan reliabilitas D  mempunyai validitas dan reliabilitas

Dalam pembahasan , total error dan variabel error merupakan rerata  lebih cenderung kearah nilai harapan (expected results) bukan kepd kemungkinan hasil dari sampel individu. Contoh : - Sebagian dari sampel pada desain D (desain paling bagus) lebih jauh dari nilai true value, dibandingkan sebagian sampel dari desain A (desain paling tidak baik). - Desain A (paling tidak baik) mempunyai sampel lebih banyak yang dekat dg true value dibanding dg desain yg lebih baik (desain C). Tetapi A juga mempunyai sampel yg jauh dari true value lebih banyak bila dibandingkan dg C. C  mail questionaires dg sampel besar (presisi baik) tapi akurasi yg rendah karena bias besar yg disebabkan oleh frame yg kurang baik serta nonresponse yg besar. A  idem C tapi dg jumlah sampel yg lebih kecil B  unbiased krn metode yg baik tapi presisi yg kurang baik krn sampel yg lebih kecil D  unbiased dg presisi yg baik krn jumlah sampel yg besar

Gambar segitiga. Vertikal  menyatakan bias Horisontal  menyatakan variabel error Hipotenusa A dan C  total error yg merupakan kombinasi bias dan vbl error Efek dari penghilangan bias tercermin pada total error B dan D, yg sama dg vbl error (sisi horisontal ) Total error C tetap besar walaupun vbl error lebih kecil Hanya D yg merupakan desain yg akurat krn mempunyai total error kecil (kombinasi dari vbl error dan bias kecil).

4) Berbagai jenis bias karena melakukan survei (survey biases) a) Sampling biases - Frame bias  tidak memenuhi syarat-syarat frame yg baik - “Consistent” sampling bias  bias dari estimator  nilainya bervariasi tergantung kepd jumlah sampel  dapat dihilangkan dg desain sampel yg baik Contoh : sbg estimattor

b) Constant statistical bias  bias dari estimator yg mempunyai efek sama atau hampir sama (tidak tergantung kpd jumlah sampel atau bahkan bila dilakukan sensus)  dpt dihindari dg melakukan prosedur estimasi yg baik Contoh : penggunaan median sbg estimator dari rerata pada distribusi yg “menceng” (skewed distribution) Nonsampling biases - nonobsevation  gagal mendptkan observasi (lewat cacah atau nonresponse) - observation  terjadi saat pengumpulan data di lapangan (response bias : kesalahan pengukuran /pencatatan saat mencacah), serta saat pengolahan (processing bias : editing, coding, procesing etc.)

5) Non response a) Non response  salah satu penyebab bias (sampel tidak mewakili populasi). Penyebab non response : - responden tdk berada di rumah saat pencacahan - responden menolak utk dicacah - responden tdk dapat menjawab - responden tdk ditemukan - daftar isian hilang atau rusak Jenis non response : - total non response (daftar isian tdk terisi seluruhnya) - partial non response atau variable non response b) Efek non response  proporsi response  rerata karakteristik yg response  proporsi non response  rerata karakteristik yg non response

Relative bias ( RB ) : Pengaruh bias tergantung pada : - besarnya - perbedaan antara , makin besar perbedaan, makin besar bias. c) Beberapa cara utk mengurangi non response - menggunakan prosedur lapangan yg baik, misal : * sosialisasi sebelum pelaksanaan lapangan * merahasiakan identitas responden * memotivasi responden agar mau menjawab dg baik * membangkitkan keinginan responden utk menjawab dg kiat tertentu - call – backs (revisit) - subsampling the call-backs - substitusi, mengganti yg non response dg yg response (banyak sisi negatifnya) - estimasi yg non response dg suatu model

6) Survei pasca pencacahan ( Post Enumeration Survey - PES) a) Utk meneliti berbagai kesalahan di luar yg disebabkan oleh metode sampling, perlu dilakukan proses lain di luar survei itu sendiri, antara lain dg melakukan PES. Tujuan dari PES bukan utk memperbaiki estimasi, tetapi utk : - mengkaji/mengestimasi kesalahan cakupan (coverage error) dan kesalahan isi (content error) - pendukung analasis - masukan utk pelaksanaan survei yad. b) Salah cakupan disebabkan oleh salah cacah (erroneous inclusion) dan lewat cacah (omission)  lebih menekankan kpd akurasi dan keberadaan unit sampling Salah isian disebabkan oleh salah isi (erronious entries) dan tidak ada isian (non response entries)  lebih menekankan kpd jawaban responden. c) Perbandingan data hasil PES dan survei harus pada kondisi yg sama (hati-hati kalau ada perubahan).

d) Beberapa metode analisis dalam PES. - coverage check : * formula Chandra Deming * model Uttam Chand * metode David Bateman * dual system estimation model - content check : * index of reliability * index of consistency