SURVEI CONTOH BIAS DAN NON SAMPLING ERROR

PERTEMUAN 13: BIAS DAN NON SAMPLING ERROR Rancangan Survei Ekonomis Sampling biases (rumus dan kerangka sampel) Non sampling biases (cakupan, non response, pelaksanaan lapangan, dan pengolahan), termasuk efeknya PENGERTIAN BIAS DAN NSE FAKTOR-FAKTOR YANG MEMENGARUHI NSE HUBUNGAN VARABLE ERROR DAN BIAS SUMBER-SUMBER BIAS NON RESPONS DAN CARA MENGATASI

BIASES DAN NON SAMPLING ERROR (1)  Bias dan Non Sampling Error Bias merupakan systematic errors, kaitandengan variable errors Bias dan non sampling error harus dipikirkan karena mempunyai pengaruh yang besar terhadap total error

NON SAMPLING ERROR (1) Non sampling error dipengaruhi oleh : a. Kesalahan konsep -definisi b. Daftar isian yang kurang baik dan pedoman yang tidak jelas c. Kualifikasi petugas d. Pelatihan petugas lemah e. Responden tidak cooperative

NON SAMPLING ERROR (2) f. Pengawasan dan atau pemeriksaan serta monitoring tidak dilakukan/ lemah g. Editing & coding tidak dilakukan dengan baik h. Kesalahan perekaman data i. Lainnya

Hubungan Variable Sampling Error dan Bias (1)

Hubungan Variable Sampling Error dan Bias (2)  Teknik sampling  prosedur estimasi  tingkat presisi yang digambarkan dengan RSE  Accuracy & precission  precission : small variable error  accuracy : small total errors

Hubungan Variable Sampling Error dan Bias (3) Suatu desain dapat dikategorikan :  Accurate (akurasi), yg berkaitan dengan total error. Suatu design dikatakan accurate bila mempunyai total error kecil  Precise (yang berkaitan dengan variable error),tapi tidak accurate. Suatu design misalnya mempunyai sampling error kecil akan tergolong dalam design yg mempuyai presisi yg baik  tidak keduanya

Dapat juga dikategorikan Reliability: design yang mempunyai sampling error kecil, tetapi sebenarnya mempunyai bias yang besar (design kurang mewakili populasi) Validity : design yg cukup baik tetapi sampling error besar. Dalam hal ini design sudah cukup baik tetapi besarnya sample tidak memenuhi persyaratan minimum sample sizes (sample kurang)

Gb : Hubungan VE dan Bias

Gambar : Hubungan VE dan Bias (1) Keterangan: 1 bias dari C 2 bias dari A: : : nilai rata-rata APS ke C  Sebaran yang paling bagus dari A,B,C dan D adalah D, karena sebarannya tidak menyebar dan melewati . D termasuk accuracy tinggi : : :

Hubungan VE dan Bias (2)  C: reliability-nya cukup baik (sampling error kecil tapi bias cukup besar) - Bisa terjadi seperti survey dengan sample besar (dengan telpon) tetapi sample yang masuk belum tentu mewakili populasi/ non respon besar - Terjadi juga pada mailing system (dengan post) atau framenya salah kategori.

Hubungan VE dan Bias (3)  B tergolong validity cukup baik tetapi sampling error besar. Suatu design sudah dihitung n optimum tapi biaya kurang, maka sample dikurangi sehingga varians menjadi besar, pelatihan & petugas baik sampling error besar

Sumber-sumber Bias/ kesalahan 1. Sampling Bias (Bias Sampling): a. Frame biases b. “Consistent” sampling biases c. Constant statistical bias 2. Non Sampling Biases (Bias Di Luar Sampling): a. Non Observation (Di luar Observasi) - Non Coverage - Non response b. Observation (dalam Observasi) - Field : data collection - Office : data processing

Sampling Bias (1) “Frame biases “ Bias terjadi karena penggunaan kerangka sampel yang salah. Contoh : digunakan kerangka sampel yang bukan data mutahir, penggunaan data pendukung yang salah (menggunakan PPS sampling tetapi size tidak ada korelasi dengan data yang kita amati) atau definisi frame tidak sesuai dengan unit analisis

Sampling Bias (2) Bias yang menyangkut penghitungan, seperti dalam Consistent Sampling Biases dan Constant Staistical Biases, dapat diatasi pada saat estimasi, yaitu pada saat penetapan faktor pengali dan penimbang. Sehingga hal ini dapat diamati sepanjang data yang digunakan dari hasil survei benar atau data yang digunakan sebagai pendukung akurat, misal data untuk penimbang.

“Consistent” sampling biases  Estimasi yang konsisten :  Klaster  Rasio estimate

Constant statistical biases  Estimasi rasio

Non Sampling Bias (Bias di Luar Sampling) Bias ini digambarkan sebagai non sampling error yang dapat berasal dari observasi (observation) maupun non observasi (observation).

Non Sampling Bias (Bias di Luar Sampling) Non sampling error akan makin besar bila banyaknya sampel makin besar, karena secara otomatis pengumpulan data akan berhadapan dengan lebih banyak responden dan lebih banyak petugas. Dengan demikian peluang untuk adanya kesalahan makin besar, apalagi bila dilakukan suatu sensus lengkap. Oleh karena itu dalam Sensus Lengkap, variabel yang dikumpulkan tidak boleh terlalu banyak. Pada kenyataan sering tidak dapat dihindari karena konsumen membutuhkan banyak jenis data untuk berbagai keperluan.

Bias di Luar Sampling (2)

Non Sampling Bias (Bias di Luar Sampling) Dari gambar di atas dapat dilihat pengaruh banyaknya sampel (n) terhadap besarnya error: Ditinyau dari segi sampling error, makin besar sampel kesalahan makin kecil, dan akan menjadi nol untuk suatu sensus (pencacahan lengkap). Ditinjau dari segi non sampling error, makin besar sampel kesalahan makin besar dan tidak terkontrol apabila pengumpulan data tidak dilakukan secara baik ditinjau dari semua aspek tahapan pengumpulan dan pengolahan data.

Non Sampling Bias (Bias di Luar Sampling) Besarnya sampling error jauh lebih mudah dikontrol terutama bila tersedia kerangka sampel dan data pendukung yang baik. Besarnya non sampling error jauh lebih sulit mengontrolnya dibanding sampling error karena tergantung dari berbagai aspek baik dari pengelola pengumpulan data, petugas maupun respondennya sendiri..

Non Sampling Bias (Bias di Luar Sampling) Dalam suatu pelaksanaan survei, kesalahan digambarkan sebagai berikut: Total kesalahan = Kesalahan sampling + Kesalahan di luar sampling Usahakan total kesalahan atau total error sekecil mungkin. Ditinjau dari segi penggunaan metode sampling, khusus dalam pelaksanaan survei sampel kondisi pada kesalahan yang digambar pada B akan mempunyai total error paling kecil. Hal dapat diperkirakan pada saat perencanaan.

Non Sampling Bias (Bias di Luar Sampling) Pada kondisi A kesalahan karena sampling cukup besar, tetapi kesalahan karena non sampling error kecil, karena banyaknya sampel tidak memenuhi syarat. Sebaliknya pada kondisi C kesalahan karena sampling cukup kecil tetapi non sampling error besar. Pada desain sampel yang dicari kondisi B dengan persyaratan survei dilaksanakan dengan baik.

Sumber-sumber Kesalahan di Luar Sampling (Non Sampling Error) Kesalahan observasi (Observation) yaitu kesalahan yang berkaitan dengan mengumpulkan data baik yang menyangkut materi survei, petugas pengumpulan data, responden maupun pada saat pengolahan. Kesalahan di luar observasi (Non Observation) seperti kesalahan cakupan misalnya listing dilakukan tidak benar atau adanya non response.

Kesalahan Pengumpulan Data Kesalahan bisa terjadi diawali materi survei termasuk pedomannya yang dirancang kurang memenuhi persyaratan desain kuesioner. Oleh karena itu perlu diadakan pelatihan untuk kesatuan bahasa serta penetapan petugas sesuai materi survei dan ketentuan

Kesalahan Pengumpulan Data Penetapan petugas yang terus menerus untuk suatu jenis survei juga sering mengakibatkan sumber dari kesalahan antara lain disebabkan: Petugas menganggap dirinya sudah memahami materi survei, sehingga tidak serius dalam pelatihan. Adanya penyempurnaan atau perubahan konsep misalnya menjadi tidak dihiraukan.

Kesalahan Pengumpulan Data Petugas telah jenuh dengan pengumpulan data, sehingga tidak serius dalam pengumpulan data. Petugas telah hafal dengan pertanyaan pada kuesioner dan jawaban yang umum dari responden,sehingga ada kecenderungan untuk mengarahkan jawaban dari responden. Kejadian yang paling gawat, petugas memperkirakan sendiri jawaban responden. Responden lainnya diperkirakan jawaban dengan melihat kondisi dari luar.

Contoh Kasus (1) Pada suatu blok sensus terpilih terdapat beberapa penjual gado-gado, maka petugas hanya mencacah 2 atau 3 penjual dan lainnya tidak dilakukan wawancara hanya diwawancari nama saja. Langkah lanjut isian kuesioner lainnya dimodifikasi. Kasus ini terjadi pula pada misalnya usaha sablon, usaha angkot, dan sebagainya. Kasus lain bahkan lebih parah yaitu konsumsi/pengeluaran rumahtangga diperkirakan sendiri oleh petugas

Contoh Kasus (2) Kejadian semacam itu apabila terus menerus dilakukan akan menyebabkan data tidak akurat lagi dan kepercayaan terhadap pengelola survei akan hilang. Oleh karena itu secara teori petugas pengumpul data, sebaiknya maksimum 3 kali melakukan survei yang sama.

Klasifikasi dari Sumber Error

Klasifikasi dari Sumber Error  Variable error Termasuk didalamnya sampling & non sampling error Sampling error tergantung desain, misal dalam sampling 3 tahap:

 Variable error = varians dari 2 stage sampling unit (tahap I) = between blok dalam desa = between blok diantara karakteristik rumah tangga  Makin banyak stage varians makin besar

 Biases & NSE  Contoh penghitungan : Bias tidak dapat bisa diukur dari surveinya sendiri, tetapi melalui studi/ pasca evaluasi survei/ sensus (PES) Sampling error S-nya bisa dihitung sesuai dengan desain samplingnya

Effective Sample Sizes (1)  Contoh : Effective sample sizes (besarnya sample yang efektif dengan menghitung bias). - Nilai rumah rata-rata $ 9200 - Standar deviasi (Sy) $ 5700 - Bias $ 320 (3,5 %) Apakah bias ini besar?

Effective Sample Sizes (2)  n 100 1000 10.000 100.000 SE 0.57 0.18 0.057 0.018

Effective Sample Sizes (3) Jadi SE berbanding terbalik dengan Total error n 100 1000 10.000 100.000 TE 0.65 0.37 0.32 0.32

Effective Sample Sizes (4)  Berapa n’ agar SE = total error n 100 1000 10000 100000 n’ 76 240 308 317

Effective Sample Sizes (5) SE & n’ makin lama makin konstan, yang paling bagus adalah 308 karena total error sudah konstan. n’ = effektif sample size

Significance Non Response 1. Rate non response Persentase dari non response. Dicatat yang non response dan response pengganti/ penggantian sample, termasuk sampling biases. 2. Keadaan non response dibanding response Jika non response banyak (> 5%) harus mempelajari karakteristik sample res-ponse dan non response 3. Sumber dan cara mengatasi 4. Efek Non response 5. Biaya untuk mengurangi non response

 Non Response Tidak di tempat Menolak Tidak sanggup menjawab Tidak dijumpai Dokumen hilang  Terutama survei-survei didaerah yang sulit kita memberikan tenggang waktu  biaya lebih besar  Misal Survei industri besar sedang  revisit

Efek dari Non Response (1) 

Efek dari Non Response (2) karakteristik respon karakteristik non respon Jika karakteristik non respons besar danselisih karakteristik (respons dan non respons) besar, maka bias makin besar  Misal : Mailing System data perkebunan 100 Perusahaan

Efek dari Non Response (3) Ingin melihat rata-rata jumlah pohon Uraian % Respons Jml.Pohon (rata-rata) Mailing 1 10 456 Mailing 2 17 382 Mailing 3 14 340 Non Respon (59) 290 Jumlah 100 329

Efek dari Non Response(4)  untuk non response (59) didapat rata-rata 290. Angka ini diperoleh dari Direktori Perusahaan Pertanian ST

Cara Mengatasi Non Response (1) Penyempurnaan prosedur - Memberikan penjelasan pentingnya survei tersebut dan efeknya pada responden - Melengkapi fasilitas pengumpulan data - Memotivasi responden agar kooperatif - Membuat perjanjian sebelumnya Call back (revisit) - Mailing : mengirim surat kembali - Interview : revisit (dikunjungi lagi)

Cara Mengatasi Non Response (2) Sub sampling dari Call back Memperkirakan efek dari responden Substitusi/ pengantian sample - Dilakukan untuk responden yang sebarannya normal - Jika distribusi tidak normal, tidak bisa dilakukan penggantian sample karena tidak akan mewakili populasi.

MATERI BERIKUTNYA PASCA EVALUASI SURVEI / PES