Communication (Survey) Chapter 7 Types of Survey Designing Questionnaire Validity & Reliability of Research Instrument

A Classification of Survey Method Traditional Telephone Computer-Assisted Telephone Interviewing (CATI) Mail Interview Mail Panel In-Home Mall Intercept Computer-Assisted Personal Interviewing (CAPI) E-mail Internet Survey Method Telephone Personal Mail Electronic

Waktu, tempat, kehadiran orang lain, sikap masyarakat FAKTOR-FAKTOR YANG MEMENGARUHI PROSES INTERVIEW SITUASI WAWANCARA Waktu, tempat, kehadiran orang lain, sikap masyarakat INTERVIEWER Karakteristik sosial, ketrampilan melaksanakan wawancara, motivasi, rasa aman RESPONDEN Karakteristik sosial, kemampuan menangkap pertanyaan, kemampuan menjawab pertanyaan ISI WAWANCARA Peka untuk ditanyakan, sukar untuk ditanyakan, tingkat minat, sumber kekawatiran

Sumber eror dalam komunikasi riset Error Source Measurement Questions and Survey Instrument Interviewer Participant Lack of Knowledge Process Error Sampling Error Data Entry Error Misrepresentation Of information Interview Inconsistency Data or Survey Falsification Physical Presence Bias Concept or construct Misinterpretation Incomplete Participation Interview Environment Influencing Behaviors Refusal of Participation (non response error)

Developing a Questionnaire A questionnaire is a formalized set of questions for obtaining information from respondents.

Kualitas Kuesioner…depend on… 1. Apa yang mau ditanyakan? 2. Bagaimana bentuk pertanyaan? 3. Bagaimana membuat kalimat tanya yang efektif? 4. Bagaimana menyusun urutan pertanyaan? 5. Bagaimana menguji kebaikan kuesioner? go

Apa yang mau ditanyakan? 3 jenis informasi yg diperoleh melalui kuesioner: Informasi dasar (berhubungan langsung dengan masalah yang diteliti) Informasi klasifikasi (berhubungan dengan profil responden  dapat diklasifikasikan berdasarkan demografis, geografis, psikografis atau perilaku responden) Informasi indentifikasi (data kontak dengan responden)

Struktur Pertanyaan Jenisnya…. Open-ended questions / unstructured questions / pertanyaan terbuka * Tidak disediakan pilihan jawaban, responden/informan bebas menjawab Closed-ended / Fixed-alternative questions / structured questions / pertanyaan tertutup * Pilihan jawaban disediakan

Struktur Pertanyaan CLOSED-ENDED QUESTIONS OPEN-ENDED QUESTIONS DIKOTOMI PILIHAN BERGANDA SKALA LIKERT PERBEDAAN SEMANTIK SKALA KEPENTINGAN SKALA RANKING SKALA RATING OPEN-ENDED QUESTIONS ASOSIASI KATA PENYELESAIAN KALIMAT PENYELESAIAN CERITA PENYELESAIAN GAMBAR TES PERSEPSI TEMATIS

CLOSED-ENDED QUESTIONS JENIS KETERANGAN CONTOH 1. Dikotomi 2. Pilihan Berganda Pertanyaan dengan dua kemungkinan jawaban Pertanyaan dengan tiga atau lebih kemungkinan jawaban “Dalam memutuskan memilih hotel ini, apakah Anda membaca brosur ?” Ya [ ] Tidak [ ] “Dengan siapa Anda menginap di hotel ini ?“ Sendiri saja [ ] Anak-anak [ ] Istri/suami [ ] Rekan bisnis [ ] Istri/Suami & anak [ ] Kelompok tour [ ]

JENIS KETERANGAN CONTOH Pernyataan yang menunjukkan tingkat kesetujuan atau ketidak setujuan responden Skala yang menghubungkan dua titik ekstrem…biasanya 2 kata yang saling berlawanan, dimana responden memilih sebuah titik yang menunjukkan pendapatnya Skala yang menunjukkan tingkat kepentingan sejumlah atribut “Hotel berbintang biasanya memberikan pelayanan yang lebih baik daripada hotel tidak berbintang” STS TS N S SS 1[] 2[] 3[] 4[] 5[] Menurut Anda Sheraton hotel: Besar……………………Kecil Modern……………… Kuno Profesional.... Tdk profesional Bagi Anda kebersihan peralatan makan dihotel ini SP P AP TP STP 1[] 2[] 3[] 4[] 5[] 2. Skala Likert 3. Perbedaan semantik 4. Skala kepentingan

JENIS KETERANGAN CONTOH 5. Skala Ranking 6. Check list Skala yang menunjukkan rangking suatu atribut dari “sangat jelek” hingga “sangat bagus” Memungkinkan responden memilih 1 atau beberapa jawaban untuk sebuah pertanyaan “Pelayanan makanan pada hotel ini menurut Anda adalah” Baik sekali [ ] Cukup [ ] Jelek [ ] “Dalam memilih handphone, berikan tanda “v” untuk faktor pertimbangan Anda: [ ] warna [ ] merek [ ] harga [ ] fitur [ ] luas jangkauan

OPEN-ENDED QUESTIONS JENIS KETERANGAN CONTOH “Bagaimana pendapat Anda mengenai Sheraton Hotel ? ………………………………………………………………… “Kata apa yang pertama kali muncul dalam pikiran /Anda ingat ketika mendengar kata-kata berikut ini ?” Sheraton -------- Hotel -------- Makanan -------- Pelayanan -------- Internet -------- Suatu pertanyaan yang dapat dijawab responden dengan cara yang hampir tidak terbatas Kata-kata disajikan satu persatu dan responden menyebutkan kata pertama yang muncul dalam pikirannya Tidak terstruktur 2. Asosiasi kata

JENIS KETERANGAN CONTOH 3. Penyelesaian kalimat 4. Penyelesaian cerita Sebuah kalimat yang belum lengkap disajikan dan responden diminta menyelesaikan kalimat tersebut. Sebuah cerita yang belum lengkap disajikan dan responden diminta untuk menyelesaikannya. “Jika saya memilih sebuah hotel untuk menginap, pertimbangan paling penting dalam keputusan saya adalah --------------------” “ Saya menginap di Hilton Hotel beberapa hari yang lalu. Saya melihat bahwa ekterior dan interior dari hotel tempat saya menginap itu memiliki kombinasi warna yang cerah. Hal ini menimbulkan pikiran & perasaan berikut dalam diri saya “ : …………………………. Sekarang selesaikan cerita ini

Let’s see if we can pick up some house wares at Carefour JENIS KETERANGAN CONTOH Carefour 5. Penyelesaian gambar 6. Tes Persepsi Tematis Sebuah gambar dengan dua tokoh disajikan, dengan salah satu tokoh membuat sebuah pernyataan. Responden diminta untuk mengidentifikasi pernyataan tokoh yang satu lagi dan diisikan pada bagian yang kosong Sebuah gambar disajikan dan responden diminta untuk mengarang sebuah cerita mengenai apa yang mereka pikirkan, sedang atau mungkin terjadi dalam gambar tersebut Let’s see if we can pick up some house wares at Carefour ………. ………

Sequence of Questions Introduction of Questionnaires Introducing the researchers Explaining aim of research Asking respondents’ participation Confidential guarantee 2. Opening Questions The opening questions should be interesting, simple, and non-threatening. 3. Difficult Questions Difficult questions or questions which are sensitive, embarrassing, complex, or dull, should be placed late in the sequence.

Sekian dan selamat mengisi. Example of Introduction … Responden Yth, Terima kasih untuk kesediaan berpartisipasi dalam pengisian kuesioner ini. Penelitian ini dilakukan oleh mahasiswa Fakultas Ekonomi UK Petra dalam rangka penulisan Tugas Akhir. Penelitian bertujuan untuk mengungkap perilaku pembelian konsumen di Surabaya pada produk-produk merek toko dan persepsi konsumen terhadap produk tersebut. Informasi yang Bpk/Ibu/Sdr/i berikan akan kami jaga kerahasiaannya dan hanya akan dipakai untuk kepentingan akademis. Sekian dan selamat mengisi.

Form and Layout Divide a questionnaire into several parts. The questions in each part should be numbered, particularly when branching questions are used. The questionnaires should preferably be coded.

Contoh Form & Layout Kuesioner BAGIAN I: PERTANYAAN SCREENING Apakah Anda pernah membeli produk-produk merek toko (store brands/private brands), seperti misalnya: gula merek Giant, tissue merek Hero, dll.  Ya, pernah (lanjutkan ke pertanyaan selanjutnya)  Tidak pernah (stop sampai di sini, terima kasih)   BAGIAN II: PERILAKU PEMBELIAN KONSUMEN Di mana Anda biasanya berbelanja produk - produk merek toko (store brands/ private brands)?  Hero  Hypermart  Giant  Matahari  Makro  Rimo Department Store  Carefour  Lainnya ___________________ 3. Kategori produk merek toko apa saja yang pernah Anda beli? (bisa lebih dari 1): 1  Makanan/minuman (lanjut no. 4&7) 4  Pakaian/sepatu (langsung no. 8) 2  Toiletries (lanjut no. 5&8) 5  Alat tulis (langsung no.8) 3  Elektronik (lanjut no. 6&8) 6  Lainnya ________ (langsung no. 8)

Guidelines for Developing Questions 1 Guidelines for Developing Questions 1. Harus fokus  isu yang ditanyakan harus jelas Shampoo apa yang Anda gunakan? Sebutkan merek shampoo yang terakhir kali Anda gunakan keramas?

2. Pertanyaan harus singkat / tidak bertele-tele Wrong: Can you tell me how many children you have, whether they are girls or boys, and how old they are? Right: How many children do you have?

3. Gunakan kata-kata/istilah umum, bukan bahasa konsep/teoritis/abstrak Bagaimana pendapat Anda tentang promosi above the line dari pasta gigi Pepsodent?” Dengan harga sekarang ini, apakah teh botol Sosro sudah memberikan value bagi konsumen?

4. Pertanyaan harus relevan dengan responden Wrong: How long does it take you to find a parking place after you arrive at the restaurant? Right: If you drive to the restaurant, how long does it take you to find a parking place after you arrive at the restaurant? Might use a screening question first – Do you usually drive to the restaurant? Yes___ No____, If Yes …….

5. Hindari pertanyaan yang menggiring / leading questions “Sebagai warga negara Indonesia yang cinta tanah air, bagaimana sikap Anda terhadap kampanye Aku Cinta Produk Indonesia?” “ Bagaimana sikap Anda terhadap hotel Shangri-La yang memiliki fasilitas lengkap dan pelayanan yang baik?”

6. Make sure the respondent can answer the question Wrong: How many times did you dine out last year? Right: How many times did you dine out at a fast food restaurant during the last 2 weeks? How many gallons of soft drinks did you consume during the last four weeks? (Incorrect) How often do you consume soft drinks in a typical week? 1.                  ___ Less than once a week 2.                  ___ 1 to 3 times per week 3.                  ___ 4 to 6 times per week 4.                  ___ 7 or more times per week (Correct)

7. Gunakan kata-kata yang tidak bercabang/ ambiguous In a typical month, how often do you shop in department stores? _____ Never _____ Occasionally _____ Sometimes _____ Often _____ Regularly (Incorrect) In a typical month, how often do you shop in department stores? _____ Less than once _____ 1 or 2 times _____ 3 or 4 times _____ More than 4 times (Correct)

8. Avoid double-barreled questions “Do you think Coca-Cola is a tasty and refreshing soft drink?” (Incorrect) “Do you think Coca-Cola is a tasty soft drink?” continued with…. “Do you think Coca-Cola is a refreshing soft drink?” (Correct)

Validitas & Reliabilitas Instrumen Penelitian

Characteristics of Good Measurement: Validity Validitas adalah ukuran kesahihan (kecermatan) yaitu seberapa jauh alat ukur yang digunakan dapat mengukur (benar-benar mengukur) apa yang hendak diukur.

Characteristics of Good Measurement: Reliability Reliabilitas: ukuran keterandalan yaitu seberapa jauh alat ukur yang digunakan menghasilkan ukuran yang sama pada kesempatan pengukuran (waktu dan orang ) yang berbeda. Konsistensi alat ukur. Keakuratan & ketepatan prosedur pengukuran.

Characteristics of Good Measurement: Practicality Kepraktisan berkaitan dengan sejauh mana alat ukur yang digunakan adalah ekonomis, mudah digunakan, dan mudah diinterpretasikan.

Apa itu Validitas Kuesioner? Peneliti harus yakin bahwa butir-butir pertanyaan dalam kuesioner betul-betul akan mengukur masalah/hal yang ingin diteliti. Validitas adalah suatu ukuran yang menunjukkan tingkat kesahihan atau keabsahan instrumen penelitian Instrumen dikatakan valid apabila bisa mengukur tentang apa yang akan diukur. Contoh: menimbang berat badan akan valid bila digunakan timbangan badan dan tidak valid jika digunakan meteran.

Jenis-jenis Validitas 1. Validitas Isi (Content Validity) Validitas Konten mempersoalkan apakah isi dari suatu alat ukur sudah mewakili teori.

Contoh: Content Validitity Penelitian ingin mengukur kualitas layanan dari sebuah restoran. Kuesioner dinyatakan valid secara content bila peneliti dalam mengembangkan butir-butir pertanyaan kuesioner, mengacu pada teori/konsep kualitas layanan Misal: teori 5 dimensi kualitas layanan oleh Parasuraman.

Jenis Validitas 2. Validitas Muka (Face Validity) Validitas muka berhubungan dg pengukuran atribut yang konkrit (langsung dapat dilihat oleh panca indera). Jadi dari segi “tampaknya/rupanya” suatu alat ukur telah mampu mengukur apa yang ingin diukur.

Contoh Face Validity Contoh: Mengukur kemahiran mengetik, maka “jumlah kata yang mampu diketik secara tepat dalam waktu1 menit” sudah merupakan ukuran yang tepat (secara permukaan) tentang kemahiran mengetik tsb. Validitas muka dapat didasarkan pada pendapat para pakar/ahli terhadap suatu alat ukur.

Jenis Validitas 3. Validitas kriteria (criterion validity) Menguji apakah alat ukur (butir-butir pertanyaan kuesioner) sudah sesuai dengan kriteria atau variabel tertentu yang diketahui/dipercaya dapat digunakan untuk mengukur atribut tertentu. Ada 2 macam criterion validity: a. Concurrent validity b. Predictive validity

Validitas Kriteria Concurrent validity: mengukur kemampuan alat ukur untuk kondisi saat ini. Contoh: Soal UTS/UAS, merupakan alat ukur atas kemampuan mahasiswa memahami materi yang disampaikan dalam satu mata kuliah selama 1 periode waktu tertentu.

Validitas Kriteria b. Predictive validity: mengukur kemampuan alat ukur untuk memprediksi kondisi di masa mendatang. Contoh: Soal ujian masuk ke PT, untuk memprediksi apa yang akan terjadi di masa mendatang. Peserta yang lulus ujian masuk diprediksikan dapat mengikuti pelajaran di PT dengan baik.

Metode yg digunakan dlm pengukuran Validitas Type of Validity What is Measured Methods Content Degree to which the content of the items adequately represent the universe of all relevant items under study Judgmental Panel evaluation with content validity ratio Criterion Related Concurrent Predictive Degree to which the predictor is adequate in capturing the relevant aspects of the criterion Description of the present ; criterion data are available at the same time as predictor score Prediction of the future; criterion data are measured after the passage time. Correlation Construct Answers the question, “What accounts for the variance in the measure ?” ; attempts to identify the underlying construct (s) being measured and determine how well the test represents it (them). Correlation of proposed test with establish one Convergent–discriminant techniques Factors Analysis Multitrait-multimethod analysis

Uji Validitas Uji Validitas secara logis Variabel penelitian masih bisa dipecah menjadi sub-variabel. Sub-variabel masih bisa dipecah menjadi indikator empirik. Apabila penyusunan kuesioner dilakukan sesuai prosedur, sebenarnya kuesioner telah memenuhi validitas logis. Validitas logis sangat ditentukan oleh kemampuan peneliti memahami masalah penelitian, menemukan teori penunjang, dan mengembangkan variabel penelitian.

Uji Validitas 2. Uji Validitas secara empiris  Alat ukur sebelum dipakai harus diuji Melalui pre-test atau try-out lebih dulu Jumlah responden terbatas (minim 30 orang) Butir pertanyaan yang tidak valid: - gugur/dibuang - dikalimatkan ulang  diuji lagi

CARA UJI VALIDITAS SECARA EMPIRIS 1. Korelasi Pearson 2. Analisis Faktor Konfirmatori Hasil analisis  bila faktor loading yang diperoleh signifikan, berarti instrumen penelitian valid

sebuah butir pertanyaan. 1. Korelasi Pearson Masing-masing butir pertanyaan dikorelasikan dengan skor total dari jawaban responden atas sebuah butir pertanyaan. Bila rhitung ≥ rtabel berarti signifikan. Bila digunakan p-value, jika a=5%, korelasi signifikan jika p-value < 0,05  artinya butir pertanyaan valid.

Reliability Berhubungan dengan konsistensi dan stabilitas dari alat ukur  handal atau tidak. Validitas berhubungan dengan ketepatan, reliabilitas berhubungan dengan konsistensi. Mengukur apakah dengan alat ukur yang sama, bila digunakan pada orang yang sama, di waktu yang berbeda; akan sama hasilnya. Mengukur apakah dengan alat ukur yang sama, bila digunakan pada orang yang berbeda; akan sama hasilnya. back

Metode yang digunakan dlm pengukuran reliabilitas Type Coefficient What is measured Methods Test-Retest Stability Reliability of a test or instrument inferred from examinee score; same test is administered twice to same subjects over an interval of less than six months Correlation Parallel Forms Equivalence Degree to which alternative forms of the same measure produce same or similar results; administered simultaneously or with a delay, Interrater estimates of the similarity of judges’ observations or scores Split-Half, KR20, Cronbach’s Alpha Internal consistency Degree to which instrument items are homogeneous and reflect the same underlying construct (s) Specialized Correlational formulas

1. Teknik Ukur Ulang (test & re-test reliability) UJI RELIABILITAS 1. Teknik Ukur Ulang (test & re-test reliability) Dalam 2x kesempatan/waktu yang berbeda, konsep yang sama diukur pada orang yang sama; diuji apakah hasilnya sama atau tidak Korelasi antar skor yang diperoleh dari responden yang sama dengan 2 waktu yang berbeda inilah yang disebut sebagai koefisien test-retest. Semakin tinggi koefisien korelasinya, semakin reliable alat ukur yang dipakai. Selang waktu: direkomendasikan 2 - 4 minggu.

d. Alpha Cronbach (digunakan korelasi alpha) RELIABILITAS 2. Teknik Sekali Ukur a. Genap Gasal b. Belah Tengah c. Belah Acak d. Alpha Cronbach (digunakan korelasi alpha)

1). Teknik Genap Gasal Kelompok Genap Kelompok Gasal Butir pertanyaan dikelompokkan jadi dua Kelompok Genap Kelompok Gasal Kelompok 1 kemudian dikorelasikan dengan 2 Signifikansi rgg sama dengan Signifikansi Validitas.

Contoh: Dari Uji Validitas Butir 5 Gugur, yg sahih saja yang diuji. Buat Butir Baru 1 - 9 Resp. BUTIR GASAL (x) BUTIR GENAP (y) 1 3 5 7 9 x 2 4 6 8 y

= 0,92 r0,05 (8) = 0,43 Dihitung korelasi x dengan y r hitung > r tabel HANDAL

2). Teknik Belah Tengah Butir pertanyaan dikelompokkan jadi I (x) II (y). Bila jumlah pertanyaan ganjil, butir tengah bisa masuk I atau II. Resp. KELOMPOK I (y) KELOMPOK II (x) 1 2 3 4 x 5 6 7 8 9 y A B C D E F G H I J  x = 116  y = 143

Hubungan Validitas dan Reliabelitas Uji validitas kuesioner dilakukan sebelum kuesioner disebarkan. Uji reliabilitas dilakukan setelah kuesioner disebarkan.