povertyactionlab.org Cara Memilih Acak? Pascaline Dupas

povertyactionlab.org Garis Besar Kuliah Hari Ini Topik Dasar: Bagaimana Sebenarnya Memilih Secara Acak? Kuliah ini –Tinjauan atas berbagai cara memilih secara acak –Meyakinkan orang/ Cara mendapatkan dukungan untuk evaluasi Kuliah sore –Tingkat/ Derajat pengacakan –Mekanisme pengacakan –Stratifikasi (penetapan tingkatan)

povertyactionlab.org Cara-cara Memilih Acak

povertyactionlab.org Pengacakan Sederhana Pikirkan “percobaan klinis” Kumpulkan 1000 orang dan beri setengah dari mereka obatnya Dapatkah kita menerapkan gagasan ini pada program-program kemasyarakatan?

povertyactionlab.org Apa saja batasannya bila kita melakukan pengacakan pada situasi-situasi kemasyarakatan?

povertyactionlab.org Batasan-batasan Utama Tidak boleh secara signifikan mengganggu jalannya program –Model “percobaan klinis” di atas jarang cocok untuk LSM Tidak boleh dipandang sebagai tak adil Harus bersifat “politically feasible” (tidak berbenturan dengan kepentingan politik mana pun) Harus etis (memenuhi norma-norma kepantasan & kesopansantunan)

povertyactionlab.org Sumber Daya Terbatas Banyak program mempunyai sumber-daya yang terbatas Dalam bidang-bidang pelayanan seperti: –Pelatihan bagi wirausaha atau petani –Program untuk sekolah atau klinik X terdapat lebih banyak calon penerima yang memenuhi syarat daripada sumber-daya yang dapat melayani Bagaimana cara mengalokasikan sumber-daya itu?

Rancang Undian Pilih secara acak dari sekumpulan pelamar Dalam rancangan ini peserta diberitahu secara eksplisit bahwa “pemenang” dan “mereka yang kalah” akan mencapai hasil yang berbeda Gunakanlah apabila tak ada alasan untuk memilih di antara sekelompok kecil pelamar Undian dipandang sebagai adil Tidak harus transparan Secara politis seringkali lebih mudah dilaksanakan

povertyactionlab.org Kepantasan & Ke”ramah-politik”an Transparansi seringkali membantu Bagaimana memastikan adanya kerjasama dari mereka yang kalah undian (kelompok kontrol)? –Dapatkah kita memberi sesuatu kepada daerah-daerah kontrol? Uji A lawan B, bukan A lawan kosong

povertyactionlab.org Tindakan Ganda Kadang kita tak yakin intervensi macam apa yang perlu kita lakukan Maka kita dapat mengacak beragam intervensi dengan berbagai populasi (yang dipilih secara acak) Apakah kita jadi tahu akan manfaat dari suatu intervensi tertentu? Keuntungannya: sama-sama menguntungkan bagi operasinya, dapat menjawab pertanyaan bagi mereka, lebih dari sekedar “dampak”!

povertyactionlab.org Apa yang kita perbuat bila program menarik 500 pelamar untuk tempat yang hanya sekitar 500? Atau kurang?

povertyactionlab.org Rancang Undian yang tak terlalu kasat mata Satu akal: Iklankan programnya dan naikkan jumlah pelamarnya secara besar- besaran –Sekarang undian dapat dilakukan Etiskah ini?

povertyactionlab.org Dalam hal apa undian tidak memungkinkan?

povertyactionlab.org Di mana undian gagal Andaikan ada 2000 pelamar Screening thd aplikasi/ kebutuhan menghasilkan 500 calon “layak” Ada 500 tempat Undian tak memungkinkan

povertyactionlab.org Apa yang dapat dilakukan dalam situasi ini?

Solusi Potensial Banyak bagian dari suatu aturan pemilihan dirancang hanya untuk menyisihkan calon Diskusikanlah dengan partner untuk lebih memahami dasar pemikiran aturan seleksi/ penyisihan itu –Apa yang dicari? –Unsur-unsur apa yang harus ada? –Unsur-unsur apa yang boleh ada, boleh tidak? –Dapatkah kita mengubah aturan untuk memperbesar kelompok pelamar yang memenuhi syarat? Contoh: Program Pelatihan –2000 calon –1000 memenuhi kriteria, seperti cukup miskin untuk dipilih, cukup memenuhi syarat untuk menarik manfaat dari pelatihannya –250 terpilih dari 1000 berdasarkan sifat-sifat tertentu –LSM bersedia menempatkan yang 250 lagi melalui undian

Pengacakan dalam “gelembung” Orang-orang “dalam gelembung” adalah mereka yang nyaris memenuhi syarat –Pas di atas ambang batas  tak memenuhi syarat, namun nyaris Bila partner tak bersedia mengacak di antara orang-orang yang memenuhi syarat, mungkin bersedia mengacak di antara mereka yang “dalam gelembung” –Berikan program kepada lebih banyak orang daripada yang direncanakan, namun lakukan pengacakan thd “orang-orang tambahan” Dampak perlakuan/ tindakan apa yang kita ukur? Apa artinya bagi validitas eksternal?

povertyactionlab.org Kemungkinan rancangan- rancangan acak lainnya

povertyactionlab.org Cari waktu yang tepat Program-program pun punya siklus kehidupan Punya tahap-tahap awal Mereka berkembang Beberapa tahapan lebih cocok diacak daripada beberapa yang lain

povertyactionlab.org Rancang Masuk Bertahap Dalam rancangan ini tiap orang diberitahu bahwa mereka akan tiba pada hasil yang sama, tapi beberapa lebih lambat daripada yang lain Gunakan fakta bahwa program itu akan berkembang Contoh: –Dalam waktu 5 tahun, 500 sekolah akan terliput –Dalam waktu 5 tahun, 250 kecamatan akan menerima kepemilikan tanah Apa yang menentukan sekolah/ kecamatan mana yang akan diliput dalam tahun yang mana? –Beberapa pilihan mungkin berdasarkan kebutuhan, dampak potensial, dsb. –Beberapa pilihan sangat tergantung pengambil keputusan Maka kita dapat secara acak memilih siapa yang mendapat program lebih dahulu –Lakukanlah ini pada populasi yang pilihan-pilihannya bersifat arbitrer

Rancang Percobaan Pertimbangkan satu langkah sebelumnya. Anda sedang menguji suatu gagasan tertentu Acapkali digunakan sebuah percobaan/percontohan nyata Ini waktu yang tepat untuk melakukan pengacakan Lakukanlah percobaan pada sekelompok kecil klien yang dipilih acak

Rancang Rotasi Kelompok-kelompok menerima tindakan/ upaya perbaikan secara bergiliran Kelompok A menerima tindakan pada periode I Kelompok B menerima tindakan pada periode II Keuntungannya? –Dipandang sebagai lebih adil; lebih mudah diterima Kerugiannya? –Bila orang-orang di Kelompok B mengantisipasi bahwa mereka akan menerima tindakan di periode berikut, mereka mungkin akan bersikap lain di periode I –Tidak mungkin mengukur dampak jangka panjang karena setelah periode I tidak ada kelompok kontrol

povertyactionlab.org Rancangan Lain

povertyactionlab.org Rancang Dorongan Dalam rancangan ini tiap orang langsung layak menerima program – ada cukup dana untuk meliput semua Namun mungkin tidak semua akan menggunakan kesempatan ini Pilih beberapa orang secara acak dan dorong mereka untuk menggunakan programnya Sebagai kontrol, gunakan mereka yang tidak didorong Etiskah? Pada populasi yang manakah hal ini merupakan dampak perlakuan/ tindakan?

Dorongan Apa yang dimaksud dengan “dorongan”? –Sesuatu yang membuat beberapa orang (kelompok tindakan) lebih mungkin bergabung daripada yang lain (kelompok kontrol) Kriteria kunci: –Dorongan itu sendiri tidak boleh merupakan “perlakuan/ tindakan” Gagasan buruk: program pelatihan intensif kewirausahaan, sebagai dorongan untuk mendapatkan kredit Gagasan baik: pasarkan kepada beberapa orang tapi jangan semua orang; pastikan pemasarannya tidak informatif berlebihan –Pikirkanlah siapa yang menanggapi dorongan itu. Berbedakah mereka? Gagasan buruk: berpesta dengan membagikan rokok gratis

Rancang Dorongan: Mengapa Ini Efektif? Yang Didorong “Kelompok Perlakuan/ Tindakan” Yang Tak Didorong “Kelompok Kontrol” Mengalami tindakan 100%0% Tak mengalami tindakan 0%100% povertyactionlab.org Contoh ekstrim dahulu: penerimaan total oleh mereka yang diberi perlakuan, tiada penerimaan oleh mereka yang tidak diberi perlakuan

Rancang Dorongan: Mengapa Ini Efektif? Yang Didorong “Kelompok Perlakuan/Tinda kan” Yang Tak Didorong “Kelompok Kontrol” Mengalami tindakan 50%0% Tak mengalami tindakan 50%100% povertyactionlab.org Sekarang, tambahkan mereka yang tak menerima dalam kelompok yang didorong

Rancang Dorongan: Mengapa Ini Efektif? Yang Didorong “Kelompok Perlakuan/Tinda kan” Yang Tak Didorong “Kelompok Kontrol” Mengalami tindakan 50%25% Tak mengalami tindakan 50%75% povertyactionlab.org Akhirnya, tambahkan mereka yang menerima dalam kelompok “tak didorong”…

Ringkasnya: Kemungkinan Rancang-rancang Pengacakan Undian Sederhana Tindakan / Kontrol Undian dengan Tindakan Ganda Pengacakan dalam “gelembung” Undian untuk Percontohan Masuk Bertahap secara Teracak Rotasi Rancang Dorongan –Catatan: Pilihan-pilihan ini tidak bersifat saling meniadakan

Bagaimana meyakinkan partner / pemangku kepentingan utk melakukan pengacakan?

povertyactionlab.org Meyakinkan Para Praktisi Tiga hal kritis: –Kenalilah identitas para pemain utama serta sudut pandang mereka –Pasang telinga. Cari jalan untuk menjawab pertanyaan-pertanyaan operasional mereka sewaktu melakukan riset itu –Budaya itu perlu Kadang sulit untuk menyatakan ketidaksetujuan. Sejatikah persetujuan mereka?

povertyactionlab.org Macam-macam argumen menentang pengacakan? Tapi saya sudah tahu jawabannya… –(yang sebetulnya ada di pikiran): Tapi saya tidak mau ambil risiko menemukan bahwa usaha kita tidak berdampak

Meyakinkan Para Praktisi Kekhawatiran spesifik yang khas: –Tak mungkin mempertahankan kelompok kontrol karena informasi akan tersebar … –Keadilan –Ongkos –Kebijakan-kebijakan SDM –Lamanya penelitian –Etika berekseperimen

povertyactionlab.org Meyakinkan Para Praktisi Kontaminasi: –Akan kita diskusikan lebih rinci pada hari ke 4 –Pada setting tertentu, kontaminasi itu baik Jika intervensinya mengenai informasi, maka kontaminasi berarti dampak yang lebih besar Sebaiknya Anda mengatur eksperimennya agar Anda dapat mengukur dampak totalnya: –Dampak langsung pada mereka yang diberi tindakan oleh program –Dampak tak langsung melalui kontaminasi

povertyactionlab.org Meyakinkan Para Praktisi Keadilan –Kasus SDM tak terbatas itu jarang –Bila sumberdaya tak terbatas, “keadilan” sepenuhnya tergantung bagaimana membingkainya: Beri tiap orang 50% kemungkinan untuk menerima tindakan Beri mereka yang datang lebih dahulu sedikitnya 100% kemungkinan untuk menerima tindakan, dan 0% bagi mereka yang tidak –Pemilihan acak memberi kita kesempatan untuk lebih memahami seperti apakah peserta ideal itu Bila menggunakan metode non-acak, kita mungkin membuat kesalahan, dan karenanya tidak memaksimalkan dampak

povertyactionlab.org Meyakinkan Para Praktisi Ongkos –Tak harus lebih mahal daripada evaluasi non- eksperimental, karena ongkos mengumpulkan datanya sama –Pikirkan keuntungannya: Bila evaluasi menunjukkan bhw program tdk efektif, kita akan menghemat banyak uang dengan TIDAK memperluas daerah cakupan program … Bila evaluasi menunjukkan program efektif, maka hasil evaluasinya dapat digunakan untuk mendapatkan dana lebih banyak bagi program itu

povertyactionlab.org Meyakinkan Para Praktisi Masalah-masalah sumber daya manusia –Seringkali masalah SDM timbul jika gaji tergantung pada kinerja Maka, jika tindakan mempengaruhi kinerja, masalah mulai timbul Atau, tindakan itu sendiri dapat menyajikan pilihan yang mungkin mengancam pekerjaan mereka! –Jalan keluarnya?

povertyactionlab.org Meyakinkan Para Praktisi Lamanya Penelitian: –“kita tak mungkin menunggu beberapa tahun untuk mengetahui apakah programnya efektif atau tidak” Pemerintah membutuhkan hasil cepat agar dapat dipilih ulang … LSM membutuhkan hasil cepat untuk mendapatkan dana … –Tanggapan?

povertyactionlab.org Meyakinkan Para Praktisi Etika bereksperimen: –“Adalah salah menggunakan orang sebagai kelinci percobaan. Jika Anda pikir cara ini efektif, maka adalah salah jika tidak melakukan tindakan terhadap semua orang” –Jawaban: Sumber daya terbatas. Bagaimana pun penempatan harus terjadi. Mengapa tidak belajar sambil melakukannya? Buatlah suatu kebaikan umum bagi generasi-generasi mendatang.

Evaluasi yang baik akan memberitahu Anda … Bukan hanya “Sejauh mana program Anda berhasil baik?” Namun juga “Mengapa program itu (tidak) efektif? Bagaimana membuatnya menjadi bahkan lebih baik lagi?” Unsur-unsur utama: –Ketahuilah pertanyaan-pertanyaan para pelaksana –Jawablah pertanyaan-pertanyaan itu –Jadikan riset ini suatu kemenangan bersama bagi (tim) operasi povertyactionlab.org