Prof. DR. H.M. Iim Wasliman, M.Pd., M.Si. Proses Evaluasi dan Dampak Kebijakan Publik era Kompleksitas Perkembangan Dosen : Prof. DR. H.M. Iim Wasliman, M.Pd., M.Si. Oleh :Kelompok VII 1. Sigit Panca Priyana 2. Maimunah 3. Ai Yeyeh Rukiah

Materi presentasi 1. Evaluasi sebagai proses kebijakan 2. Pengertian evaluasi 3. Macam-macam evaluasi 4. Permasalahan dalam evaluasi 5. Studi evaluasi kebijakan publik

Referensi : 1. Anderson (1990) Public Policy making 2. Merilee Grindle (1988), Politics and Policy Implementation in the third world 3. George edwards III (1980), Implementing Public policy 4. William N Dunn, (1995)Public policy Analysis 5. Randall Ripley & Grace Franklin (1987), bureaucracy and Policy Implementation 6. Kenneth Dolbeare (1987), Policy evaluations 7. Daniel Mazmanian, Paul Sabatier(1986), Implementation and Public Policy 8. Pressman & Wildavsky, (1988), Implementation 9. Wayne Parsons (2005), Pengantar dan praktek Analisis Kebijaakan

Referensi pembantu : 1. Ryan Nugroho, (2003), Kebijakan Publik, formulasi, Implementasi dan evaluasi 2. Budi Winarno, (2001),Kebijakan Publik 3. Fadillah Putra,(2002) Paradigma kritis dalam studi Kebijakan Publik 4. Samodra Wibowo, dkk,(1994) Evaluasi Kebijakan Publik 5. AG Subarsono,(2005) Analisis Kebijakan Publik 6. Solichin Abdulwahab(1998), Analisis Kebiajakan Publik dari formulasi ke implementasi 7. Hessel Nogi Tangkilisan,(2003) Evaluasi kebijakan Publik 8. Edi Suharto (2005), Analisis kebijakan Publik

Bagan proses kebijakan publik

Analisa kebijakan berorientasi masalah

Contoh kebijakan publik

Evaluasi kebijakan Kegiatan untuk menilai sejauh mana kefektifan sebuah kebijakan publik guna dipertanggung jawabkan pada konstituennya dan sejauh mana tujuan tercapai Kegiatan yang bertujuan menilai “manfaat” suatu kebijakan (Jones ,1984) Kegiatan yang ditujukan untuk melihat sebab-sebab kegagalan suatu kebijakan atau untuk mengetahui apakah kebijakan publik yang telah dilaksanakan meraih dampak yg diinginkan

Apa itu evaluasi ? Anderson (1979) : Evaluasi adalah the appraisal of assesstment of policy including its content implementation and impact (penilaian atau pengukuran kebijakan termasuk isi, implementasi dan dampaknya) Jones (1987) Evaluasi : an activity designed to judges the merits of government programs which varies significancy in the spesificationof objects, the techniques measurement and methods of analysis (suatu aktivitas yg dirancang untuk menilai keberhasilan program- program yg berbeda secara tajam dalam spesifikasi obyeknya, tehnik pengukurannya serta metode analisanya).

Mengapa evaluasi diperlukan ? Merupakan satu tahapan dalam siklus Kebijakan Mengetahui keberhasilan/ kegagalan atau kebijakan Mengetahui penyebab kegagalan Mengetahui apakah dampak kebijakan publik sesuai dg yang diharapkan Menilai manfaat suatu kebijakan

Manfaat Evaluasi kebijakan : Memperoleh informasi tentang kinerja kebijakan Mendorong seseorang untuk lebih memahami maksud, kualitas dan dampak kebijakan Umpan balik bagi manajemen dalam rangka perbaikan/ penyempurnaan implementasi Memberikan rekomendasi pada pembuat kebijakan

Fungsi Evaluasi (Dunn; Ripley) Eksplanasi : Menjelaskan realitas pelaksanaan program Kepatuhan : Melihat apakah pelaksanaan sesuai standar dan prosedur) Auditing: Melihat apakah output sampai ke sasaran. Adakah kebocoran dan penyimpangan Akunting : Apa akibat sosial ekonomi dari kebijakan. Misal seberapa jauh mampu meningkatkan pendapatan masyarakat, adakah dampak yang ditimbulkan

Tujuan evaluasi kebijakan : 1.Mengukur efek suatu program 2.Bahan pertimbangan untuk pembuatan keputusan lebih lanjut mengenai program di masa datang 3. Menilai kesesuaian dan perubahan program 4. Alasan memenuhi akuntabilitas

Implikasi dari tujuan evaluasi tsb : Mengukur efek: hal ini menunjuk pada perlunya metodologi penelitian Membandingakan efek dgn tujuan: menunjuk pada penggunaan kriteria untuk mengukur keberhasilan Memberikan sumbangan pada pembuatan kebijakan berikutnya Terjadi peningkatan program dimasa datang

Umpan balik kebijakan publik

Meneruskan atau mengakhiri program Memperbaiki praktek & prosedur adm Keputusan yg dapat diambil dari hasil evaluasi (Weis dalam Shafritz and Hyde, 1987) Meneruskan atau mengakhiri program Memperbaiki praktek & prosedur adm Menambah atau mengurangi strategi dan tehnik implementasi Melembagakan program ke tempat lain Mengalokasikan sumber daya ke program lain Menolak atau menerima pendekatan/ teori yg digunakan sbg asumsi

Persoalan yg ingin dijawab dalam evaluasi (Ripley, 1985) Kelompok dan kepetingan mana yg memiliki akses dalam pembuatan kebijakan? Apakah pembuatan cukup rinci, terbuka dan memnuhi prosedur? Apakah program didesain secara logis ? Apakah sumber daya yg menjadiinput program telah memadai untuk menc tuj ? Apa standar implementai yg baik bagi kebijakan tsb ? Apakah program dilaks sesuai standar efisiensi ekonomi? Apakah uang digunakan dg tepat dan jujur? Apakah kel sasaran memeproleh pelayanan seperti yg didesain dalam program ? Apakah program memberikandampak pada kelompok non sasaran? Apa jenis dampaknya ? Apa dampak yg diharapkan dan tak diharapakan pada masyarakat ? Kapan tindakan program dilaksanakan dan dampaknya diterima oleh masyarakat ? Apakah tindakan dan dampak sesuai yg diharapkan ?

Kasley dan Kumar (1987) 3 pertanyaan yg perlu dijawab dalam evaluasi : Siapa yg memperoleh akses dari input dan output program ? Bagaimana mereka bereaksi thd program tersebut ? Bagaimana program tsb mempengaruhi perilaku sasaran kebijakan ?

Aspek kajian evaluasi kebijakan Proses pembuatan kebijakan Proses implementasi kebijakan Konsekwensi kebijakan Efektivitas dampak kebijakan Evaluasi dapat dilakukan sebelum (evaluasi sumatif), pada saat (evaluasi implementasi) dan sesudah kebijakan diimplementasikan (evaluasi formatif)

Pengelompokkan evaluasi yg lain: Evaluasi administratif : Biasanya dilakukan dg aspek finansial dan prosedur (dilakukan dalam lingkup pemerintahan) Evaluasi Yudisial : Evaluasi yang berkaitan dengan obyek-obyek hukum Evaluasi Politik: Evaluasi yg dilakukan oleh lembaga-lembaga politik

Evaluasi Administratif terdiri atas : Effort evaluation: Mengevaluasi input program Performance evaluation: Mengkaji output dibandingkan dengan input program Effectiveness evaluation: Mengkaji apakah pelaksanaanya sesuai dg sasaran & tujuan Effeciency evaluaiton: Membandingkan biaya dengan output yang dicapai Process evaluation: Mengkaji metode pelaksanaan, aturan dan prosedur dalam pelaksanaan

Evaluasi jika dikaitkan dg tujuan : Evaluasi kecocokan : Apakah kebijakan tb diteruskan dan bagaimana prospek kebijakan Evaluasi efektifitas: Apakah dampaknya sesuai dgn yang diinginkan, serta biaya dan manfaatnya sebanding? Evaluasi efisiensi: Apakah sumber daya yang digunakan efisien dan mampu menc. hasil yang optimal Meta evaluasi: Menguji dan menilai proses evaluasi itu sendiri, apakah telah dilakukan dgn benar, profesional dan obyektif?

Dari sisi kualitas hasilnya : Single program after only Model-model evaluasi Dari sisi kualitas hasilnya : Single program after only Single program before after Comparative program after only Comparative program before after

Bagaimana melakukan evaluasi ? Berbagai hal yg harus diperhatikan sebelum melakukan evaluasi : Mengamati, memahami tujuan evaluasi Mengamati, melilih kriteria Mengamati senitivitas metode memperhatikan efektivitas biaya memperhatikan kendala yg berhub dg anggaran, yakni SDM dan juga data

Kegiatan evaluasi mencakup 3 macam kegiatan : Specification : menyangkut obyek yg dinilai Measurement : memilih tehnik pengukuran yang tepat untuk menilai Analysis : Melakukan analisa informasi yg disajikan

Kriteria yg harus dipenuhi dalam melakukan evaluasi : Relevansi : mampu memberikan informasi yg tepat pada pembuat dan pelaku kebijakan, menjawab scr benar pertanyaan dalam waktu yg tepat Signifikan : mampu memberikan informasi yg baru dan penting melebih yg sudah ada Validitas : mampu memberikan pertimbangan yg persuasif & seimbang tentang hasil nyata kebijakan Reliabilitas : dapat membuktikan bahwa hasilnya diperoleh dengan penelitian yg teliti Obyektif : tidak memihak /bias Tepat waktu Daya guna : bisa dimengerti & dimanfaatkan oleh pelaku dan pembuat kebijakan

Kecenderungan evaluasi saat ini: Sering tidak sungguh-sungguh karena evaluatornya dari Pemerintah Hasil evaluasi tak konklusif, membahas banyak persoalan tetapi tanpa arah yang jelas, shg tak ada rekomendasi yg argumentatif Karena dilakukan secara rutin maka hailnya kurang tajam. Hanya formalitas, membaca data dan memasukkannya dalam form-form tertentu

Evaluasi Implementasi : Evaluasi atas pelaksanaan sebuah program Merupakan evaluasi terhadap proses Menilai tingkat kepatuhan pelaksana atas standard aturan Menggunakan model-model dalam implementasi Biasanya bersifat kualitiatif Melihat dampak jangka pendek dari pelaksanaan kebijakan/ program

Evaluasi Dampak Memberikan perhatian besar pada output & dampak kebijakan Evaluasi dilakukan untuk melihat berbagai hal: Menentukan apakah program telah membawa dampak yang diinginkan terhadap individu, rumah tangga dan lembaga Menilai apakah dampak tersebut berkaitan dengan intervensi program Mengeksplore akibat yg tidak diperkirakan baik positif maupun negatifnya Permasalahan yang disoroti pd bgmn program mempengaruhi peserta program dan apakah perbaikan kondisi peserta program betul- betul disebabkan oleh program ataukah faktor lain Evaluasi dampak bisa dilakukan sebelum diimplementasikan (sering disebut analisis, asessment, estimasi, prediksi atau perkiraan) atau sesudah diimplementasikan

Apa itu Dampak ? Dampak adalah perubahan kondisi fisik maupun sosial sebagai akibat dari output kebijakan Akibat yang dihasilkan oleh suatu intervensi program pada kelompok sasaran ( baik akibat yang diharapkan atau tidak diharapkan), dan akibat tersebut mampu menimbulkan pola perilaku baru pada kelompok sasaran (impact) Akibat yang dihasilkan oleh suatu intervensi program pada kelompok sasaran, baik yg sesuai dg yg diharapkan atau tidak dan akibat tersebut tidak mampu menimbulkan perilaku baru pada kelompok sasaran (effects)

Dampak kebijakan publik dapat berupa (dimensi dampak), Dye: Dampak pada masalah publik (pada kelompok sasaran) yg diharapakan atau tidak Dampak pada kelompok diluar sasaran sering disebut eksternalitas / dampak melimpah(spillover effects) Dampak sekarang dan yg akan datang Dampak biaya langsung dikeluarkan untuk membiayai program dan tak langsung (yg dikeluarkan publik akibat suatu kebijakan.

Hal-hal yg perlu diperhatikan dalam melaks Evaluasi Dampak : Dimensi- dimensi dampak Persoalan yg berkaitan dengan program Unit-unit pendampak Karakteristik evaluasi Memahami Metodologi penelitian evaluasi

Dimensi dampak (Langbein, 1980): 1. Waktu Dimensi ini penting karena : Kebij dpt memberikan dampak sekarang dan yang akan datang Semakiin lama periode waktu semakin sulit mengukur dampak. Ini disebabkan : (a) hub kausalitas semakin kabur, (b)faktor lain yg akan dijelaskan semakin banyak, (c)jika efek thd individu dipelajari terlalu lama maka akan kesulitan menjaga track record individu dalam waktu yg sama Semakin terlambat sebuah evaluasi dilakukan akan semakin sulit mencari data dan menganalisis pengaruh program yg diamati.

Dimensi dampak (lanjutan) 2. Selisih antara dampak aktual dengan yang diharapkan. Evaluator selain memperhatikan efektivitas tujuan perlu pula memperhatikan (a) berbagai dampak yang tak diinginkan, (b) dampak yang hanya sebagian saja dari yg diharapkan dan (c) juga dampak yang bertentangan dari yg diharapkan 3. Tingkat agregasi dampak Dampak juga bersifat agregatif artinya bahwa dampak yg dirasakan secara individual akan dapat merembes pada perubahan di masyarakat secara keseluruhan

Dimensi dampak (lanjutan) 4. Tipe dampak Ada 4 tipe utama dampak program : Dampak pada kehidupan ekonomi : penghasilan, nilai tambah dsb Dampak pada proses pembuatan kebijakan: apa yg akan dilakukan pada kebijakan berikutnya Dampak pada sikap publik : dukungan pada pemerintah, pada program dsb Dampak pada kualitas kehidupan individu, kelompok dan masyarakt yg bersifat non ekonomis

Persoalan yg berkaitan dg program: Weiss (1972) menyatakan adanya beberapa persoalan yaitu : Wilayah (scope) program: Nasional, provinsi, lokal dsb Ukuran program : Berapa individu yang dilayani untuk setiap satuan wilayah program Kebaruan program : apakah dampak yang diharapkan merupakan sesuatu yg baru

Unit-unit pendampak : Unit sosial yg dapat terkena dampak kebijakan : Dampak individual : biologis (penyakit, cacat fisik dsb), fisiologis (stress, depresi, cinta, emosi dsb), lingkungan hidup (tergusur, pindah rumah dsb), ekonomis (naik turunnya penghasilan, harga, keuntungan dsb), sosial serta personal Dampak organisasional : langsung (terganggu atau terbantunya penc tujuan organisasi), tak langsung (peningkatan semangat kerja, disiplin) Dampak pada masyarakat Dampak pada lembaga dan sistem sosial

Karakteristik Evaluasi kebijakan : Evaluasi harus empirik tdk spekulatif hipotetik atau asumtif teoritik Tidak bias pada satu alternatif atau dampak tertentu Rasional, harus sistematis dan dapat dipertanggungjawabkan dihadapan pakar Kajian harus dilakukan dari berbagai aspek Handal dan sahih baik dalam analisis, ketersediaan data dan reliabilitas datanya

Respon/ reaksi thd dampak : Skeptis (tak yakin akan apa yg dicapai oleh kebijakan tersebut) Kritis (mempertanyakan dukungandan hambatan pelaksanaannya) Analitis (memberikan sumbangsaran agar pelaksanaan lebih baik) Reaktif konfrontatif. Ini dikelompokkan kedalam beberapa jenis : Apatis (tak mau tahu dan menolak kebijakan. Ini bisa menyebabkan upaya memobilisasi massa dan mengarah pada perilaku anarkhis Melakukan lobbidan membentuk opini publik melalui media massa untuk menyalurkan responnya Demonstrasi dan propaganda Melakuakn tindakan politik yang kasar spt teror, kudeta dsb

Lanjutan 5. Adaptif kopromistis, dapat berupa Perilaku meneliti scr kritis Merubah pola perilaku Melakukan kegiatan baru Meminta pelayanan baru melakukan penyesuaian psikologis

Faktor penyebab kebijakan tak memperoleh dampak yg diinginkan: Sumber daya tak memadai Cara implementasi tak tepat Masalah publik sering disebabkan banyak faktor ttp kebijakan yg dibuat hanya mengatasi atu faktor saja Cara menanggapi kebijakan yang justru dapat emngurangi dampak yg diinginkan Tujuan-tujuan kebijakan tak sebanding bahkan bertentangan satu sama lain Biaya yng dikeluarkan jauh lebih besar dari masalahnya Banyak masalah publik yng tak mungkin dapat diselesaikan Timbulnya maslaah baru shg mendorong pengalihan perhatian dan tindakan Sifat dari masalah yang akan dipecahkan (anderson, 1996)

Masalah yang timbul dalam evaluasi (anderson) Ketidakpastian dan ketidakjelasan tujuan kebijakan Menguji kausalitas bahwa dampak memang disebabkan oleh kebijakan tsb Dampak kebijakan biasanya menyebar diluar sasaran kebijakan Kesulitan dalam memperoleh data Resistensi pejabat Evaluasi cenderung kurang melihat dampak (kurang valid)

Untuk melakukan evaluasi kebijakan agar sistematis maka diperlukan studi evaluasi atau penelitian evaluasi