3. Aspek aspek evaluasi formatif Aspek2 kinerja implementasi yang dievaluasi dalam evaluasi formatif, antara lain sbbb: a. Effort evaluation, yaitu mengevaluasi kecukupan input program, b. Performance evaluation, yaitu mengkaji output dibandingkan dengan input program, c. Effectiveness evaluation, yaitu mengkaji pelaksanaanya sesuai dengan sasaran dan tujuan, d. Effenciency evaluation, yaitu membandingkan biaya dengan output yg dicapai, e. Process evaluation, yaitu mengkaji metode pelaksanaan, aturan dan prosedur dalam pelaksanaan.

d. Evaluasi sumatif/evaluasi dampak 1. Pengertian Dampak; dampak adalah perubahan kondisi fisik ataupun sosial sebagai akibat dari output kebijakan. Akibat yg dihasilkan oleh suatu intervensi program pada kelompok sasaran (baik akibat yg diharapkan maupun tidak diharapkan), dan sejauh mana akibat tersebut mampu menimbulkan pola perilaku baru pada kelompok sasaran (impact).

2. Tujuan evaluasi sumatif/dampak Evaluasi sumatif umumnya dilakukan untuk memperoleh informasi yg berkaitan dengan efektifitas sebuah kebijakan/program terhadap permasalahan yg diintervensi. Evaluasi ini bertujuan untuk: a. Menilai bahwa program telah membawa dampak yg diinginkan terhadap individu, rumah tangga, dan lembaga, b. Menilai bahwa dampak tersebut berkaitan dengan intervensi program, c. Mengeksplorasi adanya akibat yg tidak diperkirakan, baik yg positif maupun yg negatif, d. Mengkaji cara program memengaruhi kelompok sasaran, dan perbaikan kondisi kelompok sasaran disebabkan oleh adanya program ataukah karena faktor lain.

3. Dimensi dampak Dimensi dampak yg dikaji dalam evaluasi kebijakan ini, meliputi; a, dampak pada masalah publik (pada kelompok sasaran) yg diharapkan atau tidak, b, dampak pada kelompok di luar sasaran yg disebut eksternalitas/dampak melimpah (spillover effects), c. Dampak sekarang dan dampak yg akan datang, d. Dampak biaya langsung yg dikeluarkan untuk membiayai program dan dampak biaya tidak langsung yg dikeluarkan publik akibat suatu kebijakan (misalnya, dampak terhadap pengeluaran rumah tangga akibat relokasi pemukiman yg menybabkan jarak ke sekolah/tempat kerja semakin jauh).

Aprraisal Dimensi dampak Langbein (1980) dalam memperkirakan dampak perlu memperhitungkan dimensi2 berikut ini: a. Waktu; dimensi waktu penting diperhitungkan karena kebijakan dapat memberikan dampak yg panjang, baik sekarang maupun pada masa yg akan datang. Semakin lama periode evaluasi waktu, semakin sulit mengukur dampak, sebab. 1, hubungan kausalitas antara program dan kebijakan semakin kabur, 2. Pengaruh faktor lain yg harus dijelaskan juga semakin banyak, jika effect terhadap individu dipelajari terlalu lama, akan sulit menjaga track record individu dalam waktu yg sama, 3. semakin terlambat sebuah evaluasi dilakukan, akan semakin sulit mencari data dan menganalisis pengaruh program yg diamati

b. Selisih Antara Dampak Aktual dan Yg Diharapkan; selain memperhatikan efektifitas pencapaian tujuan, seorang evaluator harus pula memperhatikan dampak yg tidak diinginkan, dampak yang hanya sebagian dari yg diharapkan, dan dampak yg bertentangan dari yg diharapkan. c. Tingkat Agregasi Dampak; dampak juga bersifat agregatif, artinya bahwa dampak yg dirasakan secara individual dapat merembes pada perubahan di masyarakat secara keseluruhan.

d. Tipe Dampak; ada empat tipe utama dampak program; 1 d. Tipe Dampak; ada empat tipe utama dampak program; 1. dampak pada kehidupan ekonomi; penghasilan,nilai tambah, dsb. 2. dampak pada proses pembuatan kebijakan. 3. dampak pada sikap publik; dukungan pada pemerintah, program, dsb. 4. dampak pada kualitas kehidupan individu, kelompok dan masyarakat, yg bersifat non ekonomis. e. Unit-unit Sosial Terdampak, sebuah kebijakan/program dapat membawa dampak pada berbagai unit sosial, antara lain Sbb; 1. dampak individual; biologis (penyakit, cacat fisik karena kebijakan teknologi nuklir misalnya), psikologis (stress, depresi, emosi), lingkungan hidup (tergusur, pindah rumah), ekonomis (naik turunnya penghasilan, harga, keuntungan) sosial serta personal.

2. Dampak organisasional; langsung (terganggu atau terbantunya pencapaian tujuan organisasi), tidak langsung (peningkatan semangat kerja; disiplin). 3. dampak pada masyarakat (meningkatnya kesejahteraan). 4. Dampak pada lembaga dan sistem sosial (meningkatnya kesadaran kolektif masyarakat; menguatnya solidaritas sosial).

f. Faktor-faktor Kegagalan Dampak, sebuah kebijakan dapat gagal memperoleh dampak yg diharapkan meskipun proses implementasi berhasil mewujudkan output sebagaimana yg dituntut oleh program tersebut. Namun gagal mencapai outcomenya, apalagi jika proses implementasi gagal mewujudkan keduanya. Menurut Anderson, hal tsb dapat disebabkan oleh faktor berikut: 1. sumber daya yg tidak memadai. 2. cara implementasi yg tidak tepat (misalnya pilihan2 tindakan2 yg kontra produktif, seperti studi banding atau membeli mobil dinas yg banyak memakan banyak biaya dengan tujuan meningkatkan kualitas layanan).

3. masalah publik sering disebabkan banyak faktor, tetapi kebijakan hanya dibuat mengatasi satu faktor. 4. cara menanggapi kebijakan yg dapat mengurangi dampak yg diinginkan ( misalnya, karena takut dianggap melanggar prosedur, implementers bertindak sesuai textbook walaupun situasinya mungkin berbeda). 5. tujuan2 kebijakan tidak sebanding, bahkan bertentangan satu sama lain (misalnya, kebijakan menumbuhkan industri dalam negeri yg memberikan insentif pajak dan kemudahan modal, disisi lain ada kebijakan kenaikan harga listrik dan kenaikan harga sumber energi.

6. biaya yang dikeluarkan jauh lebih besar dari masalahnya. 7. banyak masalah publik yg tidak dapat diselesaikan. 8. timbulnya masalah baru sehingga mendorong pengalihan perhatian dan tindakan. 9. sifat dari masalah yg akan dipecahkan (Anderson:1996).

e. Studi evaluasi kebijakan Evaluasi program atau kebijakan tidak dapat dilakukan hanya melalui kajian2 teoritis atau melalui data2 sekunder. Jika hal tersebut dilakukan, penilaian dan rekomendasi yg dihasilkan tidak valid karena hanya berdasarkan perkiraan. Untuk dapat disebut sebagai sebuah studi/kajian, evaluasi kebijakan harus memenuhi hal-hal berikut: 1 KARAKTERISTIK Penelitian Evaluasi – a. Evaluasi harus empiris, tidak spekulatif hipotetik atau asumtif teoritis. b, tidak bias pada satu alternatif atau dampak tertentu, c. Rasional, harus sistematis dan dapat dipertanggungjawabkan di hadapan pakar. d. Kajian harus dilakukan dari berbagai aspek. e. Andal dan sahih (valid), baik dalam analisis, ketersediaan data, maupun reliabilitas datanya.

2. TEKNIS PENELITIAN EVALUASI – penelitian evaluasi kebijakan bukan hal yg dapat dipandang sepele karena dari hasil penelitian tersebut diharapkan ada masukan/umpan balik dan penilaiaan2 yg akurat atas sebuah kinerja kebijakan/program, serta hasilnya dapat dipertanggungjawabkan. Oleh karena itu, Leonard Rutman (1992) memberikan panduan yg perlu diperhatikan. a. Sebelum Pelaksanaan; 1. gunakan prosedur2 ilmiah: a. Mengamati dan memahami tujuan evaluasi. b. Mengamati dan memilih kriteria. c. Mengamati sensitivitas metode.

2. Fokus Pada proses dan outcomes kebijakan/program, bukan hanya pada outcomesnya. 3. jangan batasi dampak hanya pada sasaran2 yg dinyatakan secara formal karena tidak semua sasaran kebijakan dinyatakan secara formal. Konsekuensi yg mungkin terjadi akibat program/kebijakan juga dipertimbangkan. Untuk itu manfaatkan hasil penelitian yg berkaitan, gunakan logika, atau pengalaman atas program serupa. 4. pertimbangkan informasi-informasi yg dibutuhkan oleh pembuat keputusan untuk masa mendatang, bukan hanya kebutuhan saat ini. Bersikaplah sebagai ilmuwan, bukan teknisi evaluasi.

b. PERSIAPAN SEBELUM MENGUJI PROGRAM 1. Definisi Program Secara Jelas – harus dipastikan bahwa label yg diberikan pada sebuah program memiliki makna dan maksud yg sama bagi semua yg terlibat sehingga jelas data yg harus diukur (defenisi konsep harus jelas, sehingga defenisi operasionalnya juga jelas dan dapat direplikasikan). 2. Spesifikasi Sasaran 2.1. sasaran merupakan kriteria keberhasilan program, harus dinyatakan secara spesifik agar dapat diperoleh tolok ukurnya. Tujuan/sasaran kadang2 hanya disebutkan secara umum, jangka panjang, bahkan kontradiksi dan tidak berkaitan dengan aktifitas program.

Lanjutan Jika hal ini terjadi, peneliti bertanggung jawab untuk merumuskannya secara bersama sama dengan perencana program dan manejer program (pendekatan goal – end – oriented) 2.2. Keterbatasan goal - end – oriented – approach: a, mengabaikan sasaran yg tidak dinyatakan secara eksplisit (misalnya keberlangsungan program). b, sulit merumuskan tujuan dari pernyataan tujuan program/kebijakan yg mencerminkan retorika politik, justifikasi bantuan pendanaan, mobilisasi dukungan, dan legitimasi program. c, sasaran selalu bisa berubah sebagai respons atas tuntutan-internal organisasi dan lingkungan, d. Mengabaikan efek samping dari kebijakan.s

3. Keterkaitan Rasional – harus ada keterkaitan rasional antara program yg akan dievaluasi dengan sasaran yg dituju dan dampak yg diharapkan. Ada tidaknya kaitan rasional dapat dapat menentukan bahwa program tersebut yg harus dimodifikasi atau sasaran dan hasil yg harus diubah. 4. Pastikan Kegunaan Evaluasi – studi evaluasi dimaksudkan sebagai akuntabilitas program, serta untuk memberikan informasi yg berkaitan dengan pelaksanaan dan hasil program kepada pembuat keputusan dan manajemen, namun studi evaluasi sering dilakukan dengan maksud2 tertentu, yg disebut Edward Suchman sebagai pseudoevaluations.