MONITORING DAN EVALUASI PENDIDIKAN KESEHATAN MASYARAKAT OLEH SITI MASFIAH, SKM, M.KES, M.A STAF PENGAJAR UNIVERSITAS JENDERAL SOEDIRMAN 2012

OUTLINE PENGERTIAN MONITORING DAN EVALUASI KOMPONEN MONITORING DAN EVALUASI INDIKATOR DALAM MONITORING EVALUASI PROSES MONITORING DAN EVALUASI

PENGERTIAN MONITORING DAN EVALUASI Monitoring is the routine tracking of key elements of a program or project and its intended outcomes. It usually includes information from record keeping and surveys – both population and client-based. Evaluation is a rigorous, scientifically-based collection of information about program activities, characteristics, and outcomes that determine the merit or worth of a specific program. Evaluation studies are used to improve programs and inform decisions about future resources allocations.

Mengapa Perlu Monev Review perkembangan/progress Identifikasi masalah dalam perencanaan dan/atau implementasi Membantu mengidentifikasi masalah dan penyebabnya Memberikan berbagai kemungkinan solusi dalam menyelesaikan masalah Mencerminkan tujuan yang akan dicapai dan bagaimana mencapainya Meningkatkan kemungkinan dalam membuat perubahan yang positif

FOKUS MONITOR DAN EVALUASI Efisiensi  Pemanfaatan input sesuai dengan output yang dihasilkan Efektifitas  apakah suatu kegiatan telah mencapai tujuan yang ditetapkan Impact  apakah yang telah dilakukan memberikan perbedaan terhadap masalah yang ingin diselesaikan.

PERBEDAAN MONITORING DAN EVALUASI Aspek Monitoring Evaluasi Tujuan Menilai kemajuan dalam pelaksanaan program yang sedang berjalan Memberikan gambaran pada suatu waktu tertentu megenai suatu program Fokus Akuntabilitas penyampain input program Dasar untuk aksi perbaikan Penilaian keberlanjutan program Akuntabilitas penggunaan sumber daya Pembelajaran tentang hal-hal yang dapat dilakukan lebih baik dimasa yang akan datang Cakupan Apakah pelaksanaan sesuai dengan rencana? Apakah terdapat penyimpangan? Apakah penyimpangan dapat dibenarkan? Relevansi Keberhasilan Efektifitas biaya Pembelajaran Waktu Pelaksanaan Dilaksanakan terus menerus atau secara berkala selama pelaksanaan program Umumnya dilaksanakan pada pertengahan atau akhir program

KOMPONEN EVALUASI Process Evaluation Outcome Evaluation Impact Evaluation

PROCESS EVALUATION Mengevaluasi proses pelaksanaan program. Beberapa hal yang diukur : Apakah program sampai pada sasaran yg telah ditentukan? Apa persepsi partisipan terhadap program Apakah program berjalan sesuai dengan yang direncanakan Bagaimana kualitas pelaksanaan program?

Outcome evaluation Mengukur hasil dari program yang telah dilakukan. Ini dapat berupa hasil langsung, jangka pendek (Direct effect, intermediate effect). Contoh : Langsung : mengukur jumlah sasaran yang mendapat edukasi dan informasi. Jangka pendek : pelaksanaan service yang sesuai prosedur, perubahan perilaku.

Impact Evaluation Mengukur perbedaan ketika dilaksanakan program dan ketika tidak dilaksanakan program. Mengukur efek jangka panjang (long term effect) Menjawab seberapa besar perubahan yang pada populasi terjadi karena pelaksanaan program. Desain penelitian yang teliti dan lebih kompleks diperlukan dalam evaluasi ini.

Tipe Evaluator Evaluator Internal Evaluator Eksternal Menyatu dengan obyek yang dievaluasi Evaluator Eksternal Punya kredibilitas yang lebih tinggi dan keahlian yang lebih spesifik Tidak terikat dengan keputusan2 administratif dan keuangan Evaluator Partisipatif Wakil dari pemerintah dan stakeholder (termasuk penerima manfaat) bekerjasama dalam merancang dan melaksanakan evaluasi. Metode partisipatif memungkinkan digunakan dalam evaluasi internal dan eksternal.

Evaluasi Internal dan Eksternal Evaluator Kelebihan Kekurangan Evaluator internal Evaluator cukup mengenal dengan lingkungan yang dievaluasi Beberapa responden lebih mudah digali informasinya oleh orang dalam daripada orang luar Biaya lebih rendah dibanding eksternal Objektifitas tim evaluasi thd hasil evaluasi mungkin dapat dipengaruhi berbagai kepentingan Tim evaluasi mungkin kurang terlatih atau memiliki kemampuan dalam bidang evaluasi Evaluator Eksternal Evaluasi dapat lebih objektif Evaluator memiliki kemampuan dan ketrampilan lebih dalam bidang evaluasi Beberapa responden lebih mudah digali informasinya oleh orang luar Menggunakan evaluasi eksternal dapat memberikan kredibilitas lebih terhadap hasil temuan Evaluasi ekstenal dapat memakan biaya yang besar. Evaluator eksternal mungkin salah mengerti keinginan kita terhadap apa yang ingin dievaluasi

INDIKATOR DALAM MONITORING EVALUASI Indikator : variabel yang mengindikasi/memberi petunjuk tentang suatu keadaan tertentu, sehingga dapat digunkan untuk mengukur perubahan (Green, 1992). Core Indicator : Indikator yang disarankan untuk dipakai secara national. Indikator dapat berupa kualitatif indikator maupun kuantitatif indikator.

Illustrative program monitoring indicators Number of outreach events carried out (e.g. workshops conducted, support group meetings held, drama or street theatre shows ) Number of products distributed (e.g. condoms, lubricant) Number of stakeholders participating in activities Number of staff trained (e.g. in outreach, in counselling for serodiscordant couples, STI treatment) Number of information contacts (e.g. calls to a hotline, hits on a website, pamphlets distributed) Number of services provided (e.g. HIV tests conducted, methadone doses provided) Number of project sites (e.g. STI clinics, drug treatment centres, drop-in centres) Number of clients contacted (e.g. through outreach, at drop-in centres, etc.) Number of clients receiving services (e.g. IDUs in drug treatment, FSWs screened for STIs) Number of clients referred to services (e.g. HIV counselling and testing, HIV treatment services, psycho-social support services)

Basic Program Reporting Considerations Key characteristics of individual clients reached by program activities (sex, age, target population group, location, etc) Types of services delivered Frequency of services delivered (each visit) Materials distributed (i.e., brochures, condoms, drugs, or bandages) Who delivered services Training log for staff (topics/curricula, dates, etc.) Supervision / quality assurance visits for oversight monitoring (checklists) Needs assessment (diagnostic) of client; reassess client needs over time Financial tracking & expenditures

PROSES MONITORING DAN EVALUASI What Yakni apa yang akan dimonitor dan dievaluasi How Yakni metode dan instrumen yang akan digunakan dalam mengumpulkan insformasi dan membangun indikator Who Yakni pihak yang akan melakukan kegiatan monitoring dan evaluasi, baik itu internal maupun eksternal, institusi yang akan dilibatkan, dan sebagainya

PROSES MONITORING DAN EVALUASI Menetapkan apa yang akan dievaluasi/monitor Identifikasi program/kegiatan/objek yang akan dievaluasi Jelaskan uraian program/kegiatan/objek evaluasi Tentukan fokus yang menjadi perhatian s.d informasinya Menyusun rencana evaluasi Menyusun pertanyaan evaluasi Menetapkan informasi yang diperlukan Menentukan kreiteria evaluasi Menentukan bagaimana, dimana, kapan, dari siapa informasi didapat Mengidentifikasi hambatan pelaksanaan evaluasi

PROSES MONITORING DAN EVALUASI Pengumpulan data Identifikasi infrmasi Instrumen Pilot test untuk menguji informasi Analisis dan presentasi data Metode analisis dan presentasi data Kesimpulan Pengambilan keputusan Pilihan rekomendasi Pertanyaan-pertanyaan tersebut adalah (Ojha, 1998):

SUMBER DATA Laporan program Survey masyarakat/populasi, Survey fasilitas sero-survey Penelitian terkait

Contoh Pelaksanaan Monitoring dan evaluasi COMBI (COMMUNICATION FOR BEHAVIORAL IMPACT) – FLU BURUNG JAWA TENGAH Paticipatory monitoring and evaluation Monitoring in EHCP

TERIMAKASIH