MONITORING DAN EVALUASI PENDIDIKAN KESEHATAN MASYARAKAT OLEH SITI MASFIAH, SKM, M.KES, M.A STAF PENGAJAR UNIVERSITAS JENDERAL SOEDIRMAN 2013

OUTLINE PENGERTIAN MONITORING DAN EVALUASI KOMPONEN MONITORING DAN EVALUASI PROSES MONITORING DAN EVALUASI INDIKATOR DALAM MONITORING EVALUASI DESAIN RISET DALAM MONITORING DAN EVALUASI MODEL MONITORING DAN EVALUASI METODE MONITORING DAN INTERVENSI APLIKASI MONITORING DAN EVALUASI DALAM PROGRAM PENDIDIKAN KESEHATAN MASYARAKAT

PENGERTIAN MONITORING DAN EVALUASI Monitoring is the routine tracking of key elements of a program or project and its intended outcomes. It usually includes information from record keeping and surveys – both population and client-based. Evaluation is a rigorous, scientifically-based collection of information about program activities, characteristics, and outcomes that determine the merit or worth of a specific program. Evaluation studies are used to improve programs and inform decisions about future resources allocations. (WHO, 2012)

PERBEDAAN MONITORING DAN EVALUASI Aspek Monitoring Evaluasi Tujuan Melihat kemajuan dalam pelaksanaan program yang sedang berjalan Memberikan gambaran pada suatu waktu tertentu megenai suatu program Fokus Akuntabilitas penyampain input program Dasar untuk aksi perbaikan Penilaian keberlanjutan program Akuntabilitas penggunaan sumber daya Pembelajaran tentang hal-hal yang dapat dilakukan lebih baik dimasa yang akan datang Cakupan Apakah pelaksanaan sesuai dengan rencana? Apakah terdapat penyimpangan? Apakah penyimpangan dapat dibenarkan? Relevansi Keberhasilan Efektifitas biaya Pembelajaran Waktu Pelaksanaan Dilaksanakan terus menerus atau secara berkala selama pelaksanaan program Umumnya dilaksanakan pada pertengahan atau akhir program

Mengapa Perlu Monev Review perkembangan/progress Identifikasi masalah dalam perencanaan dan/atau implementasi Membantu mengidentifikasi masalah dan penyebabnya Memberikan berbagai kemungkinan solusi dalam menyelesaikan masalah Mencerminkan tujuan yang akan dicapai dan bagaimana mencapainya Meningkatkan kemungkinan dalam membuat perubahan yang positif

FOKUS MONITOR DAN EVALUASI Efisiensi  Pemanfaatan input sesuai dengan output yang dihasilkan Efektifitas  apakah suatu kegiatan telah mencapai tujuan yang ditetapkan Impact  apakah yang telah dilakukan memberikan perbedaan terhadap masalah yang ingin diselesaikan.

KOMPONEN EVALUASI Evaluasi Proses Evaluasi Outcome Evaluasi Impact INPUT PROSES OUTPUT OUTCOME IMPACT

EVALUASI PROSES Mengevaluasi proses pelaksanaan program. Beberapa hal yang diukur : Apakah program sampai pada sasaran yg telah ditentukan? Apa persepsi partisipan terhadap program Apakah program berjalan sesuai dengan yang direncanakan Bagaimana kualitas pelaksanaan program?

Evaluasi Outcome Mengukur hasil dari program yang telah dilakukan. Ini dapat berupa hasil langsung, jangka pendek (Direct effect, intermediate effect). Contoh : Langsung : mengukur jumlah sasaran yang mendapat edukasi dan informasi. Jangka pendek : pelaksanaan service yang sesuai prosedur, perubahan perilaku.

Impact Evaluation Mengukur perbedaan ketika dilaksanakan program dan ketika tidak dilaksanakan program. Mengukur efek jangka panjang (long term effect) Menjawab seberapa besar perubahan yang pada populasi terjadi karena pelaksanaan program. Desain penelitian yang teliti dan lebih kompleks diperlukan dalam evaluasi ini.

INDIKATOR DALAM MONITORING EVALUASI Indikator : variabel yang mengindikasi/memberi petunjuk tentang suatu keadaan tertentu, sehingga dapat digunkan untuk mengukur perubahan (Green, 1992). Core Indicator : Indikator yang disarankan untuk dipakai secara national. Indikator dapat berupa kualitatif indikator maupun kuantitatif indikator.

INDIKATOR DALAM MONITORING EVALUASI

Illustrative program monitoring indicators Number of outreach events carried out (e.g. workshops conducted, support group meetings held, drama or street theatre shows ) Number of products distributed (e.g. condoms, lubricant) Number of stakeholders participating in activities Number of staff trained (e.g. in outreach, in counselling for serodiscordant couples, STI treatment) Number of information contacts (e.g. calls to a hotline, hits on a website, pamphlets distributed) Number of services provided (e.g. HIV tests conducted, methadone doses provided) Number of project sites (e.g. STI clinics, drug treatment centres, drop-in centres) Number of clients contacted (e.g. through outreach, at drop-in centres, etc.) Number of clients receiving services (e.g. IDUs in drug treatment, FSWs screened for STIs) Number of clients referred to services (e.g. HIV counselling and testing, HIV treatment services, psycho-social support services)

Basic Program Reporting Considerations Key characteristics of individual clients reached by program activities (sex, age, target population group, location, etc) Types of services delivered Frequency of services delivered (each visit) Materials distributed (i.e., brochures, condoms, drugs, or bandages) Who delivered services Training log for staff (topics/curricula, dates, etc.) Supervision / quality assurance visits for oversight monitoring (checklists) Needs assessment (diagnostic) of client; reassess client needs over time Financial tracking & expenditures

PROSES MONITORING DAN EVALUASI What Yakni apa yang akan dimonitor dan dievaluasi How Yakni metode dan instrumen yang akan digunakan dalam mengumpulkan insformasi dan membangun indikator Who Yakni pihak yang akan melakukan kegiatan monitoring dan evaluasi, baik itu internal maupun eksternal, institusi yang akan dilibatkan, dan sebagainya

PROSES MONITORING DAN EVALUASI Menetapkan apa yang akan dievaluasi/monitor Identifikasi program/kegiatan/objek yang akan dievaluasi Jelaskan uraian program/kegiatan/objek evaluasi Tentukan fokus yang menjadi perhatian s.d informasinya Menyusun rencana evaluasi Menyusun pertanyaan evaluasi Menetapkan informasi yang diperlukan Menentukan kreiteria evaluasi Menentukan bagaimana, dimana, kapan, dari siapa informasi didapat Mengidentifikasi hambatan pelaksanaan evaluasi

PROSES MONITORING DAN EVALUASI Pengumpulan data Identifikasi infrmasi Instrumen Pilot test untuk menguji informasi Analisis dan presentasi data Metode analisis dan presentasi data Kesimpulan Pengambilan keputusan Pilihan rekomendasi Pertanyaan-pertanyaan tersebut adalah (Ojha, 1998):

SUMBER DATA Laporan program Survey masyarakat/populasi, Survey fasilitas sero-survey Penelitian terkait

Tipe Evaluator Evaluator Internal Evaluator Eksternal Menyatu dengan obyek yang dievaluasi Evaluator Eksternal Punya kredibilitas yang lebih tinggi dan keahlian yang lebih spesifik Tidak terikat dengan keputusan2 administratif dan keuangan Evaluator Partisipatif Wakil dari pemerintah dan stakeholder (termasuk penerima manfaat) bekerjasama dalam merancang dan melaksanakan evaluasi. Metode partisipatif memungkinkan digunakan dalam evaluasi internal dan eksternal.

Evaluasi Internal dan Eksternal Evaluator Kelebihan Kekurangan Evaluator internal Evaluator cukup mengenal dengan lingkungan yang dievaluasi Beberapa responden lebih mudah digali informasinya oleh orang dalam daripada orang luar Biaya lebih rendah dibanding eksternal Objektifitas tim evaluasi thd hasil evaluasi mungkin dapat dipengaruhi berbagai kepentingan Tim evaluasi mungkin kurang terlatih atau memiliki kemampuan dalam bidang evaluasi Evaluator Eksternal Evaluasi dapat lebih objektif Evaluator memiliki kemampuan dan ketrampilan lebih dalam bidang evaluasi Beberapa responden lebih mudah digali informasinya oleh orang luar Menggunakan evaluasi eksternal dapat memberikan kredibilitas lebih terhadap hasil temuan Evaluasi ekstenal dapat memakan biaya yang besar. Evaluator eksternal mungkin salah mengerti keinginan kita terhadap apa yang ingin dievaluasi

Kode Etik Pendidikan Kesehatan respect for human dignity and rights respect for individual and family independence client full consent confidentiality nondiscrimination or stigmatization equity in access, coverage and service delivery respect for cultural values and cultural diversity refraining from conflict of interest, particularly commercial interest integrity and good personal conduct. (WHO, 2012)

DESAIN RISET DALAM M&E Experimental Quasi-Experimental Survei Etnographic Historikal Deskriptif Study Case Studi Korelasi Action Research (participatory Monitoring and evaluation) Isaac, S., Michael, W., 1981, Chapman & Hall, 1991)

Experimental Experimental method is the design which gives the evaluator the greatest degree of control over outside influences. Metode experimental yang sederhana menggunakan 1 group intervensi (experimen) dan 1 group yang tidak di berikan intervensi. Penentuan group dilakukan/dipilih secara acak/random.

Contoh M&E PKM dengan Experimental Evaluasi efektifitas pendidikan kesehatan berbasis sekolah untuk peningkatan aktivitas olah raga siswa (USA) Sekolah dipilih secara acak untuk menjadi kelompok intervensi dan kelompok yang tidak mendapat intervensi (control). Group Experiment Post test treatment New fitness and health program Amount of exercise taken Control Usual PE dan sport lesson only

Quasi-Experimental Eksperimen yang dilakukan tanpa randomisasi, tetapi menggunakan kelompok kontrol Non Randomized Pretest-Posttest Control Group Design Desain ekperimen yang dilakukan dengan pretes dan post test, dan mempunyai kelompok kontrol dan eksperimen yang ditentukan dengan cara non random Non R O1 X O2 Non R O3 O4

Contoh M&E PKM Quasi-Experimental Monitoring dan Evaluasi Implementasi Program COMBI ( Communication for Behavioral Impact) dalam pencegahan kasus Flu burung di Jawa Tengah

COMBI Gambaran Program : COMBI : didanai oleh WHO, Kemenkes, FAO Tujuan umum : menurunkan angka kematian dan kesakitan akibat flu burung di jawa tengah Tujuan khusus: Setiap orang yang memiliki demam / sakit tenggorokan / gejala mirip flu harus pergi pelayanan kesehatan dalam waktu 24 jam Setiap unggas yang mati mendadak harus dilaporkan ke pihak terkait

COMBI 5 Strategi COMBI: advokasi sosial Mobilisasi sosial / masyarakat Iklan dan promosi masiv (radio spot, koran, majalah) Personal selling (komunikasi interpersonal); school ambassador Membangun pusat pelayanan promosi kesehatan

Evaluasi dan Metode yang digunakan Evaluasi Proses Kuantitatif : Media Tracking Survey, Card Clinic Survey Kualitatif : FGD, wawancara mendalam Evaluasi impact Baseline and Enline Study dengan Non Randomized Pretest-Posttest Control Group Design. District reported avian Influenza cases in Human and poultry (1 district) District reported avian Influenza cases only in Human (1 district) District reported avian Influenza cases only in poultry ( 1 district) District with no cases of avian influenza both in human and poultry (1 district) Intervensi : kabupaten di jawa tengah, kontrol kabupaten di yogjakarta

Indikator yang digunakan

Indikator yang digunakan

Indikator yang digunakan

Action Research (participatory Monitoring and evaluation) UDWDP Monitoring Project (Uttraranchal Decentralizad Watersheed Development Project)

METODE MONITORING DAN INTERVENSI Wawancara Wawancara mendalam Focus Group Discussion Observasi Angket Telaah data (Desk Review)

M & E dalam Pendidikan Kesehatan Masyarakat Monitoring dan evaluasi EHCP (Essensial Health Care Program)

TUGAS Analisis Pendidikan Kesehatan Masyarakat pada Program Penanggulangan Penyakit di Indonesia Penyakit : Penyakit Menular & Penyakit Tidak Menular

Susunan Perkembangan Penyakit X di Indonesia Pendahuluan Perkembangan Penyakit X di Indonesia Sejarah Penaggulangan Penyakit X di Indonesia Pendidikan Kesehatan Masyarakat pada Program Penanggulangan Penyakit X di Indonesia

Susunan Evaluasi PKM (Y) pada Program Penanggulangan Penyakit X di Indonesia Evaluasi Proses Evaluasi Outcome Evaluasi Impact Kesimpulan Lakukan Analisis dengan melihat tujuan program, indikator keberhasilan dan asumsi-asumsinya Posisikan penulis sebagai evaluator external

Presentasi Waktu presentasi : 20 menit (Presentasi dan tanya jawab) Jadwal Presentasi : Minggu 13 penyakit menular, minggu 14 penyakit non menular Paper dikumpulkan h-2 presentasi

TERIMAKASIH