Perubahan yang Paling Signifikan (Most Significant Change Approach) Pemantauan dan evaluasi partisipatif dengan pendekatan cerita Disusun untuk ACCESS oleh Paul Boon dari presentasi Rick Davies dan Jess Dart Mei 2005

MSC: apakah itu? Bentuk kualitatif, M&E partisipatif Berdasarkan pada ‘cerita’ dari perubahan yang signifikan Penggunaan indikator (perencanaan) yang terbatas Bukan merupakan pendekatan yang berdiri sendiri, tetapi sebuah tambahan penting pada sebuah Kerangka Kerja M&E

MSC didalam siklus proyek MSC sebagai monitoring dan evaluasi Monitoring adalah dilakukan terus-menerus dan cenderung terfokus pada kegiatan dan output Evaluasi umumnya kurang rutin dan terfokus pada dampak Oleh karena itu MSC adalah pemantauan dampak – sebenarnya bentuk campuran dari M & E

Maksud dari MSC didalam M&E Maksud utamanya adalah untuk memfasilitasi perbaikan dengan cara: Memfokuskan arah kerja ke tujuan secara tegas, sebagai contoh, apa yang benar-benar ingin kita capai dan bagaimana kita akan menghasilkan lebih dari itu? Menyumbang terhadap evaluasi akhir: Informasi tentang hasil yang tidak diharapkan Informasi prestasi mengenai cerita sukses yang terbaik Dapat memberitahu kriteria yang digunakan untuk menilai proyek

MSC vs pemantauan kuantitatif Terfokus pada pengukuran Pertanyaan tertutup Tentang ‘pembuktian’ Deduktif Statis Pemindahan tujuan dapat menjadi sebuah masalah Proyek keluar MSC Terfokus pada soal-jawab Pertanyaan terbuka Tentang pembelajaran Induktif Dinamis Terfokus pada perubahan yang obyektif Konteks masuk

Program out Context in change change Evaluasi Program berdasar pada Tujuan change change Perluasan terhadap tujuan yang telah dicapai From the viewpoint of the Participants Dari sudut pandang staf program + konsultasi bersama para stakeholder change change change

MSC: Mengapa muncul? Banyaknya program pengembangan pedesaan terpadu: Berurusan dengan ribuan orang, di berbagai lokasi Terfokus/Meletakkan tekanan pada keterlibatan , partisipasi dan kontrol orang. Masalah: Bagaimana cara meringkas dan melaporkan perkembangan? Ketika terdapat keberagaman kegiatan, tidak semua diketahui sebelumnya, belum lagi hasilnya Perlu untuk menghargai penilaian orang mengenai apa yang penting bagi mereka

4. Disini indikator tidak dapat digunakan Indikator dan batasan Empat jenis hasil yang mungkin terjadi : : Yang diharapkan Yang tidak diharapkan Sepertinya indikator tidak mungkin dikembangkan disini Hasil memiliki arti yang disetujui Disini indikator berguna 2. Hasil memiliki arti yang masih diperdebatkan 3. Disini indikator bisa mungkin dikembangkan 4. Disini indikator tidak dapat digunakan

Perubahan yang Paling Signifikan

Mengapa cerita? Orang menyampaikan cerita secara alami Cerita dapat menguraikan kerumitan dan konteks Orang ingat dengan cerita Cerita dapat membawa pesan yang sulit/ hal-hal yang tidak/sulit dapat didiskusikan Tetapi cerita tidak diketahui akurasi/ kebenarannya

Menggunakan cerita didalam MSC Pengumpulan cerita + penafsiran bersama secara sistematis = penyampaian cerita dapat secara efektif dipakai/dirancang untuk pemantaunan dan evaluasi yang partisipatif Prosesnya memiliki hasil yang bermanfaat bagi penggunaan evaluasi

Mendistribusikan cerita kepada para Stakeholders Arus cerita Mendistribusikan cerita kepada para Stakeholders Pertemuan pemilihan Daerah 1 Daerah 2 Daerah 3 Daerah 4 orang yang bercerita orang yang bercerita orang yang bercerita

Inti dari MSC Sebuah pertanyaan: “Menurut pendapat anda, perubahan apakah yang paling signifikan yang terjadi dalam ….selama … bulan” [jelaskan perubahan tersebut dan jelaskan mengapa perubahan tersebut signifikan] Pengulangan pernyataan mengenai pertanyaan sejenis “Yang manakah dari cerita SC yang anda kira paling signifikan dibanding lainnya?”

Bagaimana MSC berbeda? Para peserta memiliki pilihan mengenai informasi jenis apa yang diambil Menggunakan data yang bermacam-macam daripada data standar Informasi dianalisa oleh seluruh para peserta, tidak hanya oleh sebuah unit pusat/pihak luar/…. Subyektifitas digunakan daripada dihindari

MSC: prosesnya Menetapkan Topik Perubahan (Menentukan perubahan yang seperti apa yang ingin dimonitor) Menetapkan masa pelaporan Mengumpulkan cerita SC Pemilihan cerita SC yang terkumpul Tanggapan balik terhadap pilihan yang telah dibuat Verifikasi Quantifikasi Meta-monitoring dan analisa sekunder Merevisi sistem MSC Red stages are the most important Black stages are more optional, But we think they can be very useful as well

Tahap 1. Menetapkan “cakupan topik” Apakah cakupan topik itu? Kategori keluasan cerita (seperti bagian koran: olah raga, keuangan, kesenangan, bisnis, dsb) Bukan indikator –Tidak dengan tepat ditetapkan Contoh: “perubahan didalam kehidupan orang” “perubahan didalam hubungan dengan mitra kita” “perubahan didalam kebijakan pemerintah mengenai HIV/AIDS

Step 1. Menetapkan Cakupan Topik (ctd) Berapa jumlah cakupan topiknya? – kurang dari 5 Apakah penentuan cakupan topik wajib? – Tidak Cakupan topik seharusnya tentang apa? – Tergantung Siapa yang seharusnya menyusun cakupan topik? - Tergantung

Cakupan Topik- Contoh Oxfam NZ: Dana hibah upaya peningkatan pendapatan kepada 99 LSM-PNG: 4 lingkup ‘cakupan topik’ perubahan yang dimonitor: Perubahan dalam kehidupan perorangan Perubahan di tingkat masyarakat Jenis perubahan lainnya Hal-hal yang dipelajari/Pembelajaran Program Penyuluhan Perusahaan Susu : 4 ‘cakupan topik’ yang dimonitor: Perubahan didalam praktek di peternakan Perubahan terkait keahlian peternak dalam pembuatan keputusan Perubahan didalam kemampuan untuk mendapatkan keuntungan Lainnya: Perubahan didalam partisipasi orang, didalam dinamika kekuatan, .. Perubahan didalam keberlanjutan organisasi masyarakat

Menetapkan cakupan topik… Tidak penting tetapi: dapat membantu struktur proses pemilihan dapat membantu terfokus pada tujuan mereka berguna dalam memberitahu kita tentang apakah arti tujuan bagi para peserta Apabila cakupan topik dibiarkan terbuka, pilihan dari para peserta akan memberikan indikasi kepada kita tentang jenis perubahan yang mereka anggap penting = Cakupan topik jendela terbuka Jangan lupa: Cakupan topik terkait perubahan negatif

Tahap 2. Menetapkan masa pelaporan Masa yang digunakan oleh LSM bermacam-macam dari 2-mingguan, hingga bulanan, hingga 3-bulanan dan tahunan. Yang paling umum adalah tiga bulanan Keterbatasan waktunya staf merupakan pembatas utama untuk menentukan frekwensi

Tahap 3 – Mengumpulkan cerita Pertanyaan terbuka kepada para peserta “Menurut pendapat anda, perubahan apakah yang paling signifikan yang terjadi di …selama … bulan?” Bila secara khusus terkait dengan sebuah proyek, kita tambahkan: “ …. sebagai sebuah hasil dari proyek?” “ …. sebagai sebuah hasil dari pelatihan yang anda terima?” Contoh: Lihat 3 bulan terakhir, perubahan apakah yang anda kira paling signifikan didalam kualitas kehidupan orang didalam masyarakat ini??

Tahap 3 – Mengumpulkan cerita Tanggapan Jawaban peserta dalam 2 bagian: 1. deskriptif 2. bersifat menjelaskan Format dasar: Deskripsi (siapa, apa, dimana, kapan) Penjelasan (mengapa hal itu signifikan) Siapakah yang mendokumentasikan cerita (nama, posisi, lokasi, tanggal) Pilihan: Rekomendasi

Bagaimana cara mengumpulkan cerita? Bagaimana cara mendokumentasikan? Wawancara dan mencatatnya Selama diskusi kelompok Pihak penerima manfaat menuliskan sendiri Staf lapangan menuliskan cerita yang tidak diminta Informasi apa yang disertakan? Siapa, dimana, kapan? Apa yang terjadi? Mengapa signifikan? Cerita siapa yang dikumpulkan? Pihak penerima manfaat Para mitra staf Seberapa panjang cerita itu seharusnya? Bentuk pelaporan; lay-out/susunan; …

Bagaimana cara bersikap disaat wawancara? Persiapkan diri untuk membangun sebuah hubungan sebelum mulai wawancara Mendengar, mendengar, mendengar Berikan waktu dan ruang pada orang sesuai dan secepat kemauan mereka Tunjukkan bahwa anda benar-benar mendengarkan Jaga tubuh anda tetap santai dan terbuka Mencoba untuk menghindari perasaan terpisah dengan adanya sebuah meja Kembali ke hal yang telah anda pelajari untuk memastikan kebenarannya Berterimakasih pada orang yang terlibat

Tahap 4. Memilih cerita SC Banyak kemungkinannya tetapi pada umumnya melibatkan: Membaca ceritanya Menuju pada keputusan bersama mengenai hal cerita mana yang dipilih Mengadakan sebuah percakapan mendalam & mendokumentasikan alasan-alasan untuk pilihan Proses dapat difasilitasi atau tidak difasilitasi

Tahap 4. Memilih cerita SC… Tugas bagi pembaca/pemilih adalah untuk membaca seluruh cerita dan mengidentifikasi cerita yang paling signifikan dari seluruh cerita SC yang diajukan. “Menurut pendapat anda, cerita manakah yang menunjukkan perubahan yang paling signifikan” Lebih baik fokus pada satu cakupan topik dahulu Perlu untuk memutuskan siapa yang terlibat: pemberi cerita, atasan mereka, kawan mereka,.. Perlu untuk diputuskan apakah menentukan kriteria pemilihan sebelumnya, ataukah membiarkannya muncul melalui diskusi cerita SC

Tahap 4. Memilih cerita SC In large organisations a hierarchy of selection processes is usually needed Need to decide how many levels Who participates at each level: story providers, their superiors, their peers,..

Tahap 4 – Pemilihan dilakukan oleh siapa? Cerita direview dan dipilih oleh? Pemberi cerita/ para peserta Staf (setiap bulan atau 3-bulan) Perwakilan daerah (3 atau 6 bulan): review cerita dari staf yang berbeda Staf nasional atau Dewan Pengurus (6 bulan – tahunan): review dari cerita terpilih

Memilih cerita - proses Voting tertutup (berikan nomor pada cerita, selanjutnya dituliskan pada selembar kertas cerita manakah yang menurut anda merupakan cerita MSC) Diskusi yang difasilitasi: lihat pada semua pilihan dan melalui diskusi menuju ke sebuah keputusan mengenai 1 cerita Penilaian (Catatan: Metodologi apapun yang digunakan didalam memilih sebuah cerita, pastikan bahwa semua orang menuliskan alasan terhadap pilihan mereka sehingga nantinya dapat digunakan dan membantu transparansi dari proses).

Memilih cerita SC… Harus (bukan merupakan pilihan) Dokumen SC mana yang dipilih Mengapa dipilih Proses yang digunakan untuk melakukan pemilihan Para peserta Pilihan mereka [Subyektifitas menjadi akuntabel melalui transparansi]

Tahap 5. Tanggapan balik Memberi tanggapan balik adalah bagian dari proses: kepada pihak pemberi cerita SC, mengenai apa yang dipilih, mengapa dipilih dan proses pemilihan yang digunakan memungkinkan perluasan fokus dari MSC dilain waktu faktor yang bersifat motivasi titik terlemah dari seluruh sistem M&E, termasuk MSC

Tanggapan balik: bagaimana? Cara yang berbeda untuk memberikan tanggapan balik Melalui staf lainnya, line-manajer, dsb Tanggapan balik melalui email Tanggapan balik secara lisan Laporan berkala Laporan resmi

Tahap 6. Verifikasi cerita SC 2 cara untuk memilih cerita guna di-verifikasi Acak Memverifikasi cerita perubahan yang paling signifikan Aspek verifikasi Seberapa akurat faktanya? Seberapa cocok penafsirannya? Apa yang terjadi sejak itu?

Tahap 6. Verifikasi cerita SC Mengapa? Mendorong adanya disiplin didalam pelaporan Memungkinkan adanya perluasan dan pembelajaran lebih lanjut Kapan? Kapan cerita SC pertama kali memasuki sistem Kapan dipilih sebagai MS dari keseluruhan SC Kapan cerita SC digunakan secara umum/terbuka

Tahap 7. Kuantifikasi Didalam cerita SC Jumlah orang, kegiatan, dsb yang terlibat Sebagai tindak-lanjut dari cerita SC Berapa banyak kasus lainnya seperti ini diketahui Didalam meta-monitoring (lihat berikutnya) Berapa banyak cerita SC yang seperti ini

Tahap 8. Meta-monitoring & analisa sekunder Meta-monitoring: menjaga cerita SC tetap terdata (membuat database atau spreadsheet) dan mengorganisir data– termasuk diantaranya: Gender/dari orang yang bercerita Hasil dari proses pemilihan Frekwensi cerita Tema utama dari cerita SC Perubahan didalam jumlah cerita Perubahan didalam prosentase dari cerita yang negatif Analisa sekunder diakhir masa pelaporan mungkin diperlukan (fakultatif) dengan cara mengkategorisasikan dan menghitung jenis perubahan yang dilaporkan, dan jenis penjelasan yang diberikan, pada tingkat yang berbeda Sebuah contoh cerita dapat diverifikasi oleh seorang evaluator eksternal (bila dirasa perlu)

Kegunaan dari cerita yang dipilih Terkadang lebih dari 100 cerita dikumpulkan dari fasilitator, staf lapangan, dsb. Cerita yang terpilih disertakan didalam laporan perkembangan; disusun didalam sebuah booklet; dimasukkan didalam laporan berkala; dsb. Dan juga sebagai tambahan dari pelaporan, cerita digunakan untuk: Meningkatkan mutu/memperbaiki perencanaan Membantu menjelaskan sebuah maksud kepada seorang petani Merekrut peserta baru Membantu menjelaskan sebuah maksud kepada anggota staf lainnya PR ….

Tahap 9. Merevisi Sistem MSC Diperlukan merubah frekwensi pelaporan? Diperlukan merubah definisi dari cakupan wilayah untuk digunakan? Perlunya untuk merubah orang yang terlibat didalam pemilihan cerita SC kedalam cakupan wilayah Perlunya perubahan didalam rancangan proses pemilihan: para peserta & proses yang digunakan Tanggapan balik dan tindak lanjut

Dimana menggunakan MSC? Bukan sebagai sebuah metode yang berdiri sendiri Disamping sistem yang berdasarkan indikator Untuk mengidentifikasi perubahan yang tidak diharapkan Untuk melibatkan orang didalam menganalisa perubahan Untuk melibatkan berbagai orang Untuk fokus pada hasil daripada output Sangat baik untuk program yang partisipatif dengan hasil yang komplek, beragam, & stakeholder yang bermacam-macam

Dampak dari MSC Proses tersebut menciptakan ruang bagi para stakeholder untuk mencerminkan, untuk memahami perubahan yang komplek Panitia proyek/ tim pelaksanaan menjadi lebih baik didalam mengkonseptualisasikan dampak Menyediakan dialog untuk membantu memahami nilai masing-masing Memfasilitasi dialog yang dinamis yaitu, “apa yang benar-benar ingin anda capai dan bagaimana kita akan lebih daripada itu?” Staf mendapatkan visi bersama secara lebih penuh Proses tersebut mendorong moral mereka Proses tersebut melihat para petani, staf, kolaborator duduk bersama dan menafsirkan data kualitatif & penilaian evaluatif