Usulan Penguatan Sistem Pemantauan dan Evaluasi Pinjaman dan Hibah Luar Negeri ‘Internalisasi Pembelajaran dan Praktik Terbaik’ Disampaikan dalam diskusi , 24 Maret 2014

Siklus Proyek PHLN dan Dasar Hukum Pemantauan dan Evaluasi Perencanaan Implementasi Monev Feedback Pasal 76: Pelaksana Kegiatan yang dibiayai Pinjaman/Hibah Luar Negeri menyampaikan Laporan Triwulanan kepada Menkeu dan Menteri PPN Pasal 77: Menteri Perencanaan melakukan pemantauan, evaluasi, dan pelaporan triwulanan mengenai kinerja pelaksanaan kegiatan yang dibiayai dari Pinjaman Luar Negeri dan/atau Hibah. LPK-PHLN (Lampiran PMK No 180 Tahun 2012) PP No. 10 TAHUN 2011 tentang Tata Cara Pengadaan Pinjaman Luar Negeri dan Penerimaan Hibah PERMEN PPN No 4 TAHUN 2011 tentang Tata Cara Perencanaan, Pengajuan Usulan, Penilaian, Pemantauan dan Evaluasi kegiatan yang Dibiayai Pinjaman Luar Negeri dan Hibah PMK No 180/PMK.08/2012 Tentang Tata Cara Pemantauan dan Evaluasi atas Pinjaman dan Hibah kepada Pemerintah LKPPHLN (Laporan Kinerja Pelaksanaan PHLN)/Laporan Triwulanan

Daftar Inventaris Masalah (DIM) Usulan Arah Pengembangan Daftar Inventaris Masalah (DIM) sebagai Dasar Rencana Pengembangan Sistem Pemantauan dan Evaluasi Daftar Inventaris Masalah (DIM) Usulan Arah Pengembangan Perihal Keterangan Sistem pemantauan dan evaluasi Indikator kinerja Early warning system Format Evaluasi Pascapelaksanaan proyek Timeframe Output/hasil pemantauan Follow up action tracking system Knowledge management dan mekanisme publikasi Tata kelembagaan Pembagian peran dan fungsi monev antara Bappenas dan Kemenkeu. Penguatan peran direktorat sektor dan Kedeputian Evaluasi Bappenas, Penguatan peran LKPP, dan para pihak terkait lainnya Sistem informasi pendukung Penguatan sistem informasi dan database Dilaksanakan secara insklusif sesuai dengan peran masing-masing, dan real time Pengembangan knowledge management sharing

Tahapan Pengembangan Jangka Panjang Jangka Menengah Jangka Pendek Kesepakatan mengenai indikator kinerja; Finalisasi sistem evaluasi Finalisasi early warning system Penyusunan dan penyempurnaan IT dan database sebagai tools knowledge management Revisi atas PP No. 1o Tahun 2011 untuki mengakomodasi penguatan sistem pemantauan dan evaluasi Pembahasan lanjutan mengenai definisi indikator kinerja; Penyusunan mekanisme evaluasi Pengembangan Monev sebagai early warning system Penguatan peran LKPP dan proses dan tindak lanjut hasil pemantauan Penguatan IT dan database pendukung Penguatan yang dapat dilaksanakan tanpa mengubah PP No. 10/Tahun 2011: Penguatan pengukuran kinerja sesuai PP 10/2011; Perubahan format LPK; Pembahasan realisasi penyerapan yang akan digunakan; dan Penguatan pengukuran capaian (progres varian)

Rencana pengembangan jangka pendek Penguatan yang dapat dilaksanakan tanpa mengubah PP No. 10/Tahun 2011: Penguatan pengukuran kinerja sesuai PP 10/2011; Perubahan format LPK; Pembahasan realisasi penyerapan yang akan digunakan; dan Penguatan pengukuran capaian (progres varian)

Kaitan Formulir Pemantauan dan Evaluasi dengan Tusi Kelembagaan Format Isian Pemantauan dan Evaluasi (A, B, dan C) PP No. 10 TAHUN 2011 Pasal 76 Format Isian Pemantauan dan Evaluasi (D dan E) Pelaksanaan pengadaan barang/jasa Form A (data umum) Kemajuan fisik kegiatan Form D (Status Paket Kontrak) Form B (ringkasan pelaksanaan) Realisasi penyerapan Form E (Rincian Dokumen Anggaran) Form C (permasalahan) Permasalahan dalam pelaksanaan Sebagian besar dalam hal pengadaan dan penyerapan Rencana tindak lanjut penyelesaian masalah. Form Pemantauan dan Evaluasi Menekankan pada aspek: pengadaan barang dan jasa (Tusi LKPP) dan Penyerapan Dana (Tusi Kemenkeu). Keduanya mencerminkan pelaksanaan proyek yang terkait dengan pengadaan, kontrak dan belanja. Dengan demikian tetap relevan untuk terus dipantau progresnya. Namun monitoring pencapaian substansi perkomponen kegiatan masih belum optimal. Aspek-aspek antara lain sbb: (1) Konstribusi pada target capaian pembangunan, (2) Feed back kepada perencanaan selanjutnya, (3) upaya untuk replikasi dan/atau scaling up, dll belum dicakup dan didokumentasikan secara baik dalam proses dan laporan hasil pemantauan

Project Completion Report Project Completion Report (PCR) menjadi dokumen yang dapat* menjadi acuan untuk: Mereviu capaian proyek sebagai salah satu upaya untuk mencapai target pembangunan, memberikan feed-back untuk perencanaan selanjutnya, dan untuk memastikan replikasi/scaling-up. PCR dapat melaksanakan fungsi ini karena menjadikan PDO dan Intermediate Result sebagai basis pengukuran pencapaian tersebut. PCR disusun pada akhir atau setelah pelaksanaan proyek. Padahal konstribusi terhadap capaian pembangunan perlu dilaksanakan setiap tahun, agar bisa selaras dan memberi masukan dalam sistem perencanaan tahunan. Demikian halnya dengan replikasi dan scaling up tidak semata-mata hanya dapat dilaksanakan setelah proyek berakhir. Ide-ide baru dan pengembangan model sudah mulai dilakukan selama proses pelaksanaan proyek. Identifikasi pembelajaran yang hanya dilaksanakan di akhir masa pelaksanaan proyek, dikhawatirkan tidak dapat memotret seluruh proses pembelajaran secara lengkap. Diperlukan adanya penguatan/penambahan form pemantauan dan evaluasi PHLN untuk dapat ‘menangkap’ isu-isu tersebut. Penguatan form yang dapat mengidentifkasi pembelajaran dan dibahas setiap triwulan, akan memperkuat kualitas PCR karena proses identifikasinya tidak hanya dilakukan pada akhir pelaksanaan proyek. * Format PCR tidak sama. Tidak semua PCR mencakup hal-hal yang disebut dalam butir (1) di atas.

Sistem Pemantauan dan Evaluasi untuk Memastikan Pelaksanaan Tiga Pilar Kebijakan Pelaksanaan proyek mempunyai informasi yang sangat kaya berkaitan dengan proses untuk membangun kemitraan strategis termasuk dengan swasta, membangun skema pembiayaan inovatif, dan upaya untuk mengungkit investasi. Sangat penting untuk mendokumentasikan informasi ini secara kontinu. Knowledge yang bisa disebarluaskan dan di replikasi membutuhkan kriteria minimum yang prosesnya dilakukan pada saat pelaksaan proyek, alih-alih setelah proyek selesai. Demikian halnya dengan proses adopsi praktik terbaik di Indonesia. Transfer of Knowledge, know-how, dan capacity building sangat penting untuk diserap informasinya, didokumentasikan dan dilembagakan secara sistematis. Forum pemantauan dan evaluasi triwulanan dapat merupakan salah satu tools yang digunakan, tidak hanya dilihat pada PCR. Usulan: Pendokumentasian Pembelajaran pada saat pelaksanaan proyek, yang dibahas secara rutin dalam proses pemantauan. Pembahasan mengenai pembelajaran dapat dilakukan jika didukung format yang mengetengahkan capaian-capaian substantif untuk setiap komponen.

Usulan Simplifikasi dan Penambahan Form tentang pembelajaran FORM EXISTING USULAN Minimum requirement sesuai PP dan Permen Form A (data umum) Form A : Data Umum Pelaksanaan pengadaan barang/jasa Form B (ringkasan pelaksanaan) Form B : Pelaksanaan Kontrak Ringkasan pelaksanaan Status Permasalahan Kemajuan fisik kegiatan Form D (Status Paket Kontrak) Realisasi penyerapan Permasalahan dalam pelaksanaan Form C (permasalahan) Form C : Keuangan Rincian Dokumen Anggaran Status Penyerapan Permasalahan Rencana tindak lanjut penyelesaian masalah. Form E (Rincian Dokumen Anggaran) Form D : Pembelajaran Substansi untuk setiap komponen Administrasi dan keuangan Manajerial, dan koordinasi kelembagaan Ditambah lampiran capaian Result Framework berdasarkan PAD, LA, Financing Agreement/Grant Agreement atau dokumen lain Upaya untuk memastikan pelaksanaan tiga pilar kebijakan kerjasama pembangunan Tidak Perlu Mengubah PP

Usulan Tambahan Format Pemantauan dan Evaluasi Mengenai Pembelajaran Contoh dan definisi dari kerjasama UNDP: Ilustrasi (masih dalam pengembangan) No Komponen Pembelajaran* Upaya yang telah dan akan dilaksanakan untuk melembagakan pembelajaran 1 2 ... Keterangan *: Pembelajaran antara lain dalam hal substansi/teknis, administrasi dan pengelolaan pengelolaan keuangan, manajerial dan koordinasi kelembagaan Pelembagaan pembelajaran dapat dilakukan pada level proyek itu sendiri melalui perubahan/pendetailan SOP, atau di level institusi pelaksana melalui penyusunan ketentuan, masukan terhadap formulasi kebijakan, masukan dalam penyusunan perencanaan selanjutnya dll Tata cara pengisian akan dituangkan dalam pedoman

Upaya yang telah dan akan dilaksanakan untuk melembagakan pembelajaran Identifikasi dan Manfaat dari Pendokumentasian Pembelajaran Secara Sistematis Identifikasi Pembeljaran dari: Dinamika pencapaian result framework serta aspek substansi dan kebijakan yang terkait dengan pencapainnya, serta linkages dengan kegiatan lain Proses pengadaan, pemrosesan NOL dan pembebasan lahan (jika ada) Manajemen administrasi, keuangan dan penyerapan dana Dinamika manajemen organisasi proyek, HRD, dan koordinasi kelembagaan Pendokumentasian melalui Form Pemantauan Rutin No Komponen Pembelajaran Upaya yang telah dan akan dilaksanakan untuk melembagakan pembelajaran 1 2 ... MANFAAT Feed back kepada perencanaan selanjutnya dan usulan pengembangan lebih lanjut dalam bentuk replikasi dan/atau scaling up Masukan dalam formulasi kebijakan Masukan untuk penguatan koordinasi dan sinergi dengan proyek yang lain Masukan untuk Perbaikan SOP proyek

Penguatan Koordinasi Kelembagaan dalam pelaksanaan Pemantauan dan Evaluasi PHLN FORM USULAN PENGUATAN KOORDINASI KELEMBAGAAN Form A : Data Umum Form B : Pelaksanaan Kontrak Ringkasan pelaksanaan Status Permasalahan Dikoordinasikan oleh Kementerian PPN/Bappenas dan Penguatan keterlibatan LKPP dalam identifikasi dan tindak lanjut Form C : Keuangan Rincian Dokumen Anggaran Status Penyerapan Permasalahan Dikoordinasikan oleh Kementerian Keuangan Form D : Pembelajaran Substansi untuk setiap komponen Administrasi dan keuangan Manajerial, dan koordinasi kelembagaan (ditambah lampiran capaian Result Framework berdasarkan PAD/Loan Agreement/Financing Agreement/Grant Agreement atau dokumen yang disetarakan lainnya. Dikoordinasikan oleh Kementerian PPN/Bappenas Penguatan keterlibatan direktorat sektor

Usulan Tahapan Pengembangan Sistem Pemantauan dan Evaluasi Pascapelaksanaan Dibagi dalam rencana pengembangan jangka pendek dan jangka panjang. Usulan koridor pewaktuan: Jangka pendek  tidak perlu mengubah PP No. 10/2011 Jangka panjang  harus mengubah PP No. 10/2011 Misalnya (sebagai ilustrasi): Jangka pendek: Perubahan format tanpa mengubah definisi kinerja output, sebagai masa transisi dengan melampirkan KPI sesuai dokumen yang berlaku di setiap patner. Penguatan sistem informasi dan database sesuai dengan perubahan a) Jangka panjang: Pengubahan definisi dan cakupan pemantauan yang mempunyai konsekuensi mengubah pasal atau ayat dalam PP 10/2011 Penguatan evaluasi yang perlu mengubah PP/2011 Pengubahan pembagian peran dan fungsi kelembagaan Pembahasan dan kesepakatan mengenai pengembangan sistem baik jangka pendek dan jangka panjang berdasarkan Daftar Inventaris Masalah (DIM) dan usulan rencana tindak yang diperlukan untuk setiap masalah tersebut.

Terima Kasih

Quarterly Progres Report Annual Work Plan Quarterly Progres Report DRPLN JM Rencana penyerapan dan pengadaan detail untuk tahun yang bersangkutan DRPPLN Daftar Kegiatan Loan Agreement Annual Work Plan Quarterly Progres Report Annual Work Plan Quarterly Progres Report Quarterly Progres Report Quarterly Progres Report Project Completion Report Annual Work Plan Quarterly Progres Report Annual Progres Report Project Appraisal Document (PAD) Rencana penyerapan selama masa pelaksanaan Supervision Mission Mid Term Review ICR Mission Result Framework Operational Risk analysis Framework (ORAF)

Ringkasan Masukan Sementara (1/2) Kelompok Isu Masukan Kelembagaan Sistem Monev yang dilaksanakan saat ini masih belum tumpang tindih, utamanya antara Bappenas dan Kemenkeu. Bappenas diusulkan fokus pada kinerja, Kementerian Keuangan pada aspek realisasi/penyerapan. Keterlibatan LKPP masih minim padahal sebagian besar isunya dalam hal pengadaan. Kunjungan lapangan masih belum terkoordinasi, seringkali berulang untuk lembaga yang berbeda untuk proyek yang sama. Perlu adanya unit monev yang berjenjang di setiap K/L, sampai dengan Bappenas dan Kemenku dalam satu kesatuan sistem yang terintegrasi agar semuanya dapat berkonstribusi secara proporsional. Format Format yang ada saat ini belum dapat memotret capaian indikator sebagaimana yang telah disepakati dalam PAD, belum dapat melingkupi pembelajaran dan praktik-praktik terbaik yang sudah dihasilkan. Cukup banyak isu strategis yang dihadapi dalam pelaksanaan proyek, namun tidak pernah dapat dibahas karena belum tercakup dalam format. Demikian halnya dengan follow-up dari hasil-hasil capaian proyek, diharapkan dapat lebih melembaga apabila dibahas secara rutin dalam forum pemantauan dan evaluasi. Definisi kinerja? Early Warning System Sistem pemantauan dan evaluasi yang dilaksanakan diharapkan dapat berperan leboh besar sebagai early warning system. Pada saat penyiapan dilaksanakan analisis risiko (koordinasi kelembagaan, manajerial, sosial dan lingkungan, dll), namun karena tidak pernah di check pada saat pemantauan, informasi tersebut menjadi kurang bermanfaat.

Ringkasan Masukan Sementara (2/2) Kelompok Isu Masukan Sistem Informasi Pendukung Diusulkan agar sistem proyek diberikan akses untuk menginput data/informasi secara real time atau periodik sesuai dengan kebutuhan, supaya lebih praktis dan inklusif. Sistem data dan informasi diusulkan secara interaktif, sebagai wahana untuk verifikasi dan penyebaran pedoman dan hal-hal lain terkait dengan pelaksanaan pemantauan dan evaluasi. Data hasil pemantauan dan evaluasinya diusulkan untuk dipublish , agar hasilnya dapat menjadi perhatian bersama. Data pembelajaran dan hasil terbaik yang sudah dihasilkan penting untuk ditampilkan ke publik. Evaluasi pascapelaksanaan Bappenas diharapkan dapat melaksanakan evaluasi paskapelaksanaan (2-3 tahun setelah pelaksanaan) untuk melihat keberlanjutan dan perluasan manfaat paskapelaksanaan. Karena banyaknya proyek, tidak mungkin seluruh proyek dilaksanakan evaluasi pascapelaksanaan, namun dipilih dengan kriteria tertentu yang disepakati. Tindak lanjut Tindak lanjut hasil pemantauan dan evaluasi masih dipandang kurang optimal, oleh karenanya isu/permasalahan terus berulang. Hal ini ditengarai terkait dengan keterlibatan kelembagaan dalam pelaksanaan dan hasil pemantauan yang belum menjadi

INDIKATOR KEBERHASILAN PROGRAM PPAUD Project Development Objective (PDO) PDO di ukur berdasarkan kemajuan program yang dievaluasi melalui studi dampak yang dilaksanakan dalam Program PPAUD, Hasil Sbb: Perkembangan anak miskin meningkat lebih besar di desa proyek dibandingkan di desa non-proyek Terjadi peningkatan pola pengasuhan orang tua (anak) miskin di desa proyek dibanding orang tua (anak) kaya di desa proyek dan di desa non-proyek Anak miskin di desa proyek dilaporkan berkurang permasalahannya dibanding anak kaya di desa proyek dan di desa non-proyek. Intermediate Outcomes

Contoh PNPM Urban 3

End-of-Project Target Value Contoh Bermutu Key Performance Indicators of Project Development Objective Baseline Value Progress to Date End-of-Project Target Value Value Key Observation Increased number of primary and junior secondary teachers in BERMUTU Districts using classroom instruction with specific subject and age appropriate pedagogy 17,000 214,380 Currently, 214,380 primary and junior secondary teachers have participated in the working groups. The groups were designed to allow teachers to improve their competence in using classroom instruction with specific subject and age appropriate pedagogy. A study on how the participation in working groups affected teacher performance in BERMUTU districts showed some improvement in teachers’ abilities had occurred in pedagogical areas. 190,000