Aspek penting dalam penilaian proposal penelitian Suminar Setiati Achmadi ssachmadi@cbn.net.id

Hakikat telaah proposal Dapat diperoleh proposal bermutu Terbebas dari benturan kepentingan Diperlukan tim penelaah yang objektif Diperlukan sistem & skor penilaian Satu proposal ditelaah > 1 orang Tim bekerja mandiri & membuat komentar terpadu Nilai & saran tim menjadi masukan bagi pengusul Masukan tim menjadi pertimbangan bagi Dit. Litabmas Dit. Litabmas memutuskan pemenang berdasarkan prioritas/ketersediaan dana

Perbedaan skema penelitian (terutama luarannya) Ustranas: Penaggulangan masalah nasional & spin-off KSLN&PubInt’l: Jejaring kerja sama & publikasi int’l. Stranas: Penanggulangan masalah nasional Hikom: Publikasi, buku ajar, HKI (apabila relevan) Rapid: Kerja sama dgn. industri, menghasilkan produk PU-PT: Produk teknologi, publikasi, HKI, kebijakan Hibah Tim Pascasarjana: Disertasi, tesis, publikasi PHB: Produk (tangible/intangible), HKI (bila relevan) Penelitian Fundamental: Publikasi Hibah Pekerti: Peningkatan kemampuan TPP Disertasi Doktor: Disertasi, publikasi, lulus tepat waktu

Sistem penilaian proposal Menggunakan form penilaian (manual/aplikasi) Kriteria & Indikator Penilaian  Spesifik untuk setiap skema penelitian, dengan bobot berbeda Tim penelaah memberi skor setiap kriteria (Misalnya: skor 1, 2, 4, 5, atau 1, 2, 3, 5, 6, 7) Tidak ada nilai tengah; tegas memberi nilai Nilai = Bobot x Skor Lihat Panduan Pelaksanaan Penelitian Edisi IX 2013

Kelemahan umum proposal Perumusan masalah lemah Untuk penelitian berbiaya besar dan multitahun: belum ada kerja awal Metode tidak rinci, tidak dikaitkan dengan tata waktu dan biaya yang diusulkan Keprimeran dan kemutakhiran pustaka acuan Tidak mematuhi panduan penyusunan proposal (komponen gaji/upah, eligibilitas peneliti, format) Track record  luaran (publikasi, HKI) yg relevan (CV)

Gagasan penelitian - proposal Masalah yang akan diatasi What? Why you? How? Why?

Contoh Sistem Penilaian – Dosen Muda No KRITERIA INDIKATOR PENILAIAN BOBOT (%) SKOR NILAI 1 Perumusan Masalah Ketajaman Perumusan Masalah dan Tujuan Penelitian 30 2 Manfaat Hasil Penelitian Pengembangan Ipteks, Pemba- ngunan, dan atau Pengembangan Kelembagaan 20 3 Tinjauan Pustaka Relevansi, Kemutakhiran, dan Penyusunan Daftar Pustaka 15 4 Metode Penelitian Ketepatan Metode yang Digunakan 25 5 Kelayakan Penelitian Kesesuaian Jadwal, Kesesuaian Keahlian Personalia, dan Kewajaran Biaya 10 J U M L A H 100 Skor: 1 = Sangat kurang, 2 = Kurang, 4 = Baik, 5 = Sangat baik Nilai = Bobot x Skor (batas lolos 350)

Contoh Sistem Penilaian – Hibah Bersaing Kriteria Indikator penilaian Bobot (%) Skor Nilai 1 Perumusan masalah a Ketajaman perumusan masalah b Tujuan penelitian 15 2 Luaran Pengembangan ipteks Penunjang pembangunan Pengembangan institusi c Pentingnya penelitian yang direncanakan 35 3 Tinjauan pustaka d Telaah pustaka/kemajuan yang telah dicapai dan kajian pendahuluan 4 Metode e Desain penelitian 5 Kelayakan Jadwal Biaya Personalia Sarana/prasarana f Uraian umum g Perincian anggaran h Biodata i Dukungan sarana/prasarana 20 TOTAL 100

Kriteria penilaian proposal MP3EI No Kriteria Penilaian Bobot (%) Skor Nilai 1 Tingkat keprioritasan dalam skala nasional dan solusi permasalahan yang ingin diatasi dalam program penelitian yang diusulkan 25 2 Manfaat penelitian yang dapat diterapkan untuk memecahkan isu strategis sesuai MP3EI 30 3 Keutuhan peta jalan (road map) penelitian 20 4 Rekam jejak (track record) tim peneliti dan kelayakan sumber daya lain Jumlah 100 Skor: 1-7

Borang penilaian monev terpusat MP3EI No Kriteria Penilaian Bobot (%) Skor Nilai 1. Kesesuaian hasil dengan isu strategis nasional dengan MP3EI 30 2. Tingkat realisasi kegiatan dibandingkan dengan target yang direncanakan 25 3. Luaran yang telah dicapai: a. Teknologi (proses/produk) b. Model/kebijakan c. Karya kreatif 20 4. Usulan kegiatan tahun berikutnya: Relevansi dan kesinambungan sasaran Kelayakan keberlanjutan Jumlah 100 Skor: 1-7

Contoh alasan penolakan Perumusan masalah lemah, kurang mengarah, tujuan tidak jelas Kontribusi hasil penelitian tidak jelas, kurang spesifik Pustaka kurang menunjang, tidak relevan, kurang mutakhir, umumnya bukan artikel jurnal ilmiah/ paten, penyusunan daftar pustaka kurang baik Metode kurang tepat & kurang terperinci, langkah penelitian tidak jelas Kualifikasi tim peneliti kurang, anggaran biaya tidak terperinci atau dinilai terlalu tinggi, kesesuaian jadwal Lain-lain: Format salah, topik sudah banyak diteliti

Telaah substansi proposal Sistematika proposal setiap skema sedikit berbeda tetapi secara umum mencakup: Judul Penelitian & Abstrak Pendahuluan (Latar belakang, Rumusan masalah, Tujuan & Manfaat penelitian) Kajian Pustaka (Road-map apabila ada) Metode Penelitian Jadwal Kegiatan Daftar Pustaka Lampiran (Sarana & Prasarana, Anggaran penelitian, Biodata tim peneliti) Setiap butir tsb harus ditelaah secara cermat, obyektif & taat asas

Telaah Judul & Abstrak Judul tidak terlalu panjang, spesifik (tidak general) sesuai dengan research question/permasalahan, & tidak menimbulkan multitafsir Abstrak harus ditulis ringkas, tetapi mencakup permasalahan, tujuan & target yang ingin dicapai, serta metode penelitian & rencana kegiatan Dengan membaca abstrak, secara garis besar sudah dapat dipahami tujuan & kegiatan yang akan dilakukan, serta target yang ingin dicapai

Telaah Bab Pendahuluan Meliputi: Perumusan masalah tajam, mengarah, tujuan penelitian & kontribusinya jelas Daya ungkap peneliti tentang permasalahan lugas, bukan sekadar “kliping” dari bacaan yang dianggap relevan Uraian ringkas, langsung pada deskripsi masalah Masalah yang dirumuskan didukung pustaka/ informasi mutakhir (state of the art) Perlu ada cara pendekatan penyelesaian masalah Rumusan masalah tidak harus dengan kalimat tanya

Lanjutan: Cukup 2-3 paragraf, tidak lebih dari 2 halaman, dengan pernyataan-pernyataan yang lugas Untuk penelitian lanjutan, hasil penelitian sebelumnya perlu diungkap Ditulis pernyataan singkat mengenai tujuan, seperti: menjajaki, menguraikan, menerangkan, membuktikan, menerapkan konsep/dugaan, membuat prototipe Tidak menggunakan kata “mengetahui”/“memahami”/ ”melihat”, yang terkesan hanya inventarisasi belaka Tujuan penelitian harus dapat memberi kesan bahwa akan ada perubahan (implikasi) dari hasil penelitian (Misalnya: perubahan kebijakan/iptek, bukan sekadar informasi baru)

Telaah Bab Kajian Pustaka Cermati: kepustakaan kurang menunjang, pustaka tidak relevan & kurang mutakhir, bukan acuan primer Uraian terlalu ekstensif, banyak teori yang terkesan “hanya kliping”, kurang ada ulasan dari peneliti Mutu karya ilmiah ditentukan oleh mutu acuan (acuan primer: artikel jurnal, paten, & disertasi yang relevan 10 tahun terakhir. Buku ajar = acuan sekunder) Menggambarkan bahwa state of the art dikuasai Lebih utama % keprimeran & kemutakhiran, bukan jumlah pustaka Tidak mengutip kutipan (misalnya: A dalam B)

Lanjutan: Perhatikan untuk pengacuan ke internet: Tidak sembarang mengacu Perhatikan otoritas keilmuan/kepakaran penulis Tidak semua informasi dari situs internet dapat dipertanggung-jawabkan isinya (tidak semua situs permanen) Lebih utama/dipilih acuan yang sifatnya cetakan Lazimnya artikel yang yang telah dipublikasikan menuliskan keterangan tambahan “nama jurnal” & “terhubung berkala”

Telaah Bab Metode Penelitian Cermati: Metode kurang tepat & tidak rinci tahapannya Bukan “metodologi penelitian”  tak perlu ada definisi tentang metode Metode yang digunakan sudah out of date Tahapan penelitian dideskripsikan dengan jelas agar dapat menjustifikasi jadwal kerja & biaya Apabila ada sampling, harus ada teknik samplingnya Cara analisis data harus dijelaskan dengan baik Untuk penelitian multitahun, harus dijelaskan kegiatan & target/luaran tahunan dalam bentuk bagan alir

Telaah Bab Jadwal Kegiatan Cermati: Jadwal harus sesuai dengan skema penelitian dan wajar (misalnya 10 bulan/tahun) Kegiatan bersifat multitahun (kecuali Penelitian Dosen Pemula; Penelitian Fundamental bisa 1 tahun) Digambarkan dengan diagram palang Pelaksanaan kegiatan rinci sesuai dengan yang tertera pada Metode Penelitian Waktu yang diperlukan untuk melaksanakan kegiatan wajar (tidak diulur-ulur) Beberapa kegiatan dapat dilakukan serempak & tidak perlu berurutan (apalagi banyak anggota tim yang terlibat & multidisiplin)

Telaah Daftar Pustaka Sistem penulisan acuan harus baku Sistem nama-tahun (Harvard system)  nama penulis didaftar berdasarkan abjad “nama belakang (nama keluarga)” Sistem nomor (Vancouver system)  Tidak perlu pengabjadan, tetapi urutan kemunculan dalam teks Pustaka yang diacu adalah pustaka yang didaftarkan “Komunikasi pribadi” dengan pakar ditulis di catatan kaki Baik jika ada publikasi dari pengusul

Penulisan pustaka acuan Teks Rahman (2008) Rahman dan Budi (2007) Rahman et al. (2009) Daftar Pustaka Rahman A. 2008 Rahman A, Budi S. 2007 Rahman A, Budi S, Abduh M. 2009. Tujuan pembuatan daftar: Memudahkan pembaca untuk menelusur kembali Sarana pengindeksan nama penulis

Telaah Rencana Anggaran Rincian anggaran per tahun (untuk 2-3 tahun) Pagu Rp10 juta sampai Rp1 miliar/tahun Harga wajar, ada justifikasi & tidak melebihi pagu Harus sesuai dengan tahap kegiatan yang direncanakan Rincian komponen: - Bahan habis (bahan kimia, komponen elektronik) - Peralatan = rakitan percobaan (tidak untuk alat induk) - Peralatan utama di laboratorium agar disebutkan - Perjalanan (seminar, analisis sampel ke lembaga lain) - Gaji/Upah (tidak untuk tenaga ahli di luar tim) - Lain-lain (administrasi, komunikasi, pendaftaran paten, biaya publikasi, dokumentasi)

Telaah Biodata Tim Peneliti Cermati: kelayakan peneliti ditinjau dari kualifikasi Rekam jejak penelitian relevan dengan topik Cek nama, kualifikasi, jabatan & tanda tangan Butir penting: riwayat pendidikan, pengalaman penelitian (terutama yang kompetitif), pengalaman publikasi (terutama berkala nasional terakreditasi/ bereputasi internasional), HKI, rekayasa sosial Cek apakah penelitian yang pernah dilakukan berakhir dengan publikasi pada tahun berikutnya Pengusul konsisten pada minat penelitiannya (bukan tipe “kutu loncat”)

Telaah Lain-lain Proposal belum sesuai format Peneliti tidak memenuhi persyaratan untuk skema Tidak ada unsur kebaruan/novelty) Permasalahan kurang sesuai dng bidang ilmu peneliti Untuk skim penelitian lanjut (misalnya: PHB, Stranas, Rapid, Unggulan Stranas), kegiatan inventarisasi/ identifikasi kurang layak/bukan prioritas Cek: sarana & prasarana penunjang (milik PT) sehingga tidak perlu biaya sewa (bentuk sharing PT)

Lanjutan: Jika ada sumber dana selain dari Dit. Litabmas, dapat nilai tambah Penelaah dapat memberi komentar (naratif) untuk bab yang dinilai rendah Komentar harus spesifik & jelas, tidak bermakna ganda (berlaku bagi keunggulan/kelemahan proposal) Segi kebahasaan juga penting (ejaan, istilah, kalimat & paragraf, tanda baca dsb.)  mencerminkan pengalaman publikasi di masa lalu Telaah, penilaian & komentar tim penelaah merupakan rekomendasi bagi Dit. Litabmas untuk mendanai proposal berdasarkan prioritas

Contoh perumusan masalah: Hubungan Kelas Mutu Kulit Masoi (Cryptocarya massoi) dengan Kadar Masoilakton sebagai Parameter dalam Membangun Standar Nasional Indonesia Masoi (Cryptocarya massoia) merupakan spesies tumbuhan yang dikenal di wilayah Indonesia bagian timur dan digunakan secara luas baik oleh masyarakat Papua maupun mulai dikenal oleh masyarakat Indonesia sebagai obat tradisional. Bagian yang dimanfaatkan adalah kulit yang diekstraksi untuk menghasilkan minyak. Namun, fakta mengindikasikan perlunya pelestarian spesies ini sebab sekarang masyarakat harus berjalan jauh ke dalam hutan hanya untuk mencari dan mengambil kulitnya. Setiap pohon hanya menghasilkan 65 kg kulit (Gambar 1).

Contoh perumusan masalah (lanjutan) Minyak masoi belum mempunyai standar mutu, karena produksi masih sedikit, perdagangannya masih terbatas, meskipun permintaan dari luar negeri sangat tinggi. Menurut para eksportir, lakton merupakan kandungan yang diminta oleh pembeli, tetapi informasi ini tidak tersedia di pihak eksportir Indonesia. Demikian pula, belum ada standar mutu untuk kulit masoi yang diperdagangkan. Fakta ini tentu akan merugikan pihak penjual, terlebih lagi pengumpul kulit masoi. Saran untuk menyusun standar mutu kulit dan minyak masoi sudah disarankan sejak tahun 1999 (Moestafa et al. 1999). plus 2 paragraf lagi

Contoh pernyataan tujuan dan manfaat penelitian Penelitian ini bertujuan menetapkan hubungan antara kadar masoilakton (C10, C12, C14) dan kelas mutu dalam perdagangan ekspor-impor kulit masoi. Hasil penelitian ini akan bermanfaat bagi Pustanling Kementerian Kehutanan dalam membangun RSNI kulit masoi yang diagendakan selesai pada akhir tahun 2013 dan dijadikan SNI pada tahun 2014.

Contoh luaran yang ditargetkan Masukan untuk kebijakan nasional berupa naskah akademik guna membangun RSNI Kulit Masoi (PT 602) Makalah seminar nasional: Seminar Masyarakat … Artikel di jurnal nasional: Jurnal ….

New Biomaterial Production Biopolimer Contoh peta jalan MARKET - RESEARCH ACTIVITIES (2012 - ?) MARKET Biomaterial -Bioplastik/biopolimer Model Tanaman transgenik Pengembangan biopolmer standard untuk berbagai aplikasi/kegunaan Output: proses/produk/teknologi UTILIZATION - RESEARCH ACTIVITIES (2009-2012) PRODUCT Output: proses/produk/teknologi TECHNOLOGY PROCESSING - RESEARCH ACTIVITIES (2007-2010) Perancangan bioreaktor, teknologi pemisahan biopolimer dari cairan kaldu (broth fermentation) rekayasa polimer untuk meningkatkan kinerja dari polimer Teknologi Tanaman transgenik & peningkatan hasil pada host Peningkatan Teknologi hibrid (bio dan kimia) sistem dan bio-kimia katalis Output: proses/produk/teknologi Isolasi & Karakterisasi Mikroba penghasil PHB & rekayasa genetika Peningkatan produktivitas & hasil biopolimer tanpa rekayasa genetika Rekayasa metabolic pathway dari mikroba Pemanfaatan substrat (low cost substrate) R & D MICROBA /PLANT/ANIMAL SCIENCE - RESEARCH - ACTIVITIES (2007-2009) Time (2008-2012)