Merumuskan Rancangan Penelitian Sesuai dengan Masalah Peneltian BPK, 9 Maret 2015 Rossi Sanusi Blog:

Masalah Penelitian Masalah yg dihadapi peneliti: a)kesimpulan penelitian tentang hipotesis penelitian (HP) logis tetapi HP tidak didukung karena kerangka konsep tidak valid. b)Kesimpulan penelitian tentang HP tidak logis karena rancangan penelitian tidak kokoh (robustness rendah) c)Kesimpulan penelitian tentang HP tidak logis karena pelaksanaan penelitian tidak sesuai rencana penelitian (fidelity rendah).

3 Moderator Intervensi (Prediktor) Hasil (Kriterion) Mediator V2V2V1 Explanatory Theory Kerangka Konsep  Hipotesis2 Penelitian F1F3F2 F = Faktor = Dimensi V = variabel atau item Action (Predictive) Theory

Hubungan Masalah Praktis & Masalah Penelitian Praktisi membutuhkan informasi ttg tindakan berdasarkan bukti yg kuat (EBP) Peneliti menyediakan bukti yg kuat berdasarkan penelitian empirik yg tidak bermasalah

Letak di Proposal/Tesis Hal yang dibahas Masalah praktis Perkembangan pemeca- han masalah penelitian Masalah penelitian Kerangka konsep & HP Rancangan Penelitian Rencana Penelitian Kesimpulan Letak Bab I di Latar Belakang Bab I di bawah Latar B. Bab II akhir Bagian pertama Bab III Bab IV Proposal Bab IV Tesis

Bagian2 Proposal/Tesis Halaman-halaman Muka Bagian Utama: I. Pendahuluan II. Telaah Pustaka III. Metoda Penelitian IV. Rencana Pelaksanaan Penelitian/ Hasil Penelitian, Kesimpulan & Saran V. Daftar Rujukan Lampiran

Mereplikasi Penelitian Empirik Mahasiswa mencari makalah penelitian empirik (PE) terkini yg terkait dengan Evidence-Based Practice (EBP). Melalui penilaian kritis (critical appraisal) mahasiswa mengidentifikasi masalah penelitian di makalah PE tsb. Tergantung pada masalah penelitian yg ditemukan (a, b atau c) mahasiswa bertujuan mengkoreksi masalah yg dihadapi peneliti sebelumnya dan masih mempertanyakan kesimpulan ttg HP (= Masalah Penelitian sekarang).

Bukti masih lemah Penyebab a.Kerangka konsep tidak valid b.rancangan penelitian lemah c.pelaksanaan penelitian tidak sesuai rencana. Pemecahan a.Meningkatkan validity Kerang- ka Konsep b.Meningkatkan robustness rancangan c.Meningkatkan fidelity pelaksanaan. Cara? a. b. c. Tujuan Penelitian

a. Meningkatkan Validitas Kerangka Konsep Telaah pustaka & pendapat ahli ttg konstruk- konstruk dalam kerangka konsep. Konstruk = konsep terstruktur. Struktur dari intervensi, hasil, mediator & moderator: Nama & definsi operasional dari konstruk, dimensi & variabel Perlakuan thd masing-masingvariabel.

Jenis VariabelPerlakuanTujuan Prediktor (X) & Kriterion (Y) DiamatiMeneliti korelasi X & Y V Bebas (X) & V Terikat (Y) V Bebas dimanipulasi (variasinya ditentu- kan), V Terikat diamati Meneliti korelasi X & Y ModeratorDikontrol, diamati atau dimanipulasi Meneliti pengaruh ciri atau keadaan unit analisis thd korelasi X & Y MediatorDiamatiMeneliti mekanisme korelasi X & Y Confounding (Moderator yg tidak spesifik) DikontrolMenghilangkan pengaruh V Confounding (perancu) thd korelasi X & Y

b. Meningkatkan Kekuatan Rancangan Penelitian Rancangan Penelitian (Bab III A): Logika (= cara bernalar yang dianggap valid) dari metoda penelitian. Rencana Penelitian (Bab IV Proposal): Logistika (= rincian yg logis) dari pelaksanaan penelitian.

Susunan Bab III (Metoda Penelitian) A.Rancangan Penelitian: 1. Rancangan Pengumpulan Data 2. Rancangan Pengolahan Data 3. Rancangan Penafsiran Data B.Metoda Pengumpulan Data C.Metoda Pengolahan Data D.Metoda Penafsiran Data

A.1. Rancangan Pengumpulan Data Logika pengumpulan data yang valid: Peneliti secara konsisten menggunakan alat/cara yang valid untuk mengumpulkan data dari subyek yang tepat. a.Alat/cara yang valid b.Penggunaan yang konsisten c. Subyek yang tepat

a. Alat/Cara Pengumpulan Data yang Valid Peneliti harus membuktikan dengan data kuantitatif dan kualitatif bahwa alat/cara pengumpulan datanya valid: Validitas Isi (V. ahli; V. substansi; V. Konsep; V. Muka) – sesuai dengan pendapat para ahli; disusun dalam/diterjemahkan ke bahasa yang dapat dimengerti responden. Validitas Konstruk – pengujian sejumlah hipotesis tentang validitas dari alat/cara pengumpulan data yang bersangkutan.

Contoh Validasi Alat Ukur Development and evaluation of a questionnaire to measure the perceived implementation of the mission statement of a competency based curriculum Thomas Rotthoff, Martin Ostapczuk, Judith de Bruin, Klaus-Dietrich Kröncke, Ulrich Decking, Matthias Schneider, Stefanie Ritz-Timme BMC Medical Education 2012, 12:109 (7 November 2012) Abstract | Full text | PDF | PubMed Development and evaluation of a questionnaire to measure the perceived implementation of the mission statement of a competency based curriculumAbstractFull textPDFPubMed

b. Penggunaan yang konsisten Peneliti harus membuktikan dengan data kualitatif dan kuantitatif bahwa alat/cara pengumpulan data yang valid digunakan secara konsisten: Pengumpul data diseleksi, dilatih & disupervisi Hasil pengumpulan data inter- dan intra- pengumpul data dianalisis

c. Subyek yang tepat Peneliti harus membuktikan dengan data kualitatif dan kuantitatif bahwa subyek yang diukur tepat: Kualitas: Memiliki data yg diperlukan untuk mengukur variabel2 dari konstruk yg bersangkutan; tidak menimbulkan bias pengumpulan data (e.g., same subject bias, recall bias, sampling bias) Kuantitas: Sesuai dengan besar populasi (N) dan besar sampel (n) unit analisis: sampling error dihindari pada pembentukan sampel unit analisis dan sampel subyek (= unit pengamatan).

A.2. Rancangan Pengolahan Data/informasi Metoda meringkas dan menginferensi data/ informasi yang digunakan harus memenuhi ketentuan dari metoda yg bersangkutan. Misalnya, untuk data kuantitatif peneliti menggunakan teknik ilmu statistik yg sesuai skala dan persyaratan.

A.3. Rancangan Penafsiran Data Logika penafsiran data yang valid: Peneliti mempertimbangkan a. validitas dalam - sejauh mana koefisien korelasi X & Y (atau koefisen selisih Y) yang bermakna bukan karena dimoderasi oleh moderator atau variabel confounding yang diabaikan. b. validitas luar – sejauh mana hasil penelitian berlaku untuk unit analisis di luar populasi penelitian.

Untuk meningkatkan validitas dalam peneliti dapat melakukan: 1.Analisis multivariat – korelasi yang menggunakan 2/> prediktor, 2/> kriterion atau keduanya. Nilai tambah: Validitas external tinggi Nilai kurang: Membutuhkan jumlah unit analisis yang besar

2.Mengontrol (membuat konstan) a. moderator2 spesifik dengan Korelasi Parsial, kriteria inklusi dan kelompok kontrol yg diMatch. Nilai kurang: Validitas external berkurang; matching cocok jika variabel bebas dimanipulasi b. moderator2 tidak spesifik (variabel2 perancu) dengan penempatan unit analisis secara acak ke kelompok kontrol dan Pre-test. Nilai kurang: Cocok jika variabel bebas dimanipulasi; Validitas external berkurang.

Variabel2 Perancu a)History – variabel2 lingkungan b)Maturasi – variabel2 intra subyek c)Testing – variabel2 pengukuran d)Instrumentasi – variabel2 alat ukur e)Seleksi diferensial – variabel2 inter-subyek f)Tendensi sentral – variabel2 subyek extrem g)Mortalitas – variabel2 subyek yang drop-out

Dengan penempatan acak unit2 analisis ke kelompok2 kontrol diharapkan data variabel2 perancu sama di kelompok2 tsb, kecuali Mortalitas Populasi Sampel X1X1 X0X0 R R R

Cara mengendalikan Mortalitas dengan Pre-test (untuk melihat siapa yang drop-out) Hipotesis penelitian didukung jika Selisih Mean O post kedua kelompok ≥ Selisih Mean Minimum (yang dipatok sebelum penelitian dimulai). O pre juga dapat digunakan untuk melihat apakah unit2 analisis kedua kelompok setara dalam hal variabel terikat sebelum V bebas dimanipulasi. R O X 1 O R O X 0 O

Validitas external menurun karena ada kemungkinan interaksi antara Pre-test dengan Intervensi Interaksi antara Seleksi dengan Intervensi Pengaturan2 khusus

Hirarki Bukti Sumber:

Latihan menilai kekuatan rancangan Does self reflection and insight correlate with academic performance in medical students? Sandra E Carr, Paula H Johnson BMC Medical Education 2013, 13:113 (23 August 2013) Does self reflection and insight correlate with academic performance in medical students? Educational interventions to improve the effectiveness in clinical competence of general practitioners: problem-based versus critical reading-based learning Javier Gongora-Ortega, Yolanda Segovia-Bernal, J de Valdivia-Martinez, J Galaviz-deAnda, Carlos A Prado-Aguilar BMC Medical Education 2012, 12:53 (11 July 2012) Educational interventions to improve the effectiveness in clinical competence of general practitioners: problem-based versus critical reading-based learning