3 Februari 2016 ProDi S3 FK UGM http://rossisanusi.wordpress.com Critical Appraisal (2) 3 Februari 2016 ProDi S3 FK UGM http://rossisanusi.wordpress.com

Critical Appraisal (CA)? CA menilai apakah kesimpulan Penelitian Empirik (PE) valid. Kesimpulan Penelitian Empirik (PE) menyatakan hipotesis penelitian didukung/tidak didukung. Hipotesis penelitian menyatakan Effect Size (r, d atau OR) bermakna. Kesimpulan PE valid jika: Kerangka konsep valid. Rancangan penelitian kokoh (robust). Pelaksanaan penelitian seksama (high fidelity).

1. Kerangka Kosep Valid. Definisi operasional 1. Kerangka Kosep Valid? Definisi operasional konstruk2 valid menurut para ahli dan hasil penelitian sebelumnya. Mediator? (Mengapa, Bagaimana) Prediktor? (Intervensi) Kriterion? (Hasil) Moderator? (Ciri-ciri & keadaan Unit Analisis

Rancangan Penelitian Kuat? a. Rancangan Pengumpulan Data: Menggunakan alat atau prosedur yang valid? (berdasarkan hasil penelitian sebelumnya dan hasil validasi penelitian sekarang). Alat/prosedur digunakan secara konsisten? (berdasarkan hasil uji reliabilitas intra- dan inter- pengumpul data) Unit pengamatan & unit analisis tepat? (jenis dan jumlah? Total atau sample?).

b. Rancangan Pengolahan data: Menggunakan metoda statistik diskriptif dan statistik inferensial yg tepat? (memenuhi syarat-syarat penggunaan metoda yg bersangkutan) c. Rencangan Penafsiran data: Validitas Dalam rendah? (Effect Size kebetulan karena sampling error besar; Effect Size semu karena moderator2 spesifik dan variabel2 confounding diabaikan). Validitas Luar rendah? (banyak moderator2 spesifik dikendalikan)

CA dilakukan pada saat telaah pustaka  sebaiknya secara sistematis (Systematic Review/SR). SR Sebelumnya dilakukan oleh peneliti sebelumnya. SR Selanjutnya dilakukan oleh Mahasiswa S3 (dan pembimbing). CA makalah2 PE terkini pd SR Selanjutnya mengi-dentifikasi Masalah2 Penelitian (= masalah pd Kerangka Konsep, Rancangan Penelitian atau Pelaksanaan Penelitian). Keterbaruan/Keaslian Penelitian = upaya utk mengatasi masalah2 penelitian tsb. = mereplikasi (menanggapi) PE2 terkini yg masih bermasalah.

Sumber: http://www.openmedicine.ca/images/3/e123/figure1.png

“Check List” Hal yang Dinilai Memenuhi Syarat Keterangan Y T ? Kerangka Konsep Validitas pakar? Validitas empirik? Rancangan Penelitian 1. Pengumpulan Data Alat/Cara valid? Penggunaan Alat/cara reliabel? U Pengamatan & U Analisis tepat? 2. Pengolahan Data Penggunaan statistik deskriptif tepat? Penggunaan statistik inferensi tepat?

Hal yang Dinilai Memenuhi Syarat Keterangan Y T ? 3. Penafsiran Data Validitas Dalam – moderator2 diamati/dikendalikan/dimanipulasi? Validitas Dalam – variabel2 perancu dikendalikan? Validitas Luar? Pelaksanaan Penelitian Sesuai metoda pengumpulan data? Sesuai metoda pengolahan data? Sesuai metoda penafsiran data? Gaya & Format Penulisan Lugas? Tata Bahasa? Sesuai aturan tata tulis?

3. Pelaksanaan Penelitian Seksama 3. Pelaksanaan Penelitian Seksama? (penggunaan sumberdaya sesuai dengan metoda pengumpulan, pengolahan dan penafsiran data yang dirancang)

Contoh Makalah SR: Bergs, J. , Hellings, J. , Cleemput, I. , Zurel, O Contoh Makalah SR: Bergs, J., Hellings, J., Cleemput, I., Zurel, O., De Troyer, V., Van Hiel, M., Demeere, J.-L, Claeys, D., & Vandijck, D. (2014). Systematic review and meta-analysis of the effect of the World Health Organization surgical safety checklist on postoperative complications. British Journal of Surgery, 101: 150-158.

Masalah penelitian (awal): Apakah penerapan SSC WHO pada pembedahan mayor menurunkan komplikasi dan kematian pasca operasi? Karena diperlukan bukti yg lebih kuat, maka Tujuan Penelitian (awal): Melakukan RCT – pembedahan mayor ditempatkan secara acak ke Kelompok SSC dan ke kelompok kendali (prosedur biasanya/tanpa SSC atau checklist yg lain).

Untuk telaah makalah2 PE selanjutnya peneliti melacak dan mengCA makalah2 PE yg terbit setelah makalah PE terakhir yg direview penulis2 SR tsb. Contoh: Molina, G., Jiang, W., Edmondson, L., Gibbons, L., Huang, L. C., Kiang, M. V., ... & Singer, S. J. (2016). Implementation of the Surgical Safety Checklist in South Carolina Hospitals Is Associated with Improvement in Perceived Perioperative Safety. Journal of the American College of Surgeons.

Background Prior research suggests surgical safety checklists (SSCs) are associated with reductions in postoperative morbidity and mortality as well as improvement in teamwork and communication. These findings stem from evaluations of individual or small groups of hospitals. Studies with more hospitals have assessed the relationship of checklists with teamwork at a single point in time. The objective of this study was to evaluate the impact of a large-scale implementation of SSCs on staff perceptions of perioperative safety in the operating room.

Study Design As part of the Safe Surgery 2015 initiative to implement SSCs in South Carolina hospitals, we administered a validated survey designed to measure perception of multiple dimensions of perioperative safety among clinical operating room personnel before and after implementation of an SSC.

Results Thirteen hospitals administered baseline and follow-up surveys, separated by one to two years. Response rates were 48.4% at baseline (929/1921) and 42.7% (815/1909) at follow-up. Results suggest improvement in five of the five dimensions of teamwork (relative percent improvement ranged from +2.9% for coordination to +11.9% for communication). These were significant after adjusting for respondent characteristics, hospital fixed-effects, and multiple comparisons, and clustering robust standard errors by hospital (all p<0.05). More than half of respondents (54.1%) said their surgical teams always used checklists effectively; 73.6% said checklists had averted problems or complications.

Conclusions A large-scale initiative to implement SSCs is associated with improved staff perceptions of mutual respect, clinical leadership, assertiveness on behalf of safety, team coordination and communication, safe practice, and perceived checklist outcomes. Kesimpulan ini Valid/Logis?  Periksa Kerangka Konsep, Rancangan Penelitian & Pelaksanaan Penelitian

Ciri2 demografis, Peran Petugas, lama bertugas, Ciri2 RS Kerangka Konsep Landasan Teori? Cara Penggunaan SSC Persepsi SS Ciri2 demografis, Peran Petugas, lama bertugas, Ciri2 RS

 Hal yang Dinilai Memenuhi Syarat Keterangan Y T ? Kerangka Konsep Validitas pakar?  Landasan teori? Validitas empirik? H 16, Ref 30, 31.

DO (Cara) Penggunaan SSC: Pembacaan SSC sebelum memulai anestesi, sebelum insisi kulit dan sebelum pasien meninggalkan kamar operasi. (Mengundang RS peserta melakukan survei sebelum dan sesudah pelaksanaan program. Rangkaian webinar, bahan pelatihan dan alat evaluasi). DO Persepsi SS: penilaian ttg teamwork (respect, clinical leadership, assertiveness, coordination & communication), supportive context , kepatuhan safe pratice. Pre-intervensi: + Readiness. Post-intervensi: + proses & keberhasilan penggunaan SSC.

 Hal yang Dinilai Memenuhi Syarat Keterangan Y T ? Rancangan Penelitian 1. Pengumpulan Data Alat/Cara valid?  Validasi sebelum survei lihat Ref 14. Diujicoba setelah dimodifikasi? Validasi setelah survei tidak ada. Versi pendek utk dokter & klinisi. Penggunaan Alat/cara reliabel? Cetak, e-mail atau hibrid. Post-interven-tion survei antara 1-2 setelah menelai telah melaksanakan SS. U Pengamatan & U Analisis tepat? Response-rate rendah

 Hal yang Dinilai Memenuhi Syarat Keterangan Y T ? 2. Pengolahan Data Penggunaan statistik deskriptif tepat?  Penggunaan statistik inferensi tepat? Kemaknaan statistik tidak diperlukan.

Hal yang Dinilai Memenuhi Syarat Keterangan Y T ? 3. Penafsiran Data Validitas Dalam – moderator2 diamati/dikendalikan/dimanipulasi?  Validitas Dalam – variabel2 perancu dikendalikan? Menggunakan rancangan pre-exp. Validitas Luar? Moderator2 diamati & dianalisis. Pelaksanaan Penelitian Sesuai metoda pengumpulan data? Sesuai metoda pengolahan data? Sesuai metoda penafsiran data? Gaya & Format Penulisan Lugas? Tata Bahasa? Sesuai aturan tata tulis?