Rossi Sanusi ProDi S3 FK UGM 2016 (http://rossisanusi.wordpress.com) Memanfaatkan Systematic Review & Meta Analisis dalam Penulisan Disertasi Rossi Sanusi ProDi S3 FK UGM 2016 (http://rossisanusi.wordpress.com)

Meta Analysis Analisis lanjutan penelitian-penelitian empirik (PE) sebelumnya ttg hubungan Intervensi/ Prediktor (X) dan Hasil/Kriterion (Y). Aggregate Data Meta Analysis (AD MA). Individual Participant Data Analysis (IPD MA).

Intervensi/ Prediktor X Y Intervensi/ Prediktor Hasil/ Kriterion ES Effect Size (ES) = kekuatan hubungan X-Y; dinyatakan dengan r, OR, RR, d (selisih mean baku atau selisih proporsi), dsb. AD-MA = ES dari PE2 sebelumnya digunakan untuk menghitung ES kombinasi. IPD-MA = Data dari PE2 sebelumnya digunakan untuk menghitung ES baru.

ES bermakna jika Valid (tidak bias, tidak kebetulan dan tidak rancu) dan ≥ ESmin. Tidak bias pada saat pengumpulan data, tidak kebetulan karena sampling error besar, dan tidak rancu karena variabel2 moderator tidak diabaikan. ESmin ditetapkan peneliti. Tergantung dari besar masalah, besar populasi yg mendapat manfaat, besar sumberdaya yg dibutuhkan.

Patokan Cohen: standardized mean difference effect size small = 0.20 medium = 0.50 large = 0.80 correlation coefficient small = 0.10 medium = 0.25 large = 0.40 odds-ratio small = 1.50 medium = 2.50 large = 4.30 Sumber: Wilson, D.B. (2010). Practical Meta-Analysis . Evaluators’ Institute.

Bedakan Korelasi (Kovariasi, saling berhubungan) dan Kausasi (hubungan sebab-akibat) Kriteria kausasi dari Bradford Hill: Korelasi kuat (bermakna) Konsisten Spesifik Temporalitas Dose-response Plausibilitas (Landasan teori?)

Koherensi (sesuai dgn perjalanan alamiah penyakit; masuk akal) Bukti experiment di lab Analogi (sesuai dgn hubungan2 serupa).

Konsisten? Definisi WHO -- Repeated observations of associations in different populations under different circumstances increase a belief that they are causal. But some effects are produced by their causes only under specific circumstances. (http://www.who.int/whr/2002/chapter2/en/index5.html) ES bermakna secara konsisten pada PE2 yang heterogen (PE replikasi) atau pada PE2 yang homogen (PE imitasi).

Non-exact replication – keragaman dalam 1/> hal tsb. Imitiasi (exact replication; pure replication) – kerangka konsep, rancangan penelitian dan pelaksanaan penelitian persis sama. Non-exact replication – keragaman dalam 1/> hal tsb. Replication Continuum   Imitasi Replikasi Kerangka konsep Sumber: http://psych.unl.edu/psycrs/971/meta/overview.pdf

Intervensi/ Prediktor Kerangka Konsep Landasan Teori (Mengapa? Bagaimana?) Intervensi/ Prediktor Hasil/ Kriterion Moderator (Kondisi? Situasi?)

Rancangan Penelitian Rancangan Pengumpulan Data – Alat yang valid digunakan secara reliabel pada unit pengamatan yang sesuai. Rancangan Pengolahan Data – Teknik statistik diskriptif dan inferensi yang sesuai dengan skala dan distribusi samplingnya. Rancangan Penafsiran Data – Perlakuan thd moderator2 spesifik dan non-spesifik untuk meningkatkan validitas dalam dan validitas luar.

Ketaatan Pelaksanaan Sampai seberapa jauh penelitian dilaksanakan sesuai dengan tujuan penelitian. Ketaatan dalam hal isi, cakupan, frekuensi dan lama intervensi. Yang dapat mempengaruhi ketaatan: kompleksitas intervensi, strategi memperlancar pelaksanaan, mutu pelaksanaan dan tanggapan subyek. Sumber: Carroll, C., Patterson, M., Wood, S., Booth, A., Rick, J., & Balain, S. (2007). A conceptual framework for implementation fidelity. Implementation Science, 2(1), 1.

Mengapa MA Diperlukan? Karena PE2 (replikasi maupun imitasi) menghasilkan ES yang beragam  Membingungkan pengguna hasil PE (praktisi, pembuat kebijakan, perencana, konsumen). IPD-MA merupakan standard emas SR karena dapat mengatasi bias publikasi dan mengendalikan/ mengamati variabel confounding spesifik. Sumber: Vale, C. L., Rydzewska, L. H., Rovers, M. M., Emberson, J. R., Gueyffier, F., & Stewart, L. A. (2015). Uptake of systematic reviews and meta-analyses based on individual participant data in clinical practice guidelines: descriptive study. bmj, 350, h1088.

AD-MA Asumsi 1: ES2 sebenarnya sama karena dihasilkan dari PE2 homogen, tetapi menjadi beragam karena besar sampelnya beragam (sampling error-nya beragam).  Fixed Effect Model (ES seragam, CI atau p beragam). Asumsi 2: ES2 beragam karena dihasilkan dari PE2 heterogen (walaupun memenuhi kriteria inklusi SR) dan dianggap merupakan sampel acak dari populasi ES  Random Effects Model (ES beragam, CI atau p beragam).

PE heterogen dlm hal kerangka konsep, rancangan penelitian dan pelaksanaan penelitian  varians antar PE Jika SR ketat dan semua PE yg tersaring homogen (PE imitasi), yang beragam hanya sampling error (SE)  Fixed Effect Model  ES gabungan = Jumlah total ES yg dibobot terbalik menurut besar SE dibagi jumlah PE. Jika SR meloloskan PE heterogen (PE replikasi)  Random Effects Model  ES gabungan = jumlah total ES yg dibobot terbalik menurut besar varians antar PE dan besar SE dibagi jumlah PE. Uji heterogenitas hanya untuk menguji apakah SE terlampau heterogen. Bagaimana menilai varians antar PE? Sumber: Borenstein, M., Hedges, L.V., Higgins, J.P.T, Rothstein, H.R. (2009). Introduction to Meta-Analysis , John Wiley & Sons, Ltd

Contoh: Cosgrove, L., Shi, L., Creasey, D. E., Anaya-McKivergan, M., Myers, J. A., & Huybrechts, K. F. (2011). Antidepressants and breast and ovarian cancer risk: a review of the literature and researchers' financial associations with industry. PLoS One, 6(4), e18210.

Figure 4. Empirical Bayes estimates of the study specific and the pooled estimate for SSRIs. Cosgrove L, Shi L, Creasey DE, Anaya-McKivergan M, Myers JA, et al. (2011) Antidepressants and Breast and Ovarian Cancer Risk: A Review of the Literature and Researchers' Financial Associations with Industry. PLoS ONE 6(4): e18210. doi:10.1371/journal.pone.0018210 http://journals.plos.org/plosone/article?id=info:doi/10.1371/journal.pone.0018210

Forest Plot (blobbogram) “Can't see the forest for the trees “  tidak bisa melihat macro-nya. (http://www.dictionary.com/browse/can-t-see-the-forest-for-the-tree) Simbol2 yg digunakan pada forest plot ES & CI dari PE ES & CI Gabungan

MA memerlukan SR Untuk menjaring dan menyaring secara obyektif PE2 yang memenuhi kriteria yang jelas dalam hal kerangka konsep, rancangan penelitian & pelaksanaan penelitian. Menjaring melalui mesin2 pencari dan secara manual (termasuk yang dirujuk oleh tulisan/ ahli; yang tidak dipublikasi). Menyaring untuk mendeteksi duplikasi, isi tidak sesuai dgn judul/abstrak, dan PE tidak bermutu (melalui critical appraisal).

Figure 1. Literature search and study selection. Cosgrove L, Shi L, Creasey DE, Anaya-McKivergan M, Myers JA, et al. (2011) Antidepressants and Breast and Ovarian Cancer Risk: A Review of the Literature and Researchers' Financial Associations with Industry. PLoS ONE 6(4): e18210. doi:10.1371/journal.pone.0018210 http://journals.plos.org/plosone/article?id=info:doi/10.1371/journal.pone.0018210

Figure 2. Summary of results. Cosgrove L, Shi L, Creasey DE, Anaya-McKivergan M, Myers JA, et al. (2011) Antidepressants and Breast and Ovarian Cancer Risk: A Review of the Literature and Researchers' Financial Associations with Industry. PLoS ONE 6(4): e18210. doi:10.1371/journal.pone.0018210 http://journals.plos.org/plosone/article?id=info:doi/10.1371/journal.pone.0018210

Menggunakan MA untuk Menulis Disertasi SR untuk menulis Bab II: Jika belum ada, atau ada tapi mutu kurang  mulai SR dari awal. Jika ada dan bermutu: Imitasi dan updating Replikasi dan updating (memperbaiki kerangka konsep, rancangan penelitian dan/atau pelaksanaan penelitia). SR untuk menulis Bab2 lain: sintesis (kualitatif dan MA)  kerangka konsep & hipotesis2 penelitian (akhir Bab II), rancangan & metoda penelitian (Bab III) & pelaksanaan penelitian (Bab IV).

Mutu SR kurang (Lihat Funnel Plot): Penjaringan: Publication Bias, English Language Bias, Citation Bias. Penyaringan: Critical appraisal kurang ketat dan kurang obyektif. Sintesis: Sintesis kualitatif kurang komprehensif dan kurang obyektif; Sintesis kuantitatif (PE2 banyak & cukup homogen?).

Figure 3. Funnel plot evaluating the presence of publication bias. Cosgrove L, Shi L, Creasey DE, Anaya-McKivergan M, Myers JA, et al. (2011) Antidepressants and Breast and Ovarian Cancer Risk: A Review of the Literature and Researchers' Financial Associations with Industry. PLoS ONE 6(4): e18210. doi:10.1371/journal.pone.0018210 http://journals.plos.org/plosone/article?id=info:doi/10.1371/journal.pone.0018210

Alasan Lain SR: Utk mengidentifikasi Keaslian/Keterbaruan Penelitian – apa yang akan dilakukan peneliti utk memperkuat bukti ES bermakna jika hasil SR sebelumnya dan SR selanjutnya (sampai PE terkini yg akan dilakukan peneliti) masih menunjukkan kerangka konsep yg kurang valid, rancangan penelitian yg kurang robust atau pelaksanaan penelitian yg kurang fidelity. Utk merumuskan masalah penelitian – tetap mepertanyakan hubungan X-Y karena bukti belum kuat. Utk merumuskan tujuan penelitian Utk menyusun Latar Belakang: rekam jejak PE-PE