Menggunakan Meta Analisis untuk Menulis Disertasi Rossi Sanusi ProDi S3 FK UGM 5 & 6 September 2016 (http://rossisanusi.wordpress.com)

Pokok2 yg akan dibahas Apa itu Meta Analisis (MA). Mengapa MA dilakukan. Mengapa MA perlu systematic review (SR). Menggunakan MA untuk menulis disertasi . Disertasi MA yang layak. ...

1. Apa itu MA? MA = Analisis lanjutan; Analisis dari analisis. http://etymonline.com/: Meta = 1. setelah, di belakang; 2. diganti, dirubah; 3. lebih tinggi, melampaui. Analisis = penguraian; pemeriksaan lebih dekat. Sintesis = penggabungan; penyimpulan.

Menganalisis hasil analisis penelitian2 empirik (PE) sebelumnya ttg hubungan Intervensi/ Prediktor (X) dan Hasil/Kriterion (Y). Effect Size (ES) = kekuatan hubungan X-Y; dinyatakan dengan r, OR, d (selisih mean baku atau selisih proporsi), dsb. ES bermakna (kekuatan hubungan penting) jika Valid (tidak bias, tidak kebetulan dan tidak rancu) dan ≥ ESmin. ESmin ditetapkan peneliti. Tergantung dari besar masalah, besar populasi yg mendapat manfaat, besar sumberdaya yg dibutuhkan.

Patokan Cohen: standardized mean difference effect size small = 0.20 medium = 0.50 large = 0.80 correlation coefficient small = 0.10 medium = 0.25 large = 0.40 odds-ratio small = 1.50 medium = 2.50 large = 4.30 Sumber: Wilson, D.B. (2010). Practical Meta-Analysis . Evaluators’ Institute.

Bedakan Korelasi (Kovariasi, saling berhubungan) dan Kausasi (hubungan sebab-akibat) Kriteria kausasi dari Bradford Hill: Korelasi kuat (bermakna) Konsisten Spesifik Temporalitas Dose-response Plausibilitas (Landasan teori?)

Koherensi (sesuai dgn perjalanan alamiah penyakit; masuk akal) Bukti experiment di lab Analogi (sesuai dgn hubungan2 serupa).

Konsisten? Definisi WHO -- Repeated observations of associations in different populations under different circumstances increase a belief that they are causal. But some effects are produced by their causes only under specific circumstances. (http://www.who.int/whr/2002/chapter2/en/index5.html) ES bermakna secara konsisten pada PE2 yang heterogen (PE replikasi) atau pada PE2 yang homogen (PE imitasi).

Non-exact replication – keragaman dalam 1/> hal tsb. Imitiasi (exact replication; pure replication) – kerangka konsep, rancangan penelitian dan pelaksanaan penelitian persis sama. Non-exact replication – keragaman dalam 1/> hal tsb. Replication Continuum   Imitasi Replikasi Kerangka konsep Sumber: http://psych.unl.edu/psycrs/971/meta/overview.pdf

Intervensi/ Prediktor Kerangka Konsep Landasan Teori (Mengapa? Bagaimana?) Intervensi/ Prediktor Hasil/ Kriterion Moderator (Kondisi? Situasi?)

Rancangan Penelitian Rancangan Pengumpulan Data – Alat yang valid digunakan secara reliabel pada unit pengamatan yang sesuai. Rancangan Pengolahan Data – Teknik statistik diskriptif dan inferensi yang sesuai dengan skala dan distribusi samplingnya. Rancangan Penafsiran Data – perlakuan thd moderator2 spesifik dan non-spesifik untuk meningkatkan validitas dalam dan validitas luar.

Ketaatan Pelaksanaan Sampai seberapa jauh penelitian dilaksanakan sesuai dengan tujuan penelitian. Ketaatan dalam hal isi, cakupan, frekuensi dan lama intervensi. Yang dapat mempengaruhi ketaatan: kompleksitas intervensi, strategi memperlancar pelaksanaan, mutu pelaksanaan dan tanggapan subyek. Sumber: Carroll, C., Patterson, M., Wood, S., Booth, A., Rick, J., & Balain, S. (2007). A conceptual framework for implementation fidelity. Implementation Science, 2(1), 1.

2. Mengapa MA ? Karena PE2 (replikasi maupun imitasi) menghasilkan ES yang beragam  Membingungkan pengguna hasil PE (praktisi, pembuat kebijakan, perencana, konsumen). Simpson’s Paradox.

Asumsi 1: ES2 sebenarnya sama karena dihasilkan dari PE2 homogen, tetapi menjadi beragam karena besar sampelnya beragam (sampling error-nya beragam).  Fixed Effect Model (ES seragam, CI atau p beragam). Asumsi 2: ES2 beragam karena dihasilkan dari PE2 heterogen (walaupun memenuhi kriteria inklusi SR) dan dianggap merupakan sampel acak dari populasi ES  Random Effects Model (ES beragam, CI atau p beragam).

PE heterogen dlm hal kerangka konsep, rancangan penelitian dan pelaksanaan penelitian  varians antar PE Jika SR ketat dan semua PE yg tersaring homogen (PE imitasi), yang beragam hanya sampling error (SE)  Fixed Effect Model  ES gabungan = Jumlah total ES yg dibobot terbalik menurut besar SE dibagi jumlah PE. Jika SR meloloskan PE heterogen (PE replikasi)  Random Effects Model  ES gabungan = jumlah total ES yg dibobot terbalik menurut besar varians antar PE dan besar SE dibagi jumlah PE. Uji heterogenitas hanya untuk menguji apakah SE terlampau heterogen. Bagaimana menilai varians antar PE? Sumber: Borenstein, M., Hedges, L.V., Higgins, J.P.T, Rothstein, H.R. (2009). Introduction to Meta-Analysis , John Wiley & Sons, Ltd

Contoh: Cosgrove, L., Shi, L., Creasey, D. E., Anaya-McKivergan, M., Myers, J. A., & Huybrechts, K. F. (2011). Antidepressants and breast and ovarian cancer risk: a review of the literature and researchers' financial associations with industry. PLoS One, 6(4), e18210.

Figure 4. Empirical Bayes estimates of the study specific and the pooled estimate for SSRIs. Cosgrove L, Shi L, Creasey DE, Anaya-McKivergan M, Myers JA, et al. (2011) Antidepressants and Breast and Ovarian Cancer Risk: A Review of the Literature and Researchers' Financial Associations with Industry. PLoS ONE 6(4): e18210. doi:10.1371/journal.pone.0018210 http://journals.plos.org/plosone/article?id=info:doi/10.1371/journal.pone.0018210

Forest Plot (blobbogram) “Can't see the forest for the trees “  tidak bisa melihat macro-nya. (http://www.dictionary.com/browse/can-t-see-the-forest-for-the-tree) Simbol2 yg digunakan pada forest plot

3. Mengapa MA memerlukan SR Untuk menjaring dan menyaring secara obyektif PE2 yang memenuhi kriteria yang jelas dalam hal kerangka konsep, rancangan penelitian & pelaksanaan penelitian. Menjaring melalui mesin2 pencari dan secara manual (termasuk yang dirujuk oleh tulisan/ ahli; yang tidak dipublikasi). Menyaring untuk mendeteksi duplikasi, isi tidak sesuai dgn judul/abstrak, dan PE tidak bermutu (melalui critical appraisal).

Figure 1. Literature search and study selection. Cosgrove L, Shi L, Creasey DE, Anaya-McKivergan M, Myers JA, et al. (2011) Antidepressants and Breast and Ovarian Cancer Risk: A Review of the Literature and Researchers' Financial Associations with Industry. PLoS ONE 6(4): e18210. doi:10.1371/journal.pone.0018210 http://journals.plos.org/plosone/article?id=info:doi/10.1371/journal.pone.0018210

Figure 2. Summary of results. Cosgrove L, Shi L, Creasey DE, Anaya-McKivergan M, Myers JA, et al. (2011) Antidepressants and Breast and Ovarian Cancer Risk: A Review of the Literature and Researchers' Financial Associations with Industry. PLoS ONE 6(4): e18210. doi:10.1371/journal.pone.0018210 http://journals.plos.org/plosone/article?id=info:doi/10.1371/journal.pone.0018210

4. Menggunakan MA untuk Menulis Disertasi Semua bentuk disertasi: SR untuk menulis Bab II  sintesis (kualitatif dan MA)  kerangka konsep & hipotesis2 penelitian (akhir Bab II), rancangan & metoda penelitian (Bab III) & pelaksanaan penelitian (Bab IV). Disertasi berupa SR dengan MA: Topik (Masalah Praktis)  Kata2 kunci  Menjaring & Menyaring makalah2 SR dgn MA  ada /belum ada?

Jika belum ada, atau ada tapi mutu kurang  mulai dari awal  Melakukan SR dgn MA. Jika ada dan bermutu: Imitasi dan updating Replikasi dan updating (memperbaiki kerangka konsep, rancangan penelitian dan/atau pelaksanaan penelitia).

Mutu SR kurang (Lihat Funnel Plot): Penjaringan: Publication Bias, English Language Bias, Citation Bias. Penyaringan: Critical appraisal kurang ketat dan kurang obyektif. Sintesis: Sintesis kualitatif kurang komprehensif dan kurang obyektif; Sintesis kuantitatif (PE2 banyak & cukup homogen?).

Figure 3. Funnel plot evaluating the presence of publication bias. Cosgrove L, Shi L, Creasey DE, Anaya-McKivergan M, Myers JA, et al. (2011) Antidepressants and Breast and Ovarian Cancer Risk: A Review of the Literature and Researchers' Financial Associations with Industry. PLoS ONE 6(4): e18210. doi:10.1371/journal.pone.0018210 http://journals.plos.org/plosone/article?id=info:doi/10.1371/journal.pone.0018210

Sources of asymmetry in funnel plots Publication bias Location biases: English language bias Citation bias Multiple publication bias True heterogeneity Size of effect differs according to study size: Intensity of intervention Differences in underlying risk Data irregularities Poor methodological design of small studies Inadequate analysis Fraud Artefactual Choice of effect measure Chance Sumber: Egger, M., Smith, G. D., Schneider, M., & Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test. Bmj, 315(7109), 629-634.

Borenstein, et al. (2009): Meta-analysis refers to the statistical synthesis of results from a series of studies. While the statistical procedures used in a meta-analysis can be applied to any set of data, the synthesis will be meaningful only if the studies have been collected systematically. This could be in the context of a systematic review, the process of systematically locating, appraising, and then synthesizing data from a large number of sources. Or, it could be in the context of synthesizing data from a select group of studies, such as those conducted by a pharmaceutical company to assess the efficacy of a new drug.

Alasan Lain SR: Utk mengidentifikasi Keaslian/Keterbaruan Penelitian – apa yang akan dilakukan peneliti utk memperkuat bukti ES bermakna jika hasil SR sebelumnya dan SR selanjutnya (sampai PE terkini yg akan dilakukan peneliti) masih menunjukkan kerangka konsep yg kurang valid, rancangan penelitian yg kurang robust atau pelaksanaan penelitian yg kurang fidelity. Utk merumuskan masalah penelitian – tetap mepertanyakan hubungan X-Y karena bukti belum kuat. Utk merumuskan tujuan penelitian Utk menyusun Latar Belakang: rekam jejak PE-PE

5. Disertasi MA yang layak Keaslian Penelitian – memecahkan Masalah Penelitian yg terkini (yang diidentifikasi SR terkini). Manfaat Penelitian: Manfaat Praktis (memberi bukti yang lebih kuat untuk Evidence Based Medicine dan Evidence Based PH) dan Manfaat Teoretis (menguji landasan teori – meneliti hubungan X-Mediator-Y). MA & Pooled Data Analyis prospektif (PE2 mulit-center/peneliti).