Penelitian Prognostik dan Sistem Skoring Denys Putra Alim Denys Lim 2015

Penelitian Prognostik Penelitian yang bertujuan untuk membuat model terbaik yang dapat memperkirakan nilai keluaran atau kemungkinan terjadinya keluaran subjek dengan karakteristik tertentu pada waktu mendatang dengan menggunakan faktor prognostik yang dimiliki oleh subjek tersebut saat ini. APGAR Score ? ? 0 menit 1 menit 5 menit Denys Lim 2015

Prinsip Penelitian Prognostik Keluaran: Kategorik vs Numerik Waktu: Detik-Hari-Bulan-Tahun Subjek: Relevan untuk dibuat prediksi Jumlah faktor prognostik: Satu atau lebih Sumber faktor prognostik: Klinis atau laboratoris Prinsip Penelitian Prognostik Model: Variasi akumulatif faktor prognostik Kualitas model: Statistik (Kalibrasi dan Diskriminasi) dan Klinis (Feasible) Model terbaik: Tarik ulur antara kalibrasi, diskriminasi, dan feasible. Sistem Skoring Denys Lim 2015

? ? Or Risk Factor Prognostic Factor APGAR Score 0 menit 1 menit Appearance Pulse Grimace Activity Respiration Prognostic factors: Factors associated with a particular outcome among disease subjects. Can predict good or bad outcome. Need not necessarily cause the outcome, just be associated with them strongly enough to predict their development. Ex: Age, co-morbidities, tumor size, severity of disease etc. Often different from disease risk factors e.g., BMI and pre-menopausal breast CA. Risk factors Distinct from prognostic factors, Include lifestyle behaviors and environmental exposures that are associated with the development of a target disorder. Ex: smoking = important risk factor for developing lung cancer, but tumor stage is the most important prognostic factor in individuals who have lung cancer. ? ? 0 menit 1 menit 5 menit Denys Lim 2015

Pemilihan Model Variabel prognostik Demografi Klinis Penunjang Sederhana Penunjang lanjut Model 3 Model 2 Model 1 Denys Lim 2015

Kualitas Model Baik bila p>0,05 Baik bila p<0,05 Statistik Kalibrasi Uji Hosmer & Lameshow Uji Anova Diskriminasi AUC Koefisien diskriminasi (R2) Klinis Kemampulaksanaan Biaya, ketersediaan, kecepatan, sumber daya manusia Nilai AUC Nilai R2 Kualitas diskriminasi 50%-60% 0%-4% Sangat lemah 60%-70% 4%-16% Lemah 70%-80% 16%-36% Sedang 80%-90% 36%-64% Kuat 90%-100% 64%-100% Sangat kuat Baik bila p>0,05 Baik bila p<0,05 Uji Hosmer-Lameshow dikatakan baik apabila p>0,05 yang berarti tidak ada perbedaan antara nilai observed dengan expected. Uji Anova dikatakan baik apabila p<0,05 Nilai observed (O) adalah nilai yang didapat pada subjek penelitian Nilai expected (E) adalah nilai yang seharusnya didapat apabila hipotesis nol diterima Denys Lim 2015

Model Terbaik dan Sistem Skoring ? Model 2 Model 3 Denys Lim 2015

Desain Studi Syarat prognostik adalah adanya temporalitas antara faktor prognostik dan hasil keluaran. Cohort Nested case control Case control Denys Lim 2015

Analisis Keluaran Kategorik Keluaran Numerik Kategorik N dan % N dan % Deskriptif Rerata dan simpang baku Rerata dan simpang baku Numerik T tidak berpasangan Mann-Whitney FP Kategorik Chi square dan RR Bivariat FP Kategorik Polikotom One way Anova Kruskal Wallis --- T tidak berpasangan Mann-Whitney Pearson, Spearman FP Numerik Multivariat Regresi Logistik Regresi Linier Sistem skoring Kalibrasi, diskriminasi, dan klinis Denys Lim 2015

Besar Sampel 10 x VB L VB = Jumlah faktor prognostik L = Insiden prognosis yang diteliti Denys Lim 2015

Validitas Penelitian Validitas seleksi Validitas informasi Uji kesesuaian intra-observer (Kappa dan Bland-Altman) Uji kesesuaian antar-observer (Kappa dan Bland-Altman) Validitas pengontrolan perancu Validitas eksterna Denys Lim 2015

Validitas Seleksi Probability sampling atau tidak Harus rendah Metode pengambilan sampel Participation rate Kriteria subjek Drop out Missing value Harus rendah Harus tinggi Harus jelas kriteria inklusi dan eksklusi Denys Lim 2015

Validitas Informasi Blinding, kompeten, uji kesesuaian intra dan antar pengamat Pengukur (Who) Cara ukur (How) Subjek (Whom) Blinding Yang diukur (What) Alat ukur (by What) Tempat (Where) Waktu (When) Alat ukur valid, dikalibrasi, dan sama Denys Lim 2015

Subjek yang diinginkan Validitas Eksterna Populasi Target Populasi Terjangkau Subjek yang diinginkan Subjek yang diteliti Validitas Eksterna II Validitas Eksterna Ib Validitas Eksterna Ia Validitas interna ditentukan oleh validitas seleksi, informasi, dan pengontrolan perancu. Validitas eksterna 1a baik apabila subjek yang diteliti “tidak berbeda” dengan subjek yang diinginkan. Artinya Participation rate harus tinggi dan dropout harus rendah. Validitas eksterna 1b baik apabila jumlah sampel terpenuhi dan pengambilan sampel secara random. Validitas eksterna 2 baik apabila akal sehat dapat menerima hasil generalisasi terhadap populasi target. Pertimbangan atas dasar logika semata. Validitas Interna Denys Lim 2015

Analisis Multivariat NEXT Denys Lim 2015

Kasus Analisis bivariat BPAK On Pump Meninggal Hidup p OR IK95% n % min mak Usia > 70 tahun 1 100.0 0.0 0.146* 0.125 ref 0.055 0.284 ≤ 70 tahun 5 12.5 35 87.5 Jenis Kelamin Perempuan 1.000 0.833 ref 0.720 0.964 Laki-laki 6 16.7 30 83.3 Fraksi Ejeksi ≤ 30% 50.0 0.274 6.800 ref 0.364 126.898 > 30% 12.8 34 87.2 Kreatinin > 1.2mg/dL 27.8 13 72.2 0.070* 8.462 ref 0.888 80.591 ≤ 1.2mg/dL 4.3 22 95.7 Diabetes Melitus Ya 2 10.5 17 89.5 0.668 0.529 ref 0.086 3.275 Tidak 4 18.2 18 81.8 Lama AoX > 90 menit 22.2 7 77.8 0.597 2.000 ref 0.303 13.221 ≤ 90 menit 28 Lama CPBT > 120 menit 11.1 8 88.9 0.675 ref 0.069 6.648 ≤ 120 menit 15.6 27 84.4 Lama rawat inap > 14 hari 23.8 16 76.3 0.184* 5.938 ref 0.627 56.202 ≤ 14 hari 5.0 19 95.0 Jumlah koroner 3 16.2 31 83.8 1.194 ref 1.036 1.375 < 3 Hipertensi 0.323 1.222 ref 1.041 1.435 Total 14.6 85.4 Denys Lim 2015

Sistem Skoring 1 1 + e-y p = p = Probabilitas e = Bilangan natural Euler (2,718281828459….) y = Persamaan logistik (a+b1x1+b2x2+…….+bixi) a = Konstanta b = Koefisien x = Variabel prognostik Denys Lim 2015

Kasus Analisis multivariat BPAK On Pump 1 1 + e-y Variabel B S.E. Sig. Exp(B) Langkah 2 Usia > 70 tahun 1,490 0,256 0.000 4,437 Kreatinin > 1.2mg/dL 1,386 0,303 0.001 3,999 Lama rawat inap > 14 hari 0,935 0,252 0.009 2,546 Konstanta -1,719 0,389 0,009 Y = a+b1x1+b2x2+…….+bixi Y = -1,719 + (1,49 x usia) + (1,386 x kreatinin) + (0,935 x lama rawat) Y = -1,719 + (1,49 x 1) + (1,386 x 1) + (0,935 x 0) Y = 1,157 p = 1 1 + e-y 76% Denys Lim 2015

Pembuatan Skoring Skor usia >70 tahun 2 poin; <70 tahun 0 poin Analisis multivariat BPAK On Pump Variabel B S.E. Langkah 1 B / S.E. Langkah 2 Langkah 1 / smallest Langkah 3 Pembulatan Usia > 70 tahun 1,490 0,256 5,816 1,5676 2 Kreatinin > 1.2mg/dL 1,386 0,303 4,578 1,2339 1 Lama rawat inap > 14 hari 0,935 0,252 3,710 Konstanta -1,719 0,389 Skor usia >70 tahun 2 poin; <70 tahun 0 poin Skor kreatinin >1,2mg/dL 1 poin; <1,2mg/dL 0 poin Skor lama rawat >14 hari 1 poin; <14 hari 0 poin Poin maks 4 Denys Lim 2015

Transformasi Data Transform  Recode into different variables Membuat total skor Transform  Compute (usia + kreatinin + lama rawat) Total skor untuk semua subjek Kategori Kode awal Kode sesuai skoring Transformasi Usia > 70 tahun 1 2 1  2 ≤ 70 tahun 2  0 Kreatinin > 1.2mg/dL 1  1 ≤ 1.2mg/dL Lama rawat inap > 14 hari ≤ 14 hari Denys Lim 2015

Denys Lim 2015

Membuat Model Skoring Analyze  Regression  Binary Masukkan variabel “klasifikasi prognosis” ke dalam Dependent Masukan variabel “totalskor” ke Covariates Option  Hosmer Lemeshow dan CI for Exp(B) Continue Pilih Probabilities pada Predicted values OK Denys Lim 2015

Denys Lim 2015

Variabel B S.E. Sig. Exp(B) Langkah 1 Total skor 0,646 0,061 0,000 1,908 Konstanta -1,825 0,377 0.000 0,008 Y = -1,825 + (0,646 x totalskor) Lakukan analisis ROC untuk menilai diskriminasi Graph/Analyze  ROC curve Denys Lim 2015

Denys Lim 2015

Menghitung Probabilitas Subjek Memiliki Prognosis Buruk Skor Pasien Konstanta Koefisien Y = -1,825 + (0,646 x totalskor) P = 1 / 1 + e-y -1,825 0,646 0,1389 1 -1,179 0,2352 2 -0,533 0,3698 3 0,113 0,5282 4 0,759 0,6811 Denys Lim 2015

Menentukan Titik Potong Microsoft Excel Denys Lim 2015

Validasi Model Prognostik Validitas Interna dan Eksterna valid Kemampuan Generalisasi (Generalizabiliti) Generalizabiliti Reproducability Transportability Subject Historical Geographical Spectrum Method Methodology Follow up Denys Lim 2015

Validasi Model Prognostik Level Validasi Komponen generalizability yang telah dievaluasi 0 Internal validation Reproducibility 1 Prospective validation Historic transportability Geographic transportability Methodologic transportability Spectrum transportability 2 Independent validation 3 Multisite validation 4 Multiple independent validations 5 Multiple independent validations with life-table analysis Follow up period transportability Level validasi model prognostik bergantung pada aspek generalizabiliti yang sudah terpenuhi. Denys Lim 2015

Kesimpulan Studi prognostik bertujuan untuk mencari model terbaik dalam memprediksi probabilitas keluaran yang akan terjadi pada subjek dengan faktor prognostik tertentu. Hati-hati dengan “statistical abuse”, tidak semua penelitian perlu dibuat sistem skoring. Denys Lim 2015

Finish! Denys Lim 2015

Analisis Kesintasan Denys Putra Alim Denys Lim 2015

Prognosis Risk factors Patients at risk of target event Prognostic factors Suffer target outcome Time Do not suffer target outcome Denys Lim 2015

Prinsip Kesintasan: Time is Matters!! Obat Subjek Durasi Outcome Insiden Incidence Rate (Hazard) Hazard Ratio X A 10 hari Sembuh 2/4 50% 2/37 0,054 0,054/0,03125 1,728 B 12 hari C 6 hari Meninggal D 9 hari Person Time (PT) 37 hari Y E 11 hari 2/64 0,03125 0,3125/0,054 0,5787 F 15 hari G 21 hari H 17 hari 64 hari Denys Lim 2015

Terminologi Median survival Survival rate at a particular time Survival curve Denys Lim 2015

Denys Lim 2015