Penelitian Prognostik dan Sistem Skoring

Presentasi berjudul: "Penelitian Prognostik dan Sistem Skoring"— Transcript presentasi:

1 Penelitian Prognostik dan Sistem Skoring
Denys Putra Alim Denys Lim 2015

2 Penelitian Prognostik
Penelitian yang bertujuan untuk membuat model terbaik yang dapat memperkirakan nilai keluaran atau kemungkinan terjadinya keluaran subjek dengan karakteristik tertentu pada waktu mendatang dengan menggunakan faktor prognostik yang dimiliki oleh subjek tersebut saat ini. APGAR Score ? ? 0 menit 1 menit 5 menit Denys Lim 2015

3 Prinsip Penelitian Prognostik
Keluaran: Kategorik vs Numerik Waktu: Detik-Hari-Bulan-Tahun Subjek: Relevan untuk dibuat prediksi Jumlah faktor prognostik: Satu atau lebih Sumber faktor prognostik: Klinis atau laboratoris Prinsip Penelitian Prognostik Model: Variasi akumulatif faktor prognostik Kualitas model: Statistik (Kalibrasi dan Diskriminasi) dan Klinis (Feasible) Model terbaik: Tarik ulur antara kalibrasi, diskriminasi, dan feasible. Sistem Skoring Denys Lim 2015

4 ? ? Or Risk Factor Prognostic Factor APGAR Score 0 menit 1 menit
Appearance Pulse Grimace Activity Respiration Prognostic factors: Factors associated with a particular outcome among disease subjects. Can predict good or bad outcome. Need not necessarily cause the outcome, just be associated with them strongly enough to predict their development. Ex: Age, co-morbidities, tumor size, severity of disease etc. Often different from disease risk factors e.g., BMI and pre-menopausal breast CA. Risk factors Distinct from prognostic factors, Include lifestyle behaviors and environmental exposures that are associated with the development of a target disorder. Ex: smoking = important risk factor for developing lung cancer, but tumor stage is the most important prognostic factor in individuals who have lung cancer. ? ? 0 menit 1 menit 5 menit Denys Lim 2015

5 Pemilihan Model Variabel prognostik Demografi Klinis
Penunjang Sederhana Penunjang lanjut Model 3 Model 2 Model 1 Denys Lim 2015

6 Kualitas Model Baik bila p>0,05 Baik bila p<0,05
Statistik Kalibrasi Uji Hosmer & Lameshow Uji Anova Diskriminasi AUC Koefisien diskriminasi (R2) Klinis Kemampulaksanaan Biaya, ketersediaan, kecepatan, sumber daya manusia Nilai AUC Nilai R2 Kualitas diskriminasi 50%-60% 0%-4% Sangat lemah 60%-70% 4%-16% Lemah 70%-80% 16%-36% Sedang 80%-90% 36%-64% Kuat 90%-100% 64%-100% Sangat kuat Baik bila p>0,05 Baik bila p<0,05 Uji Hosmer-Lameshow dikatakan baik apabila p>0,05 yang berarti tidak ada perbedaan antara nilai observed dengan expected. Uji Anova dikatakan baik apabila p<0,05 Nilai observed (O) adalah nilai yang didapat pada subjek penelitian Nilai expected (E) adalah nilai yang seharusnya didapat apabila hipotesis nol diterima Denys Lim 2015

7 Model Terbaik dan Sistem Skoring
? Model 2 Model 3 Denys Lim 2015

8 Desain Studi Syarat prognostik adalah adanya temporalitas antara faktor prognostik dan hasil keluaran. Cohort Nested case control Case control Denys Lim 2015

9 Analisis Keluaran Kategorik Keluaran Numerik Kategorik N dan % N dan %
Deskriptif Rerata dan simpang baku Rerata dan simpang baku Numerik T tidak berpasangan Mann-Whitney FP Kategorik Chi square dan RR Bivariat FP Kategorik Polikotom One way Anova Kruskal Wallis --- T tidak berpasangan Mann-Whitney Pearson, Spearman FP Numerik Multivariat Regresi Logistik Regresi Linier Sistem skoring Kalibrasi, diskriminasi, dan klinis Denys Lim 2015

10 Besar Sampel 10 x VB L VB = Jumlah faktor prognostik
L = Insiden prognosis yang diteliti Denys Lim 2015

11 Validitas Penelitian Validitas seleksi Validitas informasi
Uji kesesuaian intra-observer (Kappa dan Bland-Altman) Uji kesesuaian antar-observer (Kappa dan Bland-Altman) Validitas pengontrolan perancu Validitas eksterna Denys Lim 2015

12 Validitas Seleksi Probability sampling atau tidak Harus rendah
Metode pengambilan sampel Participation rate Kriteria subjek Drop out Missing value Harus rendah Harus tinggi Harus jelas kriteria inklusi dan eksklusi Denys Lim 2015

13 Validitas Informasi Blinding, kompeten, uji kesesuaian intra dan antar pengamat Pengukur (Who) Cara ukur (How) Subjek (Whom) Blinding Yang diukur (What) Alat ukur (by What) Tempat (Where) Waktu (When) Alat ukur valid, dikalibrasi, dan sama Denys Lim 2015

14 Subjek yang diinginkan
Validitas Eksterna Populasi Target Populasi Terjangkau Subjek yang diinginkan Subjek yang diteliti Validitas Eksterna II Validitas Eksterna Ib Validitas Eksterna Ia Validitas interna ditentukan oleh validitas seleksi, informasi, dan pengontrolan perancu. Validitas eksterna 1a baik apabila subjek yang diteliti “tidak berbeda” dengan subjek yang diinginkan. Artinya Participation rate harus tinggi dan dropout harus rendah. Validitas eksterna 1b baik apabila jumlah sampel terpenuhi dan pengambilan sampel secara random. Validitas eksterna 2 baik apabila akal sehat dapat menerima hasil generalisasi terhadap populasi target. Pertimbangan atas dasar logika semata. Validitas Interna Denys Lim 2015

15 Analisis Multivariat NEXT Denys Lim 2015

16 Kasus Analisis bivariat BPAK On Pump Meninggal Hidup p OR IK95% n %
min mak Usia > 70 tahun 1 100.0 0.0 0.146* 0.125 ref 0.055 0.284 ≤ 70 tahun 5 12.5 35 87.5 Jenis Kelamin Perempuan 1.000 0.833 ref 0.720 0.964 Laki-laki 6 16.7 30 83.3 Fraksi Ejeksi ≤ 30% 50.0 0.274 6.800 ref 0.364 > 30% 12.8 34 87.2 Kreatinin > 1.2mg/dL 27.8 13 72.2 0.070* 8.462 ref 0.888 80.591 ≤ 1.2mg/dL 4.3 22 95.7 Diabetes Melitus Ya 2 10.5 17 89.5 0.668 0.529 ref 0.086 3.275 Tidak 4 18.2 18 81.8 Lama AoX > 90 menit 22.2 7 77.8 0.597 2.000 ref 0.303 13.221 ≤ 90 menit 28 Lama CPBT > 120 menit 11.1 8 88.9 0.675 ref 0.069 6.648 ≤ 120 menit 15.6 27 84.4 Lama rawat inap > 14 hari 23.8 16 76.3 0.184* 5.938 ref 0.627 56.202 ≤ 14 hari 5.0 19 95.0 Jumlah koroner 3 16.2 31 83.8 1.194 ref 1.036 1.375 < 3 Hipertensi 0.323 1.222 ref 1.041 1.435 Total 14.6 85.4 Denys Lim 2015

17 Sistem Skoring 1 1 + e-y p = p = Probabilitas
e = Bilangan natural Euler (2, ….) y = Persamaan logistik (a+b1x1+b2x2+…….+bixi) a = Konstanta b = Koefisien x = Variabel prognostik Denys Lim 2015

18 Kasus Analisis multivariat BPAK On Pump 1 1 + e-y
Variabel B S.E. Sig. Exp(B) Langkah 2 Usia > 70 tahun 1,490 0,256 0.000 4,437 Kreatinin > 1.2mg/dL 1,386 0,303 0.001 3,999 Lama rawat inap > 14 hari 0,935 0,252 0.009 2,546 Konstanta -1,719 0,389 0,009 Y = a+b1x1+b2x2+…….+bixi Y = -1,719 + (1,49 x usia) + (1,386 x kreatinin) + (0,935 x lama rawat) Y = -1,719 + (1,49 x 1) + (1,386 x 1) + (0,935 x 0) Y = 1,157 p = 1 1 + e-y 76% Denys Lim 2015

19 Pembuatan Skoring Skor usia >70 tahun 2 poin; <70 tahun 0 poin
Analisis multivariat BPAK On Pump Variabel B S.E. Langkah 1 B / S.E. Langkah 2 Langkah 1 / smallest Langkah 3 Pembulatan Usia > 70 tahun 1,490 0,256 5,816 1,5676 2 Kreatinin > 1.2mg/dL 1,386 0,303 4,578 1,2339 1 Lama rawat inap > 14 hari 0,935 0,252 3,710 Konstanta -1,719 0,389 Skor usia >70 tahun 2 poin; <70 tahun 0 poin Skor kreatinin >1,2mg/dL 1 poin; <1,2mg/dL 0 poin Skor lama rawat >14 hari 1 poin; <14 hari 0 poin Poin maks 4 Denys Lim 2015

20 Transformasi Data Transform  Recode into different variables
Membuat total skor Transform  Compute (usia + kreatinin + lama rawat) Total skor untuk semua subjek Kategori Kode awal Kode sesuai skoring Transformasi Usia > 70 tahun 1 2 1  2 ≤ 70 tahun 2  0 Kreatinin > 1.2mg/dL 1  1 ≤ 1.2mg/dL Lama rawat inap > 14 hari ≤ 14 hari Denys Lim 2015

21 Denys Lim 2015

22 Membuat Model Skoring Analyze  Regression  Binary
Masukkan variabel “klasifikasi prognosis” ke dalam Dependent Masukan variabel “totalskor” ke Covariates Option  Hosmer Lemeshow dan CI for Exp(B) Continue Pilih Probabilities pada Predicted values OK Denys Lim 2015

23 Denys Lim 2015

24 Variabel B S.E. Sig. Exp(B) Langkah 1 Total skor 0,646 0,061 0,000 1,908 Konstanta -1,825 0,377 0.000 0,008 Y = -1,825 + (0,646 x totalskor) Lakukan analisis ROC untuk menilai diskriminasi Graph/Analyze  ROC curve Denys Lim 2015

25 Denys Lim 2015

26 Menghitung Probabilitas Subjek Memiliki Prognosis Buruk
Skor Pasien Konstanta Koefisien Y = -1,825 + (0,646 x totalskor) P = 1 / 1 + e-y -1,825 0,646 0,1389 1 -1,179 0,2352 2 -0,533 0,3698 3 0,113 0,5282 4 0,759 0,6811 Denys Lim 2015

27 Menentukan Titik Potong
Microsoft Excel Denys Lim 2015

28 Validasi Model Prognostik
Validitas Interna dan Eksterna valid Kemampuan Generalisasi (Generalizabiliti) Generalizabiliti Reproducability Transportability Subject Historical Geographical Spectrum Method Methodology Follow up Denys Lim 2015

29 Validasi Model Prognostik
Level Validasi Komponen generalizability yang telah dievaluasi 0 Internal validation Reproducibility 1 Prospective validation Historic transportability Geographic transportability Methodologic transportability Spectrum transportability 2 Independent validation 3 Multisite validation 4 Multiple independent validations 5 Multiple independent validations with life-table analysis Follow up period transportability Level validasi model prognostik bergantung pada aspek generalizabiliti yang sudah terpenuhi. Denys Lim 2015

30 Kesimpulan Studi prognostik bertujuan untuk mencari model terbaik dalam memprediksi probabilitas keluaran yang akan terjadi pada subjek dengan faktor prognostik tertentu. Hati-hati dengan “statistical abuse”, tidak semua penelitian perlu dibuat sistem skoring. Denys Lim 2015

31 Finish! Denys Lim 2015

32 Analisis Kesintasan Denys Putra Alim Denys Lim 2015

33 Prognosis Risk factors Patients at risk of target event
Prognostic factors Suffer target outcome Time Do not suffer target outcome Denys Lim 2015

34 Prinsip Kesintasan: Time is Matters!!
Obat Subjek Durasi Outcome Insiden Incidence Rate (Hazard) Hazard Ratio X A 10 hari Sembuh 2/4 50% 2/37 0,054 0,054/0,03125 1,728 B 12 hari C 6 hari Meninggal D 9 hari Person Time (PT) 37 hari Y E 11 hari 2/64 0,03125 0,3125/0,054 0,5787 F 15 hari G 21 hari H 17 hari 64 hari Denys Lim 2015

35 Terminologi Median survival Survival rate at a particular time
Survival curve Denys Lim 2015

36 Denys Lim 2015