Method Validation

Definisi Validasi metode (MV) adalah suatu proses yang digunakan untuk memastikan bahwa sebuah prosedur analisis yang digunakan untuk pemeriksaan tes tertentu sesuai dengan peruntukannya. Hasil dari validasi metode ini dapat digunakan untuk menilai kualitas, reliabilitas dan konsistensi dari hasil pemeriksaan tes tersebut. *sumber: Ludwig Huber, Validation and Qualification in Analytical Laboratories, 1998

Kapan MV diaplikasikan? Metode analisis perlu divalidasi atau divalidasi ulang • sebelum digunakan rutin; • setiap kali ada kondisi berubah dari metode yang telah divalidasi (misalnya, alat dengan karakteristik berbeda atau sampel dengan matriks yang berbeda); dan • setiap kali metode diubah dan perubahannya berada di luar lingkup asli metode. *sumber: Ludwig Huber, Validation and Qualification in Analytical Laboratories, 1998

ISO 15189 5.5.1.1 Validation of Examination Process “ When changes are made to a validated examination procedure, the influence of such changes shall be documented and, if appropriate, a new validation shall be carried out”

ISO 15189 5.5.1.1 Validation of Examination Process NOTE 1 Performance characteristics of an examination procedure may include: [emphasis added here] measurement trueness, measurement accuracy, measurement precision including measurement repeatability and measurement reproducibility; measurement uncertainty, analytical specificity, including interfering substances, analytical sensitivity, detection limit and quantitation limit (limits of linearity, linearity), diagnostic specificity and sensitivity.

ISO 15189 5.5.1.1 Validation of Examination Process NOTE 2 The means to be used for the determination of the performance characteristics of a procedure may be one of or a combination of the following:  a) testing of calibration or reference measurement standards, or using reference measurement procedures;  b) internal quality control data;  c) use of patient samples with properties defined for the examinand, stability, and homogeneity;  d) comparison of results achieved with other methods;  e) inter laboratory comparisons;  f) systematic assessment of the factors influencing the results;  g) presence of carryover of material from a preceding high concentration sample, when applicable, and  h) presence of interferences or non-specificity that may be caused by, for example, metabolic or endogenous substances in the sample. The laboratory shall document the procedure used for the validation and record the results obtained.

ISO 15189 5.5.1.2 Verification of Examination Process Examination procedures from method developers that are used without modification shall be subject to verification before being introduced into routine use.   When examination procedures have been validated by the manufacturer, the laboratory shall obtain information from the provider for confirming the performance characteristics of the procedure. The verification shall confirm, through provision of objective evidence (performance characteristics) that the performance claims for the examination method have been met. The performance claims for the examination method confirmed during the verification process shall be those relevant to the intended use of the examination results. The laboratory shall document the procedure used for the verification and record the results obtained.

Verification ≠ Validation “as advertised” Manufacturer claims fulfilled  Does NOT equate claims with appropriate performance!!  Shorter studies, but more complex statistics As needed for good patient care  Lab must establish appropriate TEa’s “Traditional” studies, with longer term, more data, and simpler statistics Final conclusion can integrate Six Sigma metrics

Bagaimana MV diaplikasikan? Definisikan kualitas yang dibutuhkan untuk suatu tes (TEa) Pilihlah percobaan-percobaan yang sesuai untuk mengestimasi kesalahan-kesalahan analitis Kumpulkan data-data yang dibutuhkan Lakukan analisis data statistik yang benar untuk memperkirakan besarnya error yang ditemukan Bandingkan error yang ditemukan dengan TEa Tentukan akseptabilitas – Six Sigma

Definisikan kualitas yang dibutuhkan untuk suatu tes (TEa) Tentukan Total Allowable Errors (TEa) PT/EQA groups CLIA RCPA Rilibak Biological Variation Database “Ricos Goals” (http://www.westgard.com/biodatabase1.htm) SIGMA VP PROGRAM

Pilihlah jenis percobaan yang sesuai untuk mengestimasi error Studi MV adalah untuk menentukan sejauh mana error yang dapat terjadi pada suatu metode pemeriksaan Jenis error apa saja yang dapat terjadi pada suatu proses analisis tes? Pengujian apa saja yang bisa digunakan untuk memperkirakan error tersebut? Bagaimana eksperimen-eksperimen tersebut diatur agar bisa menghasilkan studi yang efisien?

Jenis-jenis Error

Jenis-jenis Pengujian Linearity : menganalisa serangkaian linear sample dengan konsentrasi tertentu untuk menentukan rentang pengukuran yang dapat dilaporkan Replication : menganalisa sample lebih dari sekali untuk memperkirakan “random error” Detection Limit : replikasi pada konsentrasi sangat rendah Interference : penambahan bahan yang bisa mempengaruhi pemeriksaan sample untuk melihat apakah bahan tersebut dapat mengubah hasil pemeriksaan Recovery : menambahkan analit pengujian untuk melihat apakah bisa terukur seluruhnya Comparison of methods : menganalisa sample pasien dengan metode baru dan metode komparasi

Jenis-jenis Error dan Eksperimen

WALKING TOUR OF THE PLAN

MV – Pengujian Rentang Pengukuran Menurut CLIA : rentang nilai hasil pengukuran yang bisa lab tetapkan atau verifikasi dari hasil pengukuran akurasi instrumen atau respon sistem pengukuran” Biasa kita sebut juga “analytical range” “working range” atau “ linear range”

RENTANG PENGUKURAN “UJI LINEARITAS” Observed Value Assigned Value

MV – Pengujian Rentang Pengukuran Jumlah level CLIA merekomendasikan sedikitnya 3 – low, medium, high CLSI merekomendasikan 4 atau 5 level Material yang digunakan Larutan standard dari pabrik Stok standard yang bisa diencerkan secara seri Larutan atau campuran sampel pasien Linearity Kits yang disediakan oleh pabrik/vendor

MV – Pengujian Rentang Pengukuran Analisa Data (1) Plot “Observed Value”, atau nilai rata-rata dari beberapa kali pengukuran untuk setiap standar, versus “Assigned Value" • Tarik garis dari Poin ke Poin • Kemudian tarik garis lurus terbaik yang sesuai dengan poin yang lebih rendah • Identifikasi di mana respons menyimpang dari garis lurus • Tetapkan kriteria sesuai dengan TEa yang diperbolehkan untuk tes • 1/2 sampai 1/3 TEa untuk kesalahan sistematis, atau penyimpangan dari respons linear

MV – Pengujian Rentang Pengukuran Analisa Data (2) Hitung regresi linier untuk garis yang mewakili bagian linier dari rentang • Jika Anda memasukkan SEMUA poin, regresi mungkin dipengaruhi oleh respons non-linier pada poin tertinggi dari rentang yang dapat dilaporkan • Pengguna harus memutuskan Poin mana untuk dimasukkan berdasarkan pemeriksaan visual dari grafik point-to-point

MV – Pengujian Replikasi Biasanya dilakukan dengan membuat 20 kali pengukuran pada bahan kontrol yang nilainya dekat dengan nilai konsentrasi kritis Dilakukan pada 2 atau 3 level bahan kontrol Kemudian dihitung nilai mean, SD dan CV

MV – Pengujian Replikasi Faktor yang perlu dipertimbangkan Periode pengukuran paling penting • “Within-run” terlalu pendek  SD atau CV baik • “Within-day” mencakup beberapa kali dalam sehari • “Total imprecision” selama 20 hari. Perkiraan yang lebih baik karena mencakup variasi jangka panjang yang akan dialami selama operasi rutin

MV – Pengujian Replikasi Faktor yang perlu dipertimbangkan Matriks sampel • Larutan standar biasanya lebih sedikit bahan aditif yang mempengaruhi Impresisi. • Larutan kontrol, memiliki aditif atau langkah-langkah persiapan yang dapat mempengaruhi variasi parameter yang diamati Kontrol Lyophilisized harus diencerkan Kontrol Liquid mungkin mengandung "anti beku" untuk menjaga larutan tetap cair pada suhu rendah

MV – Pengujian Replikasi Faktor yang perlu dipertimbangkan Matriks sampel Pengumpulan sampel pasien • Berbahaya karena bahan-bahan yang bisa menular • Stabilitas sample pada umumnya tidak baik • Dapat digunakan untuk percobaan “Within-run” atau “Within-day” - studi replikasi awal • Tidak direkomendasikan ketika bahan komersial tersedia

MV – Pengujian Replikasi Faktor yang perlu dipertimbangkan Jumlah bahan kontrol biasanya 2 atau 3 bahan kontrol Konsentrasi bahan kontrol   “Medical decision” jika memungkinkan Kolesterol pada 200 mg/dL atau 240 mg/dL paling penting, dan konsentrasi yang lebih rendah atau yang lebih tinggi Glukosa pada 50 mg/dL, 125 mg/dL, dan konsentrasi yang lebih tinggi

MV – Pengujian Replikasi Faktor yang perlu dipertimbangkan Jumlah pengukuran • N = 20 adalah “aturan umum” 20 pengukuran dalam jangka waktu atau dalam sehari 1 pengukuran/hari selama 20 hari untuk ketidaktepatan total • N yang lebih rendah sekarang diterima dalam keadaan tertentu CLSI EP15 memerlukan 5 replikasi per hari selama 5 hari Total 25 pengukuran, tetapi tetap lebih baik 1 pengukuran/hari selama 20 hari

MV – Pengujian Replikasi Rekomendasi untuk “Minimum Study” 2 Level Kontrol dengan konsentrasi mendekati “Medical Decision” 20 pengukuran selama 20 hari Keuntungan : variasi yang diamati pada operasional laboratorium rutin – lebih realistis dibandingkan ketika periode waktu lebih pendek digunakan  Keuntungan – analisa data lebih mudah Jika CV within-run < ¼ TEa, acceptable Jika CV < 1/3 TEa, acceptable

MV – Perbandingan Metode Pemeriksaan Merupakan poin penelitian yang paling utama karena menggambarkan kinerja pemeriksaan pada sampel pasien Merupakan penelitian yang paling sulit untuk proses analisis statistik data yang tepat dan interpretasi hasil yang benar Banyak laboratorium yang menganggap nilai korelasi 0,999 berarti metode tersebut dapat diterima Idealnya metode pemeriksaan dibandingkan dengan “reference method” – tapi hal ini jarang dilakukan bahkan mungkin tidak bisa dilakukan Biasanya perbandingan dilakukan dengan cara membandingkan hasil yang didapat dari metode baru dengan metode lama Masalahnya adalah perbedaan yang terjadi sering diasumsikan berasal dari metode baru, padahal perlu dibuktikan dengan penelitian perbedaan yang terjadi berasal dari metode yang mana?

MV – Perbandingan Metode Pemeriksaan Faktor yang perlu diperhatikan Jumlah spesimen sample Jumlah sampel yang direkomendasikan: 40 sampel CLSI EP15 dan CLIA membolehkan hanya menggunakan 20 sampel Manufaktur harus melakukan “Extensive Study” ≥ 100 sampel

MV – Perbandingan Metode Pemeriksaan Faktor yang perlu diperhatikan Duplikat lebih disarankan, supaya tidak ada kesalahan dalam pengumpulan data Diperlukan dalam protokol CLSI EP9 untuk Manufactur Meminimalkan masalah dengan "outliers" Pengukuran tunggal dapat diterima untuk eksperimen validasi laboratorium Perlu memeriksa hasil perbandingan secara real time untuk meminimalkan masalah dengan “outlier”

MV – Perbandingan Metode Pemeriksaan Faktor yang perlu diperhatikan Waktu penelitian Setidaknya dilakukan dalam waktu 5 hari yang berbeda untuk meminimalisir efek sistematik Stabilitas Sample Analisis sampel dalam waktu dua jam antara metode tes dengan komparatif Jika tidak bisa, maka harus berhati-hati pada pengumpulan dan penyimpanan sample

MV – Perbandingan Metode Pemeriksaan Rekomendasi untuk “Minimum Study” Jumlah spesimen pasien Jumlah sampel yang direkomdasikan: 40 sampel CLSI EP15 dan CLIA membolehkan hanya menggunakan 20 sampel Waktu penelitian Setidaknya dilakukan dalam waktu 5 hari yang berbeda untuk meminimalisir efek sistematik Plot data yang didapat untuk bisa menganalisa perbedaannya Gunakan statistik regresi linear atau t-tes Nilai r yang tinggi mengindikasikan statistik regresi linear-nya valid Tapi jika nilai r rendah, gunakan t-tes atau perhitungan regresi yang lebih kompleks