1 ~ EVALUASI.

Presentasi berjudul: "1 ~ EVALUASI."— Transcript presentasi:

1 1 ~ EVALUASI

2 Sejarah ~ Evaluasi IR

3 Penelitian awal Membandingkan pengindeksan secara manual vs otomatis
Apakah pendekatan otomatis dapat mendekati kualitas manual Asumsi bahwa pengindeksan manual adalah pendekatan yang benar

4 TREC Conference Text REtrieval Conference Mulai 1992
Evaluasi IR dalam skala besar Koleksi data GB Setiap tahun bulan November NIST (National Institute of Standard for Testing) – Information Access Division Evaluasi IR paling dikenal Mulanya diikuti 25 organisasi peserta Mulai tahun 2005 diikuti 117 grup dari 22 negara Laporannya tersedia online di

5 Format Umum TREC TREC berisi track IR
Cross language, speech recognition, video retrieval, question-answering, interactive IR, terabyte, law, …… Setiap track menggunakan model yang sama Peneliti melakukan training sesuai dengan spresifikasi Peneliti melakukan evaluasi resmi NIST melakukan evaluasi November diadalakan pertemuan Mengetahui seberapa baik hasil dari suatu grup Bagaimana grup lain menangani masalah Pendekatan yang berhasil umumnya akan diulang lagi tahun berikutnya

6 Forum Lainnya CLEF NTCIR Cross Language Evaluation Forum
Forum evaluasi IR di Asia untuk bahasa Korea, Jepang, dan Cina

7 Evaluation as a Process

8 Query Collection Results IR System IRS Measurement

9 Mengevaluasi Search Engine
Beberapa aspek yang dapat dievaluasi: Kemudahan untuk menuliskan query Kecepatan dari perolehan informasi Sumber daya yang diperlukan Kecepatan pengindeksan jumlah dokumen/jam) Kemampuan untuk menemukan dokumen Evaluasi sistem biasanya membandingkan: Sistem A vs Sistem B

10 Ukuran lain yang penting adalah kepuasan user
Isu: Siapa user yang akan dinilai kepusannya? Bagaimana teknik untuk mengkuantifikasi kepuasan user?

11 Mengukur Kepuasan User
Yang paling umum: Mengukur relevansi dari hasil pencarian Tiga elemen yang perlu diperhatikan dalam mengukur tingkat kerelevanan, yaitu: Suatu benchmark koleksi data Suatu benchmark set query Suatu penilaian biner, yakni relevan atau tidak relevan untuk setiap pasangan query-dokumen

12 Mengukur Relevansi Hasil Pencarian
Kebutuhan informasi diterjemahkan menjadi sebuah query Relevansi dinilai relatif terhadap kebutuhan pencarian informasi, bukan query Contoh: Kebutuhan informasi: Saya mencari informasi tentang apakah minum wine merah lebih efektif mengurangi resiko serangan jantung daripada wine putih Query: wine merah putih serangan jantung efektif Evaluasi: apakah dokumen-dokumen tersebut membahas kebutuhan informasi bukan apakah terdapat kata-kata tersebut

13 Benchmark Relevansi yang Standar
Menggunakan koleksi dokumen benchmark Reuters, AP, dan lain-lain “Retrieval Task” diberikan sebagai query Para ahli menandai, untuk setiap query dan document, Relevant atau Irrelevant Atau paling sedikit untuk subset

14 Kerelevanan Relevan sulit untuk didefinisikan
Suatu dokumen dinilai berguna untuk suatu query Siapa yang menilai? Apa yang berguna? Manusia tidak konsisten Penilaian bergantung pada dokumen dan query

15 Metrik Evaluasi

16 Precision & Recall Precision:
Proporsi dari suatu set yang diperoleh yang relevan 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛= 𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡∩𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 / 𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛=𝑃 𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 Koleksi Dok. Relevan Dok. Di-peroleh Recall: Proporsi dari suatu semua dokumen yang relevan di koleksi termasuk dokumen yang diperoleh 𝑅𝑒𝑐𝑎𝑙𝑙= 𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡∩𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 / 𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑅𝑒𝑐𝑎𝑙𝑙=𝑃 𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡

17 (lanjutan) Relevant = A + C Retrieved = A + B Koleksi = A + B + C + D
Not Relevant Retrieved A B Not Retreved C D Relevant = A + C Retrieved = A + B Koleksi = A + B + C + D Precision = A / (A + B) Recall = A / (A + C) Miss = C / (A + C) False Alarm (Fallout) = B / (B + D)

18 Precision di Urutan Tertentu
Bisa digunakan untuk melihat seberapa baik suatu metode mengurutkan dokumen yang relevan sebelum dokumen yang tidak relevan muncul Precision pada Top5 Urutan 1 : 1.0 Urutan 2 : 0.0 Urutan 3 : 0.4 Precision pada Top10 Urutan 1 : 0.5 Urutan 2 : 0.5 Urutan 3 : 0.5

19 Contoh Precision & Recall (1)
= Dokumen Relevan Urutan 1 Recall Precision

20 Contoh Precision & Recall (2)
= Dokumen Relevan Urutan 2 Recall Precision

21 Menghitung Precision Recall
Dari sejumlah dokumen terurut yang dihasilkan oleh IR System, hitung nilai precision dan recall pada setiap kemunculan dokumen yang relevan Berdasarkan contoh sebelumnya Urutan 1, P/R dihitung pada dokumen ke 1, 3, 6, 9, 10 Urutan 2, P/R dihitung pada dokumen ke 2, 5, 6, 7, 8

22 Average Precision dari Suatu Query
Banyak digunakan dalam IR System Average precision merupakan rata-rata dari nilai precision pada saat nilai recall-nya naik Urutan 1  Average Precision = 62.2% Recall Precision Urutan 2  Average Precision = 52% Recall Precision

23 Latihan = Dokumen Relevan Soal:
Tentukan nilai precision dan recall untuk masing-masing kemunculan dokumen! Berapa nilai average precision untuk Top-5 dan Top-10 dari urutan perolehan dokumen di atas?

24 Ringkasan Pengukuran Average Precision  mampu meringkas pengukuran
Menyembunyikan informasi Urutan 1  Average Precision = 62.2% R TR R TR TR R TR TR R R Recall Precision Urutan 1a  Average Precision = 62.2% TR R TR R R R R R TR TR Recall Precision

25 Ringkasan Pengukuran Orang cenderung menginginkan ringkasan dari pengukuran Precision pada suatu tingkat retrieval yang tetap Paling tepat untuk web search Orang menginginkan hasil terbaik pada halaman ke-1 atau ke-2

26 Plotting Grafik Precision-Recall
Plotting dilakukan untuk nilai precision-recall vs no. items retrieved  It shows inverse relationship between precision and recall

27 Plotting dilakukan untuk nilai precision vs nilai recall
(Lanjutan) Plotting dilakukan untuk nilai precision vs nilai recall

28 Precision vs Recall Critical Task
Waktu pencarian sangat terbatas Jumlah dokumen relevan yang sedikit sudah menjawab kebutuhan pencarian informasi Jumlah dokumen yang banyak memungkinkan informasi redundan Contoh : web search for factual information Recall Waktu pencarian tidak diperhatikan Satu dokumen relevan yang tidak diperoleh bisa menyebabkan hilangnya informasi yang dibutuhkan Perlu untuk melihat masing-masing (satu per satu) dokumen yang relevan Contoh : pattent search Terkadang sebuah sistem lebih mementingkan nilai precision yang tinggi dan di sisi lain terdapat sistem yang mementingkan recall yang tinggi

29 Grafik Precision/Recall
Untuk sebuah IR engines diperoleh List Ranking Dokumen Perolehan dan Status Kerelevanannya

30 Definisi Formal Precision pada Ranking Tertentu : P(100)
Precision pada Nilai Recall Tertentu : P(R=0.2) Precision pada Dokumen Relevan Terakhir : P(last_relevant) Recall pada ranking tertentu : R(100) Recall pada Nilai Precision Tertentu : R(P=0.1)

31 Evaluasi untuk Sejumlah Query
Ingin menghitung rata-rata untuk keseluruhan query Problem : Masing-masing query memiliki hasil akhir berupa jumlah dokumen yang relevan tidak sama Dengan urutan dokumen relevan yang berbeda-beda Tidak dapat menggunakan single cut-off untuk semua query Jika cutoff < 10, R < 1 untuk semua sistem Jika cutoff > 10, P < 1 untuk semua sistem

32 11-point Average Precision (AP)
𝑃 11_𝑝𝑡 = 𝑗= 𝑁 𝑖=1 𝑁 𝑃 𝑖 ( 𝑟 𝑗 ) dimana 𝑃 𝑖 ( 𝑟 𝑗 ) adalah precision pada titik recall ke-𝑗 pada query ke-𝑖 (dari N query) Definisikan 11 titik recall 𝑟 𝑗 = 𝑗 10 : 𝑟 0 =0, 𝑟 1 =0.1 … 𝑟 10 =1 Tentukan precision untuk masing-masing titik recall tersebut 𝑃 𝑖 ( 𝑟 𝑗 )

33 𝑃 𝑖 𝑅=𝑟 dapat diukur Problem: Solusi:
Precision pada saat nilai recall-nya berubah (karena pada saat tersebut diperoleh kembali dokumen yang relevan) Problem: Jumlah dokumen yang relevan tidak selalu dapat dibagi dengan 10 sehingga nilai precision untuk 11 titik recall tidak bisa ditentukan Solusi: Interpolasi

34

35 Interpolasi 11-point AP 𝑃 𝑖 𝑟 𝑗 = max 𝑟 𝑗 ≤𝑟≤ 𝑟 𝑗+1 𝑃 𝑖 𝑅=𝑟 𝑖𝑓 𝑃 𝑖 𝑅=𝑟 𝑒𝑥𝑖𝑠𝑡 𝑃 𝑖 𝑟 𝑗+1 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 Catatan: 𝑃 𝑖 𝑅=1 selalu dapat dihitung

36 Contoh Soal

37 Contoh Interpolasi 11-point AP

38

39

40

41

42

43

44 Pengukuran Evaluasi Yang Lain

45 Mean Average Precision (MAP)
Rata-rata dari nilai precision pada saat nilai recall-nya naik Mean Average Precision: Rata-rata average precision untuk seluruh query

46 Contoh MAP 𝑀𝐴𝑃= =

47 R-Precision Ide : Cara : menghasilkan nilai tunggal untuk perangkingan
Menghitung precision pada posisi ke-R dimana R adalah total jumlah dokumen yang relevan.

48 Precision Histogram Menggunakan R-precision dari dua strategi retrieval RPA/B(i) = RPA(i) - RPB(i)

49 Sec. 8.3 F-measure Pengukuran kombinasi yg menilai precision/recall secara bersama-sama (weighted harmonic mean): Dimana Biasanya menggunakan F1 measure Misalnya dengan  = 1 atau  = ½

50 Membuat Koleksi Pengetesan untuk Evaluasi IR

51 Dari Korpus Menjadi Koleksi untuk Pengujian
Diperlukan juga Query untuk pengujian Penilaian kerelevanan Query untuk Pengujian Harus sesuai dengan ketersediaan dokumen Paling baik jika dibuat oleh ahli dibidangnya Kata pada query diperoleh acak dan umumnya sulit untuk dicari Penilai kerelevanan Dinilai manusia sehingga perlu waktu lama Manusia bukan penilai yang sempurna

52 Pengukuran Kappa Mengukur persetujuan antara penilai
𝐾𝑎𝑝𝑝𝑎= 𝑝 𝐴 −𝑝 𝐸 /[1−𝑝 𝐸 ] 𝑝 𝐴 : proporsi banyaknya penilai yang setuju 𝑝 𝐸 : persetujuan yang merupakan kebetulan 𝐾𝑎𝑝𝑝𝑎=1 berarti persetujuan total 𝐾𝑎𝑝𝑝𝑎>0.8 berarti persetujuan baik

53 Contoh Jumlah Dok Penilai 1 Penilai 2 300 Relevan 70 Tidak Relevan 20 10 𝑝 𝐴 = =0.925 𝑝 𝑇𝑅 = =0.2125 𝑝 𝑅 = =0.7878 𝑝 𝐸 = =0.665 𝐾𝑎𝑝𝑝𝑎= 0.925− −0.665 =0.776

54 Terima kasih