Temu Kembali Informasi

Presentasi berjudul: "Temu Kembali Informasi"— Transcript presentasi:

1 Temu Kembali Informasi
Evaluasi

2 Outline Evaluasi Evaluasi Temu Kembali Tak Berperingkat
Evaluasi Temu Kembali Berperingkat Evaluasi Relevansi

3 Evaluasi Seberapa baik/bagus dokumen hasil yang diberikan?
Document Collection Document Normalization Indexer Query UI Query Norm. IR System Indexes Ranking/Matching Module Seberapa baik/bagus dokumen hasil yang diberikan? Evaluation Set of relevant document

4 Evaluasi Evaluasi digunakan untuk mengukur hasil uji coba kinerja sistem yang telah dibuat dengan metode tertentu, apakah benar-benar powerful terhadap kondisi lingkungan atau parameter yang lebih kompleks, variatif, dan berbeda.

5 Evaluasi Sistem Perolehan Informasi
Aspek yang dapat dievaluasi: Kemudahan untuk menuliskan query Kecepatan dari perolehan informasi Sumber daya yang diperlukan Kecepatan dalam pengindeksan (jumlah dokumen) Presentasi dari dokumen Kemampuan untuk menemukan dokumen Evaluasi yang paling umum: keefektifan perolehan informasi

6 Evaluasi Sistem Perolehan Informasi
Aspek yang dievaluasi harus dapat diukur Aspek penting lainnya: kepuasan user Kecepatan sistem perolehan informasi dalam menjawab query Jawaban yang tidak berguna tidak akan memuaskan user Perlu suatu cara untuk menguantifikasi kepuasan user

7 Evaluasi Sistem Perolehan Informasi
Siapa user yang akan dipuaskan?  Tergantung situasinya Search engine: user menemukan informasi yang diinginkan dan kembali menggunakan search engine tersebut  Menghitung banyaknya user yang kembali menggunakan search engine tersebut eCommerce site: user menemukan yang diinginkan dan membelinya  Mengukur waktu user sampai saat membeli

8 Evaluasi Sistem Perolehan Informasi
Enterprise (perusahaan/pemerintah/akademik):  Mengukur waktu yang dihemat user saat mencari informasi  Kriteria lain: kedalaman pengaksesan, keamanan pengaksesan, dll.

9 Evaluasi Sistem Perolehan Informasi
Evaluasi yang paling umum: relevansi dari hasil pelacakan. Elemen yang dibutuhkan untuk mengukur relevansi: Suatu benchmark koleksi dokumen Suatu benchmark set query Suatu penilaian biner: Relevan atau Tidak relevan untuk setiap pasangan query-dokumen

10 Evaluasi Suatu Sistem IR
Kebutuhan informasi diterjemahkan menjadi suatu query Relevansi dinilai relatif terhadap kebutuhan informasi, bukan terhadap query Misal: Kebutuhan informasi: saya mencari informasi tentang apakah makan ikan lebih efektif mengurangi resiko serangan jantung daripada makan daging sapi. Query: ikan daging sapi serangan jantung efektif User mengevaluasi apakah dokumen membahas kebutuhan informasi, bukan apakah terdapat kata-kata tsb.

11 Evaluasi Temu Kembali Tak Berperingkat

12 Evaluasi Temu Kembali Tak Berperingkat
Precision: tingkat ketepatan antara informasi yang diminta oleh user dengan hasil jawaban yang diberikan oleh sistem. Recall: tingkat jumlah banyak dan sedikitnya kesesuaian informasi yang didapatkan dari hasil percobaan berdasarkan sudut pandang kelas atau label yang digunakan. F-Measure: bobot harmonic mean pada recall dan precision. Accuracy: kesesuaian nilai hasil prediksi pengujian dengan nilai aktual (ground truth) yang dibandingkan.

13 Precision & Recall Precision
Proporsi dari suatu set yang diperoleh yang relevan 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛= 𝑟𝑒𝑙𝑒𝑣𝑎𝑛 ∩ 𝑑𝑜𝑘.𝑑𝑖𝑝𝑒𝑟𝑜𝑙𝑒ℎ 𝑑𝑜𝑘.𝑑𝑖𝑝𝑒𝑟𝑜𝑙𝑒ℎ =𝑃 𝑟𝑒𝑙𝑒𝑣𝑎𝑛 | 𝑑𝑜𝑘.𝑑𝑖𝑝𝑒𝑟𝑜𝑙𝑒ℎ Recall Proporsi dari semua dokumen yang relevan di koleksi termasuk dokumen yang diperoleh 𝑅𝑒𝑐𝑎𝑙𝑙= 𝑟𝑒𝑙𝑒𝑣𝑎𝑛 ∩ 𝑑𝑜𝑘.𝑑𝑖𝑝𝑒𝑟𝑜𝑙𝑒ℎ 𝑟𝑒𝑙𝑒𝑣𝑎𝑛 =𝑃 𝑑𝑜𝑘.𝑑𝑖𝑝𝑒𝑟𝑜𝑙𝑒ℎ | 𝑟𝑒𝑙𝑒𝑣𝑎𝑛 Koleksi Dok yg relevan (relevant) Dok yg diperoleh (retrieved)

14 Precision & Recall Relevant = A + C Retrieved = A + B Koleksi = A + B + C + D Precision = A / (A + B) Recall = A / (A + C) Miss = C / (A + C) False Alarm (Fallout) = B / (B + D) Relevant Not relevant Retrieved A B Not retrieved C D

15 Precision & Recall Precision menghitung kemampuan sistem untuk menolak dokumen yang tidak relevan di dalam dokumen yang diperoleh Recall menghitung kemampuan sistem untuk menemukan semua dokumen yang relevan Pada sistem, dapat terjadi dua jenis error: False positive error: sistem me-retrieve dokumen yang tidak relevan (seharusnya tidak di-retrieve) False negative error: sistem gagal me-retrieve dokumen yang relevan (seharusnya di-retrieve)

16 Contoh Precision & Recall
A, C, E, G, H, I, J Relevant W, Y Retrieved B, D, F Retrieved & Relevant Koleksi Dokumen Precision = 𝐵,𝐷,𝐹 𝐵,𝐷,𝐹,𝑊,𝑌 = = 60% Recall = 𝐵,𝐷,𝐹 𝐴,𝐵,𝐶,𝐷,𝐸,𝐹,𝐺,𝐻,𝐼,𝐽 = = 30%

17 F-Measure/F-Score F-measure adalah pengukuran yang menilai timbal balik antara precision dan recall (bobot harmonic mean). 𝐹= 𝑃 + 1 𝑅 = 2×𝑃×𝑅 𝑃+𝑅 P : precision R : recall

18 Accuracy Mengapa kita menggunakan pengukuran yang kompleks seperti precision, recall, dan F-measure? Mengapa tidak menggunakan pengukuran yang sederhana seperti accuracy? Accuracy adalah bagian keputusan (relevant/non relevant) yang benar. Relevant = A + C Retrieved = A + B Koleksi = A + B + C + D Accuracy = (A + D) / (A + B + C + D) Relevant Not relevant Retrieved A B Not retrieved C D

19 Accuracy Accuracy sama = 0.5 Tapi mana sistem [1, 2, 3] yang baik?
Urutan 1 Urutan 2 Urutan 3 d1 R d9 T d7 d2 d10 d3 d8 d4 d5 d6 Accuracy sama = 0.5 Tapi mana sistem [1, 2, 3] yang baik?

20 Evaluasi Temu Kembali Berperingkat

21 Evaluasi Temu Kembali Berperingkat
Precision Recall Curve Interpolated Precision Mean Average Precision R-Precision

22 Precision Recall Curve
Menggambarkan precision sebagai fungsi dari recall Menghitung precision pada beberapa tingkat recall

23 Contoh Precision-Recall Curve
Peringkat Relevan/Tidak 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20  Asumsikan terdapat 10 dokumen relevan untuk sebuah query A Misalkan user ingin R = 𝟏 𝟏𝟎 Precision pada tingkat berapa yang akan diamati user?

24 Contoh Precision-Recall Curve
Peringkat Relevan/Tidak 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20  Asumsikan terdapat 10 dokumen relevan untuk sebuah query A Misalkan user ingin R = 𝟑 𝟏𝟎 Precision pada tingkat berapa yang akan diamati user?

25 Contoh Precision-Recall Curve
Peringkat Relevan/Tidak R P 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20  𝟏 𝟏𝟎 = 0.10 𝟐 𝟏𝟎 = 0.20 𝟑 𝟏𝟎 = 0.30 𝟒 𝟏𝟎 = 0.40 𝟓 𝟏𝟎 = 0.50 𝟔 𝟏𝟎 = 0.60 𝟕 𝟏𝟎 = 0.70 𝟖 𝟏𝟎 = 0.80 𝟗 𝟏𝟎 = 0.90 𝟏𝟎 𝟏𝟎 = 1.00 𝟏 𝟏 = 1.00 𝟏 𝟐 = 0.50 𝟐 𝟑 = 0.67 𝟑 𝟒 = 0.75 𝟒 𝟓 = 0.80 𝟓 𝟔 = 0.83 𝟔 𝟕 = 0.86 𝟔 𝟖 = 0.75 𝟕 𝟗 = 0.78 𝟖 𝟏𝟏 = 0.73 𝟖 𝟏𝟐 = 0.67 𝟖 𝟏𝟑 = 0.62 𝟗 𝟏𝟒 = 0.64 𝟗 𝟏𝟓 = 0.60 𝟗 𝟏𝟔 = 0.56 𝟗 𝟏𝟕 = 0.53 𝟗 𝟏𝟖 = 0.50 𝟗 𝟏𝟗 = 0.47 𝟏𝟎 𝟐𝟎 = 0.50

26 Contoh Precision-Recall Curve

27 Contoh Precision-Recall Curve

28 Interpolation Precision
Interpolasi nilai precision untuk setiap tingkat recall rj  {0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0} r0 = 0.0, r1 = 0.1, …, r10 = 1.0 Precision yang diinterpolasi pada tingkat recall ke-j adalah precision maksimum yang diketahui pada setiap tingkat recall antara tingkat ke-j dan j+1 𝑃 𝑟 𝑗 = max 𝑟 𝑗 ≤𝑟≤ 𝑟 𝑗+1 𝑃 𝑟 Interpolasi adalah cara menentukan nilai yang berada di antara dua nilai diketahui berdasarkan suatu fungsi persamaan.

29 Contoh Interpolation Precision
Ketika membandingkan dua atau lebih sistem, kurva yang paling dekat ke sudut kanan atas grafik menunjukkan kinerja terbaik

30 Precision@K (P@K) Menentukan threshold peringkat K
Menghitung persentase (%) dokumen teratas sejumlah K Mengabaikan dokumen yang berperingkat di bawah K

31 Contoh Precision@K P@3 = 1 3 = 0.33 P@5 = 1 5 = 0.2 P@8 = 2 8 = 0.25
Peringkat Keterangan 1 T 2 3 R 4 5 6 7 8 9 10 = = 0.33 = = 0.2 = = 0.25

32 Mean Average Precision (MAP)
Menentukan precision pada setiap titik ketika sebuah dokumen relevan yang baru di-retrieve Menghitung rata-rata setiap query, kemudian rata-rata semua query 𝑀𝐴𝑃= 1 𝑁 𝑗=1 𝑁 1 𝑄 𝑗 𝑖=1 𝑄 𝑗 𝑃 𝑑𝑜𝑐 𝑖 Qj : banyaknya dokumen relevan untuk query j N : banyaknya query P(doci) : precision pada dokumen relevan ke-i P = 0 untuk setiap dokumen relevan yang tidak di-retrieve

33 Contoh Mean Average Precision
Query 1 Peringkat Relevan/Tidak P(doci) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20  1.00 0.67 0.50 0.40 0.25 Rata-rata 0.564 Query 2 Peringkat Relevan/Tidak P(doci) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15  1.00 0.67 0.2 Rata-rata 0.623 Dokumen relevan ke-2 2 3 Peringkat ke-3 MAP = 𝟎.𝟓𝟔𝟒+𝟎.𝟔𝟐𝟑 𝟐 = 0.594

34 R-Precision Precision pada peringkat ke-R untuk query yang mempunyai dokumen relevan sebanyak R

35 Contoh R-Precision R = banyaknya dokumen relevan R = 6
Peringkat Dokumen ke- Relevan/Tidak 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 588 589 576 590 986 592 984 988 578 985 103 591 772 990 602  R = banyaknya dokumen relevan R = 6 R-Precision = = 0.67

36 Evaluasi Relevansi

37 Evaluasi Relevansi Dari korpus untuk koleksi pengujian, dibutuhkan:
Query untuk pengujian Harus sesuai dengan dokumen yang tersedia Paling baik jika dibuat oleh ahli di bidangnya Kata-kata query yang acak umumnya tidak baik Penilaian relevansi Penilaian dilakukan oleh manusia, perlu waktu lama Apakah penilaian manusia sempurna?

38 Korpus untuk Pengujian

39 Kappa Measure Untuk mengukur persetujuan antara para penilai
𝐾𝑎𝑝𝑝𝑎= 𝑃 𝐴 −𝑃 𝐸 1−𝑃 𝐸 P(A) = proporsi banyaknya penilai yang sama P(E) = persetujuan yang merupakan kebetulan P(E) = P(tidak relevan)2 + P(relevan)2 Kappa = 0 untuk persetujuan secara kebetulan Kappa = 1 untuk persetujuan total

40 Contoh Kappa Measure Jumlah Dokumen Penilai 1 Penilai 2 300 Relevan 70
Tidak relevan 20 10

41 Contoh Kappa Measure P(A) = 370 400 = 0.925
P(tidak relevan) = = P(relevan) = = P(E) = (0.2125)2 + (0.7878)2 = 0.665 Kappa = − − = 0.776 Kappa > 0.8 = persetujuannya baik 0.67 < Kappa < 0.8 = persetujuan yang fair

42 Latihan Individu Terdapat 20 dokumen berperingkat yang diperoleh sebagai hasil query dari dokumen. Hasil menunjukkan terdapat 6 dokumen relevan. Asumsikan terdapat 8 dokumen relevan dari semua dokumen di dalam korpus. Hitung: F-Measure R-Precision Peringkat 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 R / T R T

43 Selesai