Penilaian Relevansi Penilaian relevansi bertujuan untuk menentukan dokumen yang relevan (sesuai; cocok) dari antara sejumlah dokumen yang ditemukan (terpanggil) dari proses temu balik informasi. Pertanyaan relevan (cocok) dengan apa? Dokumen yang ditemukan cocok dengan query, namanya adalah recall (R). Recall adalah dokumen terpanggil dari database yang sesuai dengan query. Sering juga disebut dengan istilah perolehan.

Lanjutan Dokumen terpanggil relevan dengan kebutuhan/keinginan pengguna (pencari) informasi disebut presisi (Precition, disingkat P) Recall belum tentu sama dengan Presisi. Idealnya R : P adalah 1 : 1. Maksudnya apabila terpanggil (R) 5 dokumen, hendaknya kelimanya relevan dengan kebutuhan pengguna. Dalam praktiknya, tidak demikian. Recall selalu lebih tinggi dari pada presisi.

Ukuran Relevansi Relevansi merupakan konsep yang sangat penting dalam sistem temu balik informasi, karena ukuran yang menggambarkan unjuk kerja (kinerja) dan efektivitas STBI ditentukan berdasarkan dokumen relevan. Ukuran tersebut adalah Recall (perolehan) dan Precition (ketepatan). Untuk mencarinya digunakan rumus sebagai berikut.

Efektivitas STBI Efektifitas dari suatu STBI adalah kemampuan dari sistem itu untuk memanggil berbagai dokumen dari suatu database sesuai dengan permintaan pengguna. Efektifitas dari STBI tersebut dapat diukur. Ada dua hal penting yang biasanya digunakan dalam mengukur kemampuan suatu STBI yaitu rasio atau perbandingan dari perolehan (recall), dan ketepatan (precicion) (Lee Pao, 1989 : 225).

Untuk lebih jelas digambarkan seperti berikut: Recall (R) = Jumlah dokumen relevan yang ditemukan dibagi dengan jumlah dokumen relevan yang ada dalam database Untuk lebih jelas digambarkan seperti berikut: Jumlah dokumen relevan yang terpanggil (ditemukan) Recall = -------------------------------------------------------- Jumlah dokumen relevan yang ada dalam database (file)

Misalnya: Dalam database Medline (EBSCO) tersedia 1600 judul dokumen tentang Cardiovascular. Ketika seorang penelusur menggunakan query: Cardiovascular, ternya dokumen yang terpanggil hanya berjumlah 1450 judul. Maka, R = 1.450 : 1.600 = 0,90 (90%). Idealnya recall harus tetap 1.600 (100%). Semakin rendah recall berarti STBI tidak/kurang baik secara sistem.

Lebih rinci rumus tersebut adalah: Presisi adalah jumlah dokumen yang relevan dengan kebutuhan pengguna dari sejumlah dokumen yang diperoleh dari database. Rumus untuk menghitungnya adalah jumlah dokumen yang relevan dengan kebutuhan dibagi dengan jumlah dokumen relevan yang diperoleh dari STBI (Recall) Lebih rinci rumus tersebut adalah: Jumlah dokumen yang terpanggil relevan dengan kebutuhan Precision = ------------------------------------------------------------------------- Jumlah dokumen yang terpanggil dalam pencarian

Rasio dari recall sebenarnya sulit diukur karena jumlah seluruh dokumen yang relevan dalam database sangat besar dan tidak diketahui (tidak mungkin diketahui, terkecuali yang meng-uploadnya). Oleh karena itu, presisi-lah (precision) yang menjadi salah satu ukuran yang digunakan untuk menilai keefektifan suatu STBI. Untuk memudahkan pemahaman akan kedua rasio tersebut, berikut dikemukakan sebuah contoh soal dan perhitungan penentuan recall dan precision.

Andaikan suatu file dalam database menyimpan 100 dokumen. Pada suatu penelusuran menggunakan query “Chemical Industry”, ternyata diperkirakan ada 10 dokumen yang mungkin dapat terambil (retrieved) menggunakan query tersebut, akan tetapi dalam kenyataannya setelah dilakukan penelusuran hanya 4 dokumen yang terambil dalam pencarian sedangkan 6 dokumen lain tidak terambil karena mungkin kurang/tidak relevan. Kemudian diketahui bahwa ada 2 dokumen lain dalam file dabase diketahui relevan kepada query akan tetapi tidak terambil (not retrieved). Untuk menghitung rasio recall dan precision dari seperti disebut pada soal di atas, sering digunakan tabel berikut :

Tabel Perhitungan Recall dan Precision Relevant Not Relevant Total Retrieved 4 ( a ) 6 ( b ) 10 Not Retrieved 2 ( c ) 88 ( d ) 90 6 94 100

Berdasarkan tabel di atas, sekarang perhitungannya dapat dilakukan dengan mengacu kepada kepada rasio yang telah dikemukakan sebelumnya. Untuk menghitung rasio recall, terlebih dahulu kita tentukan jumlah dokumen relevan yang terambil, berdasarkan data pada tabel yaitu a , sedangkan Jumlah dokumen relevan yang ada dalam database adalah a + c. Dengan demikian rasio recall ( R ) tersebut dapat dinyatakan sebagai berikut : a R = ------ a + c 4 R = ------- = 0,66 4 + 2

Selanjutnya untuk menghitung precision, hal yang sama pada penghitungan recall diberlakukan yaitu jumlah dokumen relevan yang terambil adalah a , sedangkan Jumlah dokumen yang terambil dalam pencarian adalah a + b. Dengan demikian rasio precision ( P ) dapat dinyatakan sebagai berikut : a Precision = -------- a + b 4 Precision (P) = ------- = 0,40 4 + 6

Kondisi Ideal Kondisi ideal dari keefektifan suatu sistem temu kembali informasi adalah apabila rasio recall dan precision sama besarnya (1 : 1 ) (Lee Pao, 1989 : 229). Selain itu, suatu sistem temu kembali dinyatakan efektif apabila hasil penelusuran mampu menunjukkan ketepatan (precision) yang tinggi sekalipun perolehannya rendah (Rowley, 1992 : 172)

Interpretasi Tingkat Relevansi Ada tiga tingkatan relvansi: (Burgin, 1992: 621) Relevan : artikel atau makalah yang diperoleh adalah respon langsung bagi permintaan. Sesuai kebutuhan/permintaan pengguna Relevan Marginal: Topik artikel/makalah relevan, tetapi bukan respon langsung bagi permintaan (hampir mirip). Tidak Relevan: Makalah/artikel tidak relevan dengan permintaan. Catatan: yang menentukan relevan atau tidak adalah end user.