ANOTASI AUTOMATIS CITRA MENGGUNAKAN METODE STATISTICAL MACHINE TRANSLATION UNTUK TEMU KEMBALI CITRA Imam Abu Daud G64104052 Di bawah bimbingan Yeni Herdiyeni, S.Si, M.Kom Dr. Ir. Sri Nurdiati, M.Sc DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR

Bagaimana temu kembali citra dilakukan ? Menggunakan Sistem CBIR Sulit untuk merepresentasikan makna semantik citra menggunakan bentuk, tekstur, dan sebagainya.

Bagaimana temu kembali citra dilakukan ? Menggunakan Google Image Search Google menggunakan nama file dan teks di sekeliling citra serta mengabaikan konten dari citra

Ide: Anotasi Automatis 1 Memberikan deskripsi tekstual citra secara automatis 2 Deskripsi diberikan berdasarkan konten citra tersebut grass, tree Temu kembali dilakukan berdasarkan anotasi tersebut

Bagaimana anotasi automatis dilakukan ? Segmentasi grid … Statistical Machine Translation Grass (0.521) Tree (0.310)

Statistical Machine Translation grass, mountain, cloud grass, plant plant grass, road, house grass, road, grass, house grass, tree, water, mountain grass, tree, water Expectation Maximization + ? ? ? road, grass, sign

Statistical Machine Translation Tabel TRANSLASI road, grass, sign

Evaluasi Kualitas Anotasi Automatis Citra Uji + Anotasi (Manual) N na r w Normalized Score : ukuran kamus kata (kosakata word) : jumlah label aktual untuk citra : jumlah label yang tepat terprediksi : jumlah label yang salah terprediksi n : jumlah prediksi label ( r+w ) grass, tree, sky na = 3 Statistical Machine Translation grass, flower r = 1 w = 1 ENS = ½ - 1/(69-2) = 0.485 n = r+w = 2 Buruk Sempurna -1 1

Pembentukan LSI : Statistical Machine Translation SVD

Data 2x3

Hasil: Distribusi word Anotasi Manual Anotasi Automatis

Hasil : Normalized Score Tabel Rataan ENS seluruh data latih terhadap data uji dengan n = {1,…,69} Data latih Data uji Rataan A B C 0.5326 0.6306 0.5787 0.5806 0.3982 0.5971 0.6144 0.5366 0.4234 0.4299 0.3922 0.4152 0.4514 0.5525 0.5284 data latih A, best MODEL ! data uji B, best SCORER !

Gambar Perkembangan nilai ENS untuk data latih A Stagnansi Gambar Perkembangan nilai ENS untuk data latih A

Evaluasi Normalized Score (2) Tabel Rataan ENS seluruh data latih terhadap data uji dengan n = {1,…,10} Data latih Data uji Rataan A B C 0.4225 0.4792 0.4807 0.4608 0.3415 0.4291 0.5182 0.4296 0.3994 0.4828 0.4596 0.4473 0.3878 0.4637 0.4862 data latih A, best MODEL ! data uji B C, best SCORER !

Evaluasi : Temu kembali Hasil temu kembali Latent Semantic Indexing Recall & Precision 69 word word1, word2, Statistical Machine Translation

Evaluasi Temu Kembali Gambar Grafik recall dan precision untuk hasil temu kembali citra pada LSI Precision kueri klausa : 0.544, kueri teks : 0.251

Kesimpulan Penelitian ini berhasil mengimplementasikan model Statistical Machine Translation untuk anotasi automatis Hasil percobaan dengan beberapa kombinasi parameter grid pada penelitian ini menunjukkan bahwa grid dengan ukuran 2×3 menghasilkan model SMT terbaik untuk data yang digunakan dalam penelitian ini, dengan rataan normalized score (ENS) sebesar 0.4608 terhadap seluruh kombinasi grid pada pengujian. Implementasi Latent Semantic Indexing dapat memunculkan citra yang memiliki kedekatan semantik terhadap kueri pada hasil temu kembali Rataan precision untuk temu kembali citra: kueri klausa : 0.544 kueri teks : 0.251

Saran Membandingkan dengan beberapa model sederhana lainnya seperti cross-media relevance models(Jeon et al. 2003). Meneliti pemilihan ciri dan komposisinya dari region citra dalam grid yang dapat menghasilkan nilai temu kembali optimal. Penggunaan citra latih dan uji yang lain yang lebih bervariasi dan lebih banyak, beserta anotasi manual yang memiliki deskripsi yang lebih tinggi, mencerminkan konsep dari objek yang bersangkutan, seperti landscapes, indoor, outdoor, happy, dan sebagainya.

Daftar Pustaka Barnard K, Duygulu P, Guru R, Gabbur P, Forsyth D. 2003. The effects of segmentation and feature choice in a translation model of object recognition. Deptartment of Compututer Science, Arizona University, Tucson, AZ, USA. Belongie S, Carson C, Greenspan H, Malik J. 1998. Color- and Texture-Based Image Segmentation Using EM and Its Application to Content-Based Image Retrieval. Black PE. Zipfian distribution. Dictionary of Algorithms and Data Structures. http://www.nist.gov/dads/HTML/zipfian.html [1 Agustus 2008]. D Brahmi dan D. Ziou. 2004. Improving CBIR systems by integrating semantic features”. In Proc. RIAO, 291–305, Vaucluse, France. Duygulu P. 2003. Translating Images to Words: A Novel Approach For Object Recognition [tesis]. Department of Computer Engineering, The Middle East Technical University. Duygulu P, Ozcanli OC, Papernick N. Comparison of Feature Sets using Multimedia Translation. School of Computer Science, Carnegie Mellon University, Informedia Project, Pittsburg, PA, USA. Grossman D. IR Book. www.ir.iit.edu/~dagr/ cs529/files/ir_book.html [21 November 2008]. Han J, Ma KK, Fuzzy Color Histogram and Its Use in Color Image Retrieval. IEEE Transaction on Image Processing, vol. 11, no. 8, 2002. Inoue M. 2004. On the need for annotation-based image retrieval. National Institute of Informatics 2-1-2 Hitotsubashi, Chiyoda-ku. Tokyo, Japan. Jeon J, Lavrenko V, Manmatha R. 2003. Automatic Image Annotation and Retrieval using Cross-Media Relevance Models. Center for Intelligent Information Retrieval, Computer Science Department, University of Massachussets. L Jia. Photography image database for retrieval and automatic annotation. Pennsylvania State University. http://www.stat.psu.edu/~jiali [6 Maret 2008]. LACIE. Color Management White Paper 3:Color Spaces & Color Translation. www.lacie.com/download/whitepaper/wp_colormanagement_3_en.pdf [1 Agustus 2008]. Mori Y, Takahashi H, Oka T. 1999. Image-to-word transformation based on dividing and vector quantizing images with words. In First International Workshop on Multimedia Intelligent Storage and Retrieval Management. Orlando, Florida. Sclaroff S, Cascia ML, Sethi S, Taycher L. Unifying textual and visual cues for content-based image retrieval on the world wide web. Computer Vision and Image Understanding, (1-2):86–98, 1999.

Terima Kasih