Imam Abu Daud G Di bawah bimbingan Yeni Herdiyeni, S.Si, M.Kom

Presentasi berjudul: "Imam Abu Daud G Di bawah bimbingan Yeni Herdiyeni, S.Si, M.Kom"— Transcript presentasi:

1 ANOTASI AUTOMATIS CITRA MENGGUNAKAN METODE STATISTICAL MACHINE TRANSLATION UNTUK TEMU KEMBALI CITRA
Imam Abu Daud G Di bawah bimbingan Yeni Herdiyeni, S.Si, M.Kom Dr. Ir. Sri Nurdiati, M.Sc DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR

2 Bagaimana temu kembali citra dilakukan ?
Menggunakan Sistem CBIR Sulit untuk merepresentasikan makna semantik citra menggunakan bentuk, tekstur, dan sebagainya.

3 Bagaimana temu kembali citra dilakukan ?
Menggunakan Google Image Search Google menggunakan nama file dan teks di sekeliling citra serta mengabaikan konten dari citra

4 Ide: Anotasi Automatis
1 Memberikan deskripsi tekstual citra secara automatis 2 Deskripsi diberikan berdasarkan konten citra tersebut grass, tree Temu kembali dilakukan berdasarkan anotasi tersebut

5

6 Bagaimana anotasi automatis dilakukan ?
Segmentasi grid … Statistical Machine Translation Grass (0.521) Tree (0.310)

7 Statistical Machine Translation
grass, mountain, cloud grass, plant plant grass, road, house grass, road, grass, house grass, tree, water, mountain grass, tree, water Expectation Maximization + ? ? ? road, grass, sign

8 Statistical Machine Translation
Tabel TRANSLASI road, grass, sign

9 Evaluasi Kualitas Anotasi Automatis
Citra Uji + Anotasi (Manual) N na r w Normalized Score : ukuran kamus kata (kosakata word) : jumlah label aktual untuk citra : jumlah label yang tepat terprediksi : jumlah label yang salah terprediksi n : jumlah prediksi label ( r+w ) grass, tree, sky na = 3 Statistical Machine Translation grass, flower r = 1 w = 1 ENS = ½ - 1/(69-2) = 0.485 n = r+w = 2 Buruk Sempurna -1 1

10 Pembentukan LSI : Statistical Machine Translation SVD

11 Data 2x3

12 Hasil: Distribusi word
Anotasi Manual Anotasi Automatis

13 Hasil : Normalized Score
Tabel Rataan ENS seluruh data latih terhadap data uji dengan n = {1,…,69} Data latih Data uji Rataan A B C 0.5326 0.6306 0.5787 0.5806 0.3982 0.5971 0.6144 0.5366 0.4234 0.4299 0.3922 0.4152 0.4514 0.5525 0.5284 data latih A, best MODEL ! data uji B, best SCORER !

14 Gambar Perkembangan nilai ENS untuk data latih A
Stagnansi Gambar Perkembangan nilai ENS untuk data latih A

15 Evaluasi Normalized Score (2)
Tabel Rataan ENS seluruh data latih terhadap data uji dengan n = {1,…,10} Data latih Data uji Rataan A B C 0.4225 0.4792 0.4807 0.4608 0.3415 0.4291 0.5182 0.4296 0.3994 0.4828 0.4596 0.4473 0.3878 0.4637 0.4862 data latih A, best MODEL ! data uji B C, best SCORER !

16 Evaluasi : Temu kembali
Hasil temu kembali Latent Semantic Indexing Recall & Precision 69 word word1, word2, Statistical Machine Translation

17 Evaluasi Temu Kembali Gambar Grafik recall dan precision untuk hasil temu kembali citra pada LSI Precision kueri klausa : 0.544, kueri teks : 0.251

18 Kesimpulan Penelitian ini berhasil mengimplementasikan model Statistical Machine Translation untuk anotasi automatis Hasil percobaan dengan beberapa kombinasi parameter grid pada penelitian ini menunjukkan bahwa grid dengan ukuran 2×3 menghasilkan model SMT terbaik untuk data yang digunakan dalam penelitian ini, dengan rataan normalized score (ENS) sebesar terhadap seluruh kombinasi grid pada pengujian. Implementasi Latent Semantic Indexing dapat memunculkan citra yang memiliki kedekatan semantik terhadap kueri pada hasil temu kembali Rataan precision untuk temu kembali citra: kueri klausa : 0.544 kueri teks : 0.251

19 Saran Membandingkan dengan beberapa model sederhana lainnya seperti cross-media relevance models(Jeon et al. 2003). Meneliti pemilihan ciri dan komposisinya dari region citra dalam grid yang dapat menghasilkan nilai temu kembali optimal. Penggunaan citra latih dan uji yang lain yang lebih bervariasi dan lebih banyak, beserta anotasi manual yang memiliki deskripsi yang lebih tinggi, mencerminkan konsep dari objek yang bersangkutan, seperti landscapes, indoor, outdoor, happy, dan sebagainya.

20 Daftar Pustaka Barnard K, Duygulu P, Guru R, Gabbur P, Forsyth D The effects of segmentation and feature choice in a translation model of object recognition. Deptartment of Compututer Science, Arizona University, Tucson, AZ, USA. Belongie S, Carson C, Greenspan H, Malik J Color- and Texture-Based Image Segmentation Using EM and Its Application to Content-Based Image Retrieval. Black PE. Zipfian distribution. Dictionary of Algorithms and Data Structures. [1 Agustus 2008]. D Brahmi dan D. Ziou Improving CBIR systems by integrating semantic features”. In Proc. RIAO, 291–305, Vaucluse, France. Duygulu P Translating Images to Words: A Novel Approach For Object Recognition [tesis]. Department of Computer Engineering, The Middle East Technical University. Duygulu P, Ozcanli OC, Papernick N. Comparison of Feature Sets using Multimedia Translation. School of Computer Science, Carnegie Mellon University, Informedia Project, Pittsburg, PA, USA. Grossman D. IR Book. cs529/files/ir_book.html [21 November 2008]. Han J, Ma KK, Fuzzy Color Histogram and Its Use in Color Image Retrieval. IEEE Transaction on Image Processing, vol. 11, no. 8, 2002. Inoue M On the need for annotation-based image retrieval. National Institute of Informatics Hitotsubashi, Chiyoda-ku. Tokyo, Japan. Jeon J, Lavrenko V, Manmatha R Automatic Image Annotation and Retrieval using Cross-Media Relevance Models. Center for Intelligent Information Retrieval, Computer Science Department, University of Massachussets. L Jia. Photography image database for retrieval and automatic annotation. Pennsylvania State University. [6 Maret 2008]. LACIE. Color Management White Paper 3:Color Spaces & Color Translation. [1 Agustus 2008]. Mori Y, Takahashi H, Oka T Image-to-word transformation based on dividing and vector quantizing images with words. In First International Workshop on Multimedia Intelligent Storage and Retrieval Management. Orlando, Florida. Sclaroff S, Cascia ML, Sethi S, Taycher L. Unifying textual and visual cues for content-based image retrieval on the world wide web. Computer Vision and Image Understanding, (1-2):86–98, 1999.

21 Terima Kasih