“Image Retrieval” Shinta P.

Presentasi berjudul: "“Image Retrieval” Shinta P."— Transcript presentasi:

1 “Image Retrieval” Shinta P.
Multimedia IR “Image Retrieval” Shinta P.

2 Multimedia IR Menyimpan, memperoleh, memindahkan, memperlihatkan data yang kerakteristiknya beragam (teks, citra, suara, video). Arsitektur Multimedia IR tergantung pada: Karakteristik data multimedia Jenis operasi yang dilakukan

3 Query Query menentukan nilai atribut objek yang harus ada dengan hari perolehan: Exact Match Similarity Jenis Query multimedia IR: Text Spesifik Query by Example

4 Image Retrieval Pendekatan Tradisional berbasis Teks
Penjelasan manual gambar ( Tagging manual, teks yang menyertai gambar) Bunga Teratai Bunga Hidup di Air <ungu>

5 Kelemahan Pendekatan berbasis Teks
Kesulitan dalam pemberian tagging/ penjelasan manual Volume database yang besar Perbedaan persepsi manusia / subjektifitas Query yang tidak dapat dinyatakan secara jelas dengan kata-kata berkenaand engan fitur citra.

6 Ekstraksi/seleksi Fitur
Image Retrieval Pendekatan berbasis konten: Query mendefinisikan fitur / konten citra Query by Example Sistem mengekstrak fitur citra pada query untuk dibandingkan dengan database Ekstraksi/seleksi Fitur Indexing Desain Sistem IR

7 Tantangan Pendekatan berbasis Konten
Adanya Gap antara fitur tingkat rendah dan pemahaman semantik user tingkat tinggi Apa Mau dicari?

8 Ekstraksi Fitur Fitur Utama Warna Tekstrur Bentuk Lokasi Spasial

9 Seleksi Fitur Relevance feedback (supervised learning) Fuzzy approach

10 Fitur Warna Histogram Warna perhitungan mudah
Tidak menyandikan informasi spasial Tidak menyandikan pixel kesamaan warna

11 QBIC – Search by color ** Images courtesy : Yong Rao

12 Contoh: layout warna ** Image adapted from Smith and Chang : Single Color Extraction and Image Query

13 Layout Warna Perlu untuk Layout Warna   Fitur warna global memberikan terlalu banyak false positif. Cara kerjanya: Bagilah seluruh gambar menjadi sub-blok Ekstraksi ciri dari masing-masing sub-blok Bisakah kita melangkah lebih jauh? Bagilah ke daerah berdasarkan konsentrasi fitur warna Proses ini disebut segmentasi.

14 Fitur Tekstur Complex directional filter bank Gabor wavelet
Steerable pyramid Contourlet transform S. Oraintara, T. T. Nguyen, “Using Phase and Magnitude Information of the Complex directional Filter Bank for Texture Image Retrieval”, Proc. IEEE Int. Conf. on Image Processing, vol. 4, pp , Oct. 2007

15 S. Oraintara, T. T. Nguyen, “Using Phase and Magnitude Information of the Complex directional Filter Bank for Texture Image Retrieval”, Proc. IEEE Int. Conf. on Image Processing, vol. 4, pp , Oct. 2007

16 Fitur Bentuk

17 QBIC – Search by shape ** Images courtesy : Yong Rao

18 Mengapa Image Retrieval Sulit?
Text Retrieval Kata Adalah suatu unit, mudah diindex Kata Memiliki arti semantik Image Retrieval Unit pberupa piksel, sulit diindex Piksel tak memiliki arti piksel membentuk pola representasi objek, kesulitan dalam segmentasi Objek gambar tergantung banyak faktor

19 Mengapa Image Retrieval Sulit? (Cont’)
Objek gambar tergantung banyak faktor Sudut Pandang Iluminasi Bayangan Dan komplikasi lainya (latar belakang, variasi warna, dll)

20 Pencocokan Citra (Global Similarity)
Histogram Warna Karakteristik Tekstur (region)

21 Pencocokan Citra (Local Similarity)
Query By Example Segmentasi Objek Pencocokan Caption Text Similarity (warna, tekstur, bentuk) Susunan Spatial (orientasi, posisi) Teknik Khhusus (eg. Pengenalan Wajah)