Multimedia Information Retrieval

Presentasi berjudul: "Multimedia Information Retrieval"— Transcript presentasi:

1 Multimedia Information Retrieval
Temu Kembali Informasi Multimedia Information Retrieval

2 Pengertian Temu Balik Informasi Multimedia
Temu Balik Informasi Multimedia adalah sebuah metodologi yang telah yang dikembangkan untuk mencari informasi yang relevan didalam database multimedia, dalam hal ini disebut dokumen (Peter, 1997,p4). Maghrebi berpendapat bahwa sistem temu balik informasi multimedia adalah sistem informasi yang dapat menghitungkan jenis informasi, karakteristik dan komponen (gambar, suara, teks) dalam angka memungkinkan pengguna untuk akses ke informasi tersebut (Maghrebi, 2008).

3 Pengertian Temu Balik Informasi Multimedia
Sistem Temu Balik Informasi Multimedia adalah sistem untuk manajemen (penyimpanan, pengambilan, dan manipulasi) data beberapa media seperti kombinasi data tabulasi/administrasi, dokumen teks, gambar, spasial, sejarah, audio, dan data video (joan, 2008). Tujuan: untuk memberikan jawaban terbaik yang sesuai dengan kebutuhan pengguna.

4 Prinsip Sistem Temu-kembali Informasi Multimedia
Prinsip Temu-kembali Berorientasi Penyimpanan (Storage Oriented Retrieval Principle) Jika dokumen disimpan dalam tempat yang cocok, maka akan mudah untuk mengambilnya di masa depan. Fokus utama dari prinsip berorientasi penyimpanan adalah organisasi dari "tempat yang sesuai" di mana dokumen yang akhirnya disimpan, atau dimana referensi dokumen yang disimpan (misalnya kartu indeks). Pendekatan yang mengikuti hasil prinsip dalam struktur informasi berupa klasifikasi, dan thesaurus (Lancaster,1986).

5 Prinsip Sistem Temu-kembali Informasi Multimedia
2. Prinsip Probabilitas Peringkat (Probablitiy Ranking Principle) Jika respon sistem pengambilan referensi untuk setiap permintaan adalah peringkat dokumen dalam koleksi dalam probabilitas kegunaan bagi pengguna yang mengajukan permintaan, dimana probabilitas diperkirakan seakurat mungkin atas dasar apa pun data telah dibuat tersedia untuk sistem untuk tujuan ini, maka keseluruhan efektivitas sistem untuk penggunanya akan menjadi yang terbaik yang dapat diperoleh berdasarkan data (Robertson, 1977).

6 Prinsip Sistem Temu-kembali Informasi Multimedia
Dalam konteks perpustakaan digital, prinsip pertama belum dibenarkan sejauh ini. Prinsip probabilitas peringkat jelas lebih unggul daripada pendekatan penyimpanan tradisional yang berorientasi dalam dua hal. Pertama, prinsip probabilitas peringkat bisa dibuktikan secara matematis. Kedua, percobaan dibuat sejauh ini juga menunjukkan keunggulan prinsip probabilitas peringkat. Perlu dicatat, bagaimanapun, bahwa metode pengambilan penyimpanan berorientasi dan metode pengambilan berdasarkan prinsip probabilitas tidak sepenuhnya tidak berhubungan. Terdapat hubungan antara berbagai jenis metode pengambilan (Penyu dan Croft, 1992) dan (Wong dan Yao, 1995).

7 Komponen Temu Balik Iinformasi Multimedia
Analisisdokumen: dokumen diproses untuk mengumpulkan informasi statistik Teknik pencarian interaktif: sistem mendukung interaksi dengan pengguna untuk meningkatkan kemungkinan keberhasilan pencarian Pengguna dapat memberikan informasi umpan balik kepada sistem. Dokumen multimedia: sistem mampu menyimpan dokumen multimedia. Dokumen berupa data multimedia (teks, gambar, audio, video, dll) dan disimpan semi terstruktur: data terstruktur dan tidak terstruktur. Model temu kembali: menyajikan daftar dokumen yang diurutkan dalam peringkat.

8 Jenis-jenis Sistem Temu Kembali Informasi Multimedia
Temu Kembali Audio berbasis Konten (Content Based Audio Retrieval) Temu Kembali video berbasis Konten (Content Based Video Retrieval) Temu Kembali Citra Berbasis Konten (Content Based Image Retrieval) Temu Kembali Teks Berbasis Konten (Content Based Text Retrieval)

9 Image Retrieval

10 Image Retrieval Apa maksudnya? Aplikasi
Menemukan gambar yang “mirip” dengan query Query: Seluruh atau sebagian dari contoh gambar Similarity berdasarkan pada seluruh atau sebagian gambar Aplikasi Mengorganisasikan koleksi gambar Perusahaan, perpustakaan, pribadi Mencari dan memperoleh gambar spesifik Paten, gambar dari web

11 Query Language Query menentukan nilai dari atribut objek yang harus ada. Exact match Similarity: Struktur, Isi keseluruhan dari objek (content- based queries) Spesifikasi query Bahasa query yang spesifik Query dengan contoh (query by example) Mis. Rumah – Temukan semua rumah yang bentuknya sama dan warnanya lain

12 Aplikasi dari Image retrieval

13 Apa yang dimaksud dengan ‘Similarity’
User mendefinisikan secara tepat Apa yang ‘similar’ Mobil dgn model tertentu atau semua mobil Mobil berwarna merah? Similarity lokal atau global? Similarity sebagian Similarity dgn seluruh gambar Bagaimana seseorang menentukan similarity? Apa featuresnya? Apa jarak metriknya?

14 Atribut dari Gambar Atribut gambar seperti warna, tekstur, tampak dan bentuk sering dihubungkan dengan semantik. Contoh: Gambar Bill Clinton bersama masyarakat menggunakan similarity by appearance Gambar burung kakatua berwarna merah dan hijau dengan menggunakan warna Gambar gorila menggunakan tekstur

15 Mengapa Image Retrieval Sulit
Text retrieval Kata adalah suatu unit Kata mempunyai arti semantik Image retrieval Tidak ada unitnya Pixel tidak mempunyai arti semantik Bagian-bagian dari objek Mis. Bagian dari tubuh manusia, binatang Sulit melakukan segmentasi Objek gambar tergantung pada banyak faktor Sudut pandang, iluminasi, bayangan Komplikasi lainnya seperti latar belakang

16 Tergantung Sudut Pandang

17 Features Features apa yang harus digunakan? Global features
Angka dihitung berdasarkan seluruh image Local features Dihitung pada setiap pixel atau suatu region kecil

18 Histogram Histogram dapat berdasarkan features yang berbeda Warna
Curvature (kelengkungan)

19

20 Contoh Histogram Warna
Fakultas Ilmu Komputer – Universitas Indonesia MA-61

21 Pencocokan Tekstur Karakteristik tekstur keteraturan pada skala kecil
Warna mendeskripsikan pixels, tekstur mendeskripsikan regions Dideskripsikan oleh beberapa jenis features mis., smoothness, periodicity, directionality Cocokkan ukuran region dengan karakteristik image Lakukan pencocokan weighted vector space Biasanya dikombinasikan dengan histogram warna

22 Pola-pola Tekstur

23 Segmentasi Image Teknik global saja menghasilkan precision yang rendah
Warna & tekstur merupakan karakteristik dari objek, bukan gambar Lakukan pencocokan dengan rotasi dan skala- invariant

24 Color Image Retrieval Memperoleh image yang warnanya sama
Menghitung histogram warna lokal Sebutkan warna apa yang berdekatan

25 Color Image retrieval

26 Local Similarity User memberikan outline dari query, mis. Wajah atau roda mobil Query dicocokkan dengan database dari images Keuntungan: Image dapat digabungkan dengan background arbitrary Variasi view dapat sampai 25 derajat Tidak perlu belajar lebih dulu Kekurangan Lambat, walau dipercepat 50 kali masih perlu 1-7 menit

27 Hasil dari Query Mobil

28 Ringkasan Image Retrieval
Query Kata kunci, contoh, sketch Pencocokan Caption text Segmentasi Similarity (warna, tekstur, bentuk) Susunan Spatial (orientasi, posisi) Teknik khusus (mis., pengenalan wajah)

29 Image Retrieval Identifikasi isi gambar : image retrieval
Image tag (metadata) Social tag pada image retrieval Isinya tidak berdasarkan pada isi gambar Dapat digabungkan pada gambar yang sama

30 Image Retrieval Tantangan
Bagaimana mendapatkan gambar yang relevan? Tag yang digunakan pada gambar yang mirip dapat digunakan untuk asosiasi kata, query expansion

31 Video Retrieval

32 Video Retrieval Mencari data video berdasakan informasi yang ada: teks, suara, gambar pada suatu frame dari video Deteksi teks pada gambar Menggunakan transkripsi dari suara Menggunakan isi dari gambar

33 Struktur Video Struktur Image Gerakan obyek Gerakan kamera
Posisi absolute, posisi relatif Gerakan obyek Translasi, rotasi Gerakan kamera Pan, zoom, perubahan perspektif Transisi shot Cut, fade, dissolve …

34 Mendeteksi Gerakan Obyek
Hipotesakan obyek seperti pada image retrieval Segmentasi berdasarkan pada warna dan tekstur Pelajari perubahan pixel dari frame ke frame Klasifikasikan gerakan Translasi Rotasi Gabungkan atau pisahkan

35 Mendeteksi Gerakan Kamera
Lakukan analisis pixel dari frame-ke-frame secara global Klasifikasikan pola-pola hasilnya Pasangan rotasi dan translasi  perspektif

36 Mendeteksi Struktur Shot-to-Shot
Buat suatu histogram warna untuk setiap image Segmen pada setiap discontinuities (cuts) Cuts mudah, transisi lain juga dapat dideteksi Kelompokkan histogram representatif untuk setiap shot Identifikasi cuts mulai dari awal shots Buat suatu grafik transisi berlabel waktu

37 Klasifikasi Shot Struktur shot-to-shot berkaitan dengan jenis rekaman video Beberapa substruktur adalah bermanfaat Cuts yang sering muncul pada pembawa acara Cuts periodik antara penonton talk show Cuts melebar-menyempit pada program olahraga

38 Menggunakan Berbagai Modalitas
Video seringkali disertai data multimedia lainnya Sound track, closed captions, on-screen captions Ini memberikan sinergi, tidak hanya pengulangan Beberapa informasi muncul hanya pada satu modalitas Analisis image membantu analisis video Deteksi wajah

39 Segmentasi Cerita Video sering mempunyai batas yang tidak mudah dideteksi Antara program, news stories, dll. Segmentasi yang tepat dapat meningkatkan kegunaan Jika terlalu besar dapat menurunkan keefektifan, terlalu kecil menjadi tidak alami Tersedia multiple segmentation cues Pergantian genre pada struktur shot-to-shot Pergantian perbendaharaan kata pada closed captions Teks pada layar yang muncul Musik

40 Closed Captions Dirancang untuk pemirsa dengan gangguan pendengaran
Isi pembicaraan, identitas pembicara, audio yang isinya bukan pembicaraan Sinkronisasi-nya lemah dengan video Muncul pada layar secara simultan Ada ketinggalan yang signifikan untuk siaran langsung Teks yang hilang dan kesalahan yang signifikan biasa terjadi

41 Menyetarakan Closed Captions
Pembicaraan dan closed caption adalah pengulangan, tetapi: Masing-masing mengandung jenis kesalahan yang berbeda Masing-masing memberikan informasi yang unik Menggabungkan keduanya dapat memperbaiki perolehan video Mulai dengan suatu penyelarasan waktu Sinkronisasikan pada segmen yang umum Speech recognition dapat memberikan waktu yang tepat sesuai isi video Gunakan kata-kata dari keduanya sebagai dasar untuk perolehan video Belajar yang mana diberi bobot lebih dari training data

42 On-Screen Captions On-screen captions dapat sangat berguna
Nama pembicara, nama acaranya, judul program , … Sangat menantang untuk meng-ekstrak Resolusi yang rendah, variasi latar belakang Tetapi beberapa faktor dapat mengikuti keinginan seseorang Amat stabil atas beberapa frame Lokasi standar dan orientasi

43 Optical Character Recognition (OCR)
Deteksi area teks Lihat bagian horisontal tipis yang panjang Mempunyai kecenderungan terhadap lokasi teks klasik dengan genre Integrasikan bagian yang dideteksi dengan beberapa frame yang lain Perbaiki teks yang di-ekstrak Perbaiki kontras, interpolasi Optical character recognition Cocokkan dengan teks sebelumnya (jika ada)

44 Deteksi wajah Segmen dari image berdasarkan pada bentuk
Kepala, bahu, dan rambut merupakan cues yang kuat Pilih pandangan yang langsung paling depan Berdasarkan pada posisi mata dan pipi, misalnya Lakukan pencocokan kemiripan

45 Perolehan Gambar Berdasarkan Identitas
Pengenalan wajah dan identifikasi pembicara Perlu data pelatihan On-screen captions memberikan penanda yang berguna Tergantung pada kesalahan OCR dan ejaan yang bervariasi Closed captions dan speech retrieval juga menolong Mis. biasanya pembawa acara memperkenalkan pembicara sebelum adanya cuts

46 Integrasi Teknologi yang Dikombinasikan
Scene Gerakan kamera Deteksi wajah Deteksi teks Kerelevanan Audio

47 Perolehan Video Cara mencari video yang relevan dengan menggabungkan berbagai Informasi multimedia OCR (teks) Automatic Speech Recognition (ASR) Temporal Color (statistik wana) Binary Lakukan penghitungan kemiripan

48 Diskusi Tulislah contoh dari jenis-jenis Temu Kembali Informasi Multimedia