Multimedia Information Retrieval Temu Kembali Informasi Multimedia Information Retrieval

Pengertian Temu Balik Informasi Multimedia Temu Balik Informasi Multimedia adalah sebuah metodologi yang telah yang dikembangkan untuk mencari informasi yang relevan didalam database multimedia, dalam hal ini disebut dokumen (Peter, 1997,p4). Maghrebi berpendapat bahwa sistem temu balik informasi multimedia adalah sistem informasi yang dapat menghitungkan jenis informasi, karakteristik dan komponen (gambar, suara, teks) dalam angka memungkinkan pengguna untuk akses ke informasi tersebut (Maghrebi, 2008).

Pengertian Temu Balik Informasi Multimedia Sistem Temu Balik Informasi Multimedia adalah sistem untuk manajemen (penyimpanan, pengambilan, dan manipulasi) data beberapa media seperti kombinasi data tabulasi/administrasi, dokumen teks, gambar, spasial, sejarah, audio, dan data video (joan, 2008). Tujuan: untuk memberikan jawaban terbaik yang sesuai dengan kebutuhan pengguna.

Prinsip Sistem Temu-kembali Informasi Multimedia Prinsip Temu-kembali Berorientasi Penyimpanan (Storage Oriented Retrieval Principle) Jika dokumen disimpan dalam tempat yang cocok, maka akan mudah untuk mengambilnya di masa depan. Fokus utama dari prinsip berorientasi penyimpanan adalah organisasi dari "tempat yang sesuai" di mana dokumen yang akhirnya disimpan, atau dimana referensi dokumen yang disimpan (misalnya kartu indeks). Pendekatan yang mengikuti hasil prinsip dalam struktur informasi berupa klasifikasi, dan thesaurus (Lancaster,1986).

Prinsip Sistem Temu-kembali Informasi Multimedia 2. Prinsip Probabilitas Peringkat (Probablitiy Ranking Principle) Jika respon sistem pengambilan referensi untuk setiap permintaan adalah peringkat dokumen dalam koleksi dalam probabilitas kegunaan bagi pengguna yang mengajukan permintaan, dimana probabilitas diperkirakan seakurat mungkin atas dasar apa pun data telah dibuat tersedia untuk sistem untuk tujuan ini, maka keseluruhan efektivitas sistem untuk penggunanya akan menjadi yang terbaik yang dapat diperoleh berdasarkan data (Robertson, 1977).

Prinsip Sistem Temu-kembali Informasi Multimedia Dalam konteks perpustakaan digital, prinsip pertama belum dibenarkan sejauh ini. Prinsip probabilitas peringkat jelas lebih unggul daripada pendekatan penyimpanan tradisional yang berorientasi dalam dua hal. Pertama, prinsip probabilitas peringkat bisa dibuktikan secara matematis. Kedua, percobaan dibuat sejauh ini juga menunjukkan keunggulan prinsip probabilitas peringkat. Perlu dicatat, bagaimanapun, bahwa metode pengambilan penyimpanan berorientasi dan metode pengambilan berdasarkan prinsip probabilitas tidak sepenuhnya tidak berhubungan. Terdapat hubungan antara berbagai jenis metode pengambilan (Penyu dan Croft, 1992) dan (Wong dan Yao, 1995).

Komponen Temu Balik Iinformasi Multimedia Analisisdokumen: dokumen diproses untuk mengumpulkan informasi statistik Teknik pencarian interaktif: sistem mendukung interaksi dengan pengguna untuk meningkatkan kemungkinan keberhasilan pencarian Pengguna dapat memberikan informasi umpan balik kepada sistem. Dokumen multimedia: sistem mampu menyimpan dokumen multimedia. Dokumen berupa data multimedia (teks, gambar, audio, video, dll) dan disimpan semi terstruktur: data terstruktur dan tidak terstruktur. Model temu kembali: menyajikan daftar dokumen yang diurutkan dalam peringkat.

Jenis-jenis Sistem Temu Kembali Informasi Multimedia Temu Kembali Audio berbasis Konten (Content Based Audio Retrieval) Temu Kembali video berbasis Konten (Content Based Video Retrieval) Temu Kembali Citra Berbasis Konten (Content Based Image Retrieval) Temu Kembali Teks Berbasis Konten (Content Based Text Retrieval)

Image Retrieval

Image Retrieval Apa maksudnya? Aplikasi Menemukan gambar yang “mirip” dengan query Query: Seluruh atau sebagian dari contoh gambar Similarity berdasarkan pada seluruh atau sebagian gambar Aplikasi Mengorganisasikan koleksi gambar Perusahaan, perpustakaan, pribadi Mencari dan memperoleh gambar spesifik Paten, gambar dari web

Query Language Query menentukan nilai dari atribut objek yang harus ada. Exact match Similarity: Struktur, Isi keseluruhan dari objek (content- based queries) Spesifikasi query Bahasa query yang spesifik Query dengan contoh (query by example) Mis. Rumah – Temukan semua rumah yang bentuknya sama dan warnanya lain

Aplikasi dari Image retrieval

Apa yang dimaksud dengan ‘Similarity’ User mendefinisikan secara tepat Apa yang ‘similar’ Mobil dgn model tertentu atau semua mobil Mobil berwarna merah? Similarity lokal atau global? Similarity sebagian Similarity dgn seluruh gambar Bagaimana seseorang menentukan similarity? Apa featuresnya? Apa jarak metriknya?

Atribut dari Gambar Atribut gambar seperti warna, tekstur, tampak dan bentuk sering dihubungkan dengan semantik. Contoh: Gambar Bill Clinton bersama masyarakat menggunakan similarity by appearance Gambar burung kakatua berwarna merah dan hijau dengan menggunakan warna Gambar gorila menggunakan tekstur

Mengapa Image Retrieval Sulit Text retrieval Kata adalah suatu unit Kata mempunyai arti semantik Image retrieval Tidak ada unitnya Pixel tidak mempunyai arti semantik Bagian-bagian dari objek Mis. Bagian dari tubuh manusia, binatang Sulit melakukan segmentasi Objek gambar tergantung pada banyak faktor Sudut pandang, iluminasi, bayangan Komplikasi lainnya seperti latar belakang

Tergantung Sudut Pandang

Features Features apa yang harus digunakan? Global features Angka dihitung berdasarkan seluruh image Local features Dihitung pada setiap pixel atau suatu region kecil

Histogram Histogram dapat berdasarkan features yang berbeda Warna Curvature (kelengkungan)

http://www.ctr.columbia.edu/webseek

Contoh Histogram Warna Fakultas Ilmu Komputer – Universitas Indonesia MA-61

Pencocokan Tekstur Karakteristik tekstur keteraturan pada skala kecil Warna mendeskripsikan pixels, tekstur mendeskripsikan regions Dideskripsikan oleh beberapa jenis features mis., smoothness, periodicity, directionality Cocokkan ukuran region dengan karakteristik image Lakukan pencocokan weighted vector space Biasanya dikombinasikan dengan histogram warna

Pola-pola Tekstur

Segmentasi Image Teknik global saja menghasilkan precision yang rendah Warna & tekstur merupakan karakteristik dari objek, bukan gambar Lakukan pencocokan dengan rotasi dan skala- invariant

Color Image Retrieval Memperoleh image yang warnanya sama Menghitung histogram warna lokal Sebutkan warna apa yang berdekatan

Color Image retrieval

Local Similarity User memberikan outline dari query, mis. Wajah atau roda mobil Query dicocokkan dengan database dari images Keuntungan: Image dapat digabungkan dengan background arbitrary Variasi view dapat sampai 25 derajat Tidak perlu belajar lebih dulu Kekurangan Lambat, walau dipercepat 50 kali masih perlu 1-7 menit

Hasil dari Query Mobil

Ringkasan Image Retrieval Query Kata kunci, contoh, sketch Pencocokan Caption text Segmentasi Similarity (warna, tekstur, bentuk) Susunan Spatial (orientasi, posisi) Teknik khusus (mis., pengenalan wajah)

Image Retrieval Identifikasi isi gambar : image retrieval Image tag (metadata) Social tag pada image retrieval Isinya tidak berdasarkan pada isi gambar Dapat digabungkan pada gambar yang sama

Image Retrieval Tantangan Bagaimana mendapatkan gambar yang relevan? Tag yang digunakan pada gambar yang mirip dapat digunakan untuk asosiasi kata, query expansion

Video Retrieval

Video Retrieval Mencari data video berdasakan informasi yang ada: teks, suara, gambar pada suatu frame dari video Deteksi teks pada gambar Menggunakan transkripsi dari suara Menggunakan isi dari gambar

Struktur Video Struktur Image Gerakan obyek Gerakan kamera Posisi absolute, posisi relatif Gerakan obyek Translasi, rotasi Gerakan kamera Pan, zoom, perubahan perspektif Transisi shot Cut, fade, dissolve …

Mendeteksi Gerakan Obyek Hipotesakan obyek seperti pada image retrieval Segmentasi berdasarkan pada warna dan tekstur Pelajari perubahan pixel dari frame ke frame Klasifikasikan gerakan Translasi Rotasi Gabungkan atau pisahkan

Mendeteksi Gerakan Kamera Lakukan analisis pixel dari frame-ke-frame secara global Klasifikasikan pola-pola hasilnya Pasangan rotasi dan translasi  perspektif

Mendeteksi Struktur Shot-to-Shot Buat suatu histogram warna untuk setiap image Segmen pada setiap discontinuities (cuts) Cuts mudah, transisi lain juga dapat dideteksi Kelompokkan histogram representatif untuk setiap shot Identifikasi cuts mulai dari awal shots Buat suatu grafik transisi berlabel waktu

Klasifikasi Shot Struktur shot-to-shot berkaitan dengan jenis rekaman video Beberapa substruktur adalah bermanfaat Cuts yang sering muncul pada pembawa acara Cuts periodik antara penonton talk show Cuts melebar-menyempit pada program olahraga

Menggunakan Berbagai Modalitas Video seringkali disertai data multimedia lainnya Sound track, closed captions, on-screen captions Ini memberikan sinergi, tidak hanya pengulangan Beberapa informasi muncul hanya pada satu modalitas Analisis image membantu analisis video Deteksi wajah

Segmentasi Cerita Video sering mempunyai batas yang tidak mudah dideteksi Antara program, news stories, dll. Segmentasi yang tepat dapat meningkatkan kegunaan Jika terlalu besar dapat menurunkan keefektifan, terlalu kecil menjadi tidak alami Tersedia multiple segmentation cues Pergantian genre pada struktur shot-to-shot Pergantian perbendaharaan kata pada closed captions Teks pada layar yang muncul Musik

Closed Captions Dirancang untuk pemirsa dengan gangguan pendengaran Isi pembicaraan, identitas pembicara, audio yang isinya bukan pembicaraan Sinkronisasi-nya lemah dengan video Muncul pada layar secara simultan Ada ketinggalan yang signifikan untuk siaran langsung Teks yang hilang dan kesalahan yang signifikan biasa terjadi

Menyetarakan Closed Captions Pembicaraan dan closed caption adalah pengulangan, tetapi: Masing-masing mengandung jenis kesalahan yang berbeda Masing-masing memberikan informasi yang unik Menggabungkan keduanya dapat memperbaiki perolehan video Mulai dengan suatu penyelarasan waktu Sinkronisasikan pada segmen yang umum Speech recognition dapat memberikan waktu yang tepat sesuai isi video Gunakan kata-kata dari keduanya sebagai dasar untuk perolehan video Belajar yang mana diberi bobot lebih dari training data

On-Screen Captions On-screen captions dapat sangat berguna Nama pembicara, nama acaranya, judul program , … Sangat menantang untuk meng-ekstrak Resolusi yang rendah, variasi latar belakang Tetapi beberapa faktor dapat mengikuti keinginan seseorang Amat stabil atas beberapa frame Lokasi standar dan orientasi

Optical Character Recognition (OCR) Deteksi area teks Lihat bagian horisontal tipis yang panjang Mempunyai kecenderungan terhadap lokasi teks klasik dengan genre Integrasikan bagian yang dideteksi dengan beberapa frame yang lain Perbaiki teks yang di-ekstrak Perbaiki kontras, interpolasi Optical character recognition Cocokkan dengan teks sebelumnya (jika ada)

Deteksi wajah Segmen dari image berdasarkan pada bentuk Kepala, bahu, dan rambut merupakan cues yang kuat Pilih pandangan yang langsung paling depan Berdasarkan pada posisi mata dan pipi, misalnya Lakukan pencocokan kemiripan

Perolehan Gambar Berdasarkan Identitas Pengenalan wajah dan identifikasi pembicara Perlu data pelatihan On-screen captions memberikan penanda yang berguna Tergantung pada kesalahan OCR dan ejaan yang bervariasi Closed captions dan speech retrieval juga menolong Mis. biasanya pembawa acara memperkenalkan pembicara sebelum adanya cuts

Integrasi Teknologi yang Dikombinasikan Scene Gerakan kamera Deteksi wajah Deteksi teks Kerelevanan Audio

Perolehan Video Cara mencari video yang relevan dengan menggabungkan berbagai Informasi multimedia OCR (teks) Automatic Speech Recognition (ASR) Temporal Color (statistik wana) Binary Lakukan penghitungan kemiripan

Diskusi Tulislah contoh dari jenis-jenis Temu Kembali Informasi Multimedia