Apa yg terpenting dalam DM?Apa yg terpenting dalam DM? Data 2
3 Multimedia DataMultimedia Data Kombinasi Video Teks Suara Image Animasi
Multimedia DMMultimedia DM Bagian dari DM yang berhubungan dengan : ekstraksi dari pengetahuan implisit, keterhubungan data multimedia, atau pola lain yang tidak secara eksplisit tersimpan dalam basis data multimedia 4
Mengapa Multimedia DM ?Mengapa Multimedia DM ? 5
Disiplin ilmu terkaitDisiplin ilmu terkait Basis data : perluasan dari KDD (rule patterns) Sistem informasi Analisis dan temu kembali informasi multimedia Content based image & video search Organisasi penyimpanan data multimedia yang efisien 6
Pencarian kesamaan pada Data MultimediaPencarian kesamaan pada Data Multimedia Sistem temu-kembali berbasis deskripsi Membangun indeks dan menyajikan temu kembali obyek berdasar pada deskripsi image seperti kata kunci, judul, ukuran, waktu pembuatan Butuh banyak pekerja jika dilakukan secara manual Hasil umumnya berkualitas rendah jika diotomasikan 7
8
9
10
11
12
Video retrieval - keywordsVideo retrieval - keywords Key word search berbasi subtitles Live demo:
Content Based Retrieval SystemContent Based Retrieval System Mendukung temu kembali pada data multimedia berbasiskan pada karakteristik media tersebut, contoh Image : Histogram warna Tekstur Bentuk Obyek Suara Pitch, timbre, loudness duration 14
Color HistogramColor Histogram
Texture FeatureTexture Feature Brodatz collection
17
19
Kueri dalam CBRKueri dalam CBR Kueri berbasis contoh image Cari seluruh image yang mirip dengan contoh image yang diberikan Bandingkan vektor fitur (signature) yang diekstraksi dari contoh dengan vektor fitur dari image yang telah diekstrak dan diindeks dalam basis data 20
21
Kueri dalam CBRKueri dalam CBR Kueri berbasis fitur secara spesifik Spesifikasi atau sketsa fitur image seperti warna, tekstur, atau bentuk yang nanti diterjemahkan ke dalam vektor fitur 22
23
26
Sound retrieval by contentSound retrieval by content Musik yang sama berbeda instrumen Bagaimana cara mencari melodi seperti berikut?
Audio SearchAudio Search 29
Context browser & playbackContext browser & playback
Video QueryVideo Query Directed query
Video QueryVideo Query
• Query By Video Example
Relevance FeedbackRelevance Feedback
Image RetrievalImage Retrieval Semantic Similarity
Image RetrievalImage Retrieval Semantic Similarity
Image RetrievalImage Retrieval Similarity of colors
Image RetrievalImage Retrieval Shift-Invariant
Image RetrievalImage Retrieval content-based
System OverviewSystem Overview 41
System overviewSystem overview
Design Issues of Image RetrievalDesign Issues of Image Retrieval Retrieval specification query browsing Feature extraction Similarity measures Access methods of Image Retrieval
Design Issues of Video RetrievalDesign Issues of Video Retrieval Retrieval specification video browsing video query Video Parsing Feature extraction Similarity measures
Video BrowsingVideo Browsing Hierarchical video browsing
Story-Based Video BrowsingStory-Based Video Browsing
Scene Change DetectionScene Change Detection Detected by frame sizes of motion JPEG
Multidimensional Analysis of Multimedia DataMultidimensional Analysis of Multimedia Data Kubus data Multimedia Desain dan konstruksi mirip dengan kubus data tradisional dari data relasional Mengandung dimensi & ukuran tambahan untuk informasi multimedia, seperti warna, tekstur, bentuk 49
Multidimensional Analysis of Multimedia DataMultidimensional Analysis of Multimedia Data Basis datanya tidak menyimpan image, tapi menyimpan deskriptornya Feature descriptor: seset vektor untuk tiap karakteristik visual Color vector: mengandung color histogram MFC (Most Frequent Color) vector: five color centroids MFO (Most Frequent Orientation) vector: five edge orientation centroids Layout descriptor: mengandung color layout vector & edge layout vector 50
Multimedia Mining HierarchyMultimedia Mining Hierarchy 51
52
53
Multi-Dimensional Search in Multimedia Databases 54
Multi-Dimensional Analysis in Multimedia Databases Color histogramTexture layout 55
Mining Multimedia DatabasesMining Multimedia Databases Refining or combining searches Search for “blue sky” (top layout grid is blue) 56
Mining Multimedia DatabasesMining Multimedia Databases Search for “blue sky and green meadows” (top layout grid is blue and bottom is green) Search for “airplane in blue sky” (top layout grid is blue and keyword = “airplane”) 57
Mining Multimedia DatabasesMining Multimedia Databases RED WHITE BLUE GIFJPEG By Format By Colour Sum Cross Tab RED WHITE BLUE Colour Sum Group By Measurement JPEG GIF Small Very Large RED WHITE BLUE By Colour By Format & Colour By Format & Size By Colour & Size By Format By Size Sum The Data Cube and the Sub-Space Measurements Medium Large • Format of image • Duration • Colors • Textures • Keywords • Size • Width • Height • Internet domain of image • Internet domain of parent pages • Image popularity 58
59
Classification in MultiMediaMiner 60
Mining Multimedia DatabasesMining Multimedia Databases Spatial Relationships from Layout property P1 next-to property P2property P1 on-top-of property P2 Different Resolution Hierarchy 61
Mining Multimedia Databases From Coarse to Fine Resolution Mining 62