Apa yg terpenting dalam DM?Apa yg terpenting dalam DM?  Data 2

3 Multimedia DataMultimedia Data Kombinasi Video Teks Suara Image Animasi

Multimedia DMMultimedia DM  Bagian dari DM yang berhubungan dengan :  ekstraksi dari pengetahuan implisit,  keterhubungan data multimedia, atau  pola lain yang tidak secara eksplisit tersimpan dalam basis data multimedia 4

Mengapa Multimedia DM ?Mengapa Multimedia DM ? 5

Disiplin ilmu terkaitDisiplin ilmu terkait  Basis data : perluasan dari KDD (rule patterns)  Sistem informasi  Analisis dan temu kembali informasi multimedia  Content based image & video search  Organisasi penyimpanan data multimedia yang efisien 6

Pencarian kesamaan pada Data MultimediaPencarian kesamaan pada Data Multimedia  Sistem temu-kembali berbasis deskripsi  Membangun indeks dan menyajikan temu kembali obyek berdasar pada deskripsi image seperti kata kunci, judul, ukuran, waktu pembuatan  Butuh banyak pekerja jika dilakukan secara manual  Hasil umumnya berkualitas rendah jika diotomasikan 7

8

9

10

11

12

Video retrieval - keywordsVideo retrieval - keywords  Key word search berbasi subtitles  Live demo:

Content Based Retrieval SystemContent Based Retrieval System  Mendukung temu kembali pada data multimedia berbasiskan pada karakteristik media tersebut, contoh  Image :  Histogram warna  Tekstur  Bentuk  Obyek  Suara  Pitch, timbre, loudness  duration 14

Color HistogramColor Histogram

Texture FeatureTexture Feature Brodatz collection

17

19

Kueri dalam CBRKueri dalam CBR  Kueri berbasis contoh image  Cari seluruh image yang mirip dengan contoh image yang diberikan  Bandingkan vektor fitur (signature) yang diekstraksi dari contoh dengan vektor fitur dari image yang telah diekstrak dan diindeks dalam basis data 20

21

Kueri dalam CBRKueri dalam CBR  Kueri berbasis fitur secara spesifik  Spesifikasi atau sketsa fitur image seperti warna, tekstur, atau bentuk yang nanti diterjemahkan ke dalam vektor fitur 22

23

26

Sound retrieval by contentSound retrieval by content  Musik yang sama berbeda instrumen  Bagaimana cara mencari melodi seperti berikut?

Audio SearchAudio Search 29

Context browser & playbackContext browser & playback

Video QueryVideo Query Directed query

Video QueryVideo Query

• Query By Video Example

Relevance FeedbackRelevance Feedback

Image RetrievalImage Retrieval  Semantic Similarity

Image RetrievalImage Retrieval  Semantic Similarity

Image RetrievalImage Retrieval  Similarity of colors

Image RetrievalImage Retrieval  Shift-Invariant

Image RetrievalImage Retrieval  content-based

System OverviewSystem Overview 41

System overviewSystem overview

Design Issues of Image RetrievalDesign Issues of Image Retrieval  Retrieval specification  query  browsing  Feature extraction  Similarity measures  Access methods of Image Retrieval

Design Issues of Video RetrievalDesign Issues of Video Retrieval  Retrieval specification  video browsing  video query  Video Parsing  Feature extraction  Similarity measures

Video BrowsingVideo Browsing  Hierarchical video browsing

Story-Based Video BrowsingStory-Based Video Browsing

Scene Change DetectionScene Change Detection  Detected by frame sizes of motion JPEG

Multidimensional Analysis of Multimedia DataMultidimensional Analysis of Multimedia Data  Kubus data Multimedia  Desain dan konstruksi mirip dengan kubus data tradisional dari data relasional  Mengandung dimensi & ukuran tambahan untuk informasi multimedia, seperti warna, tekstur, bentuk 49

Multidimensional Analysis of Multimedia DataMultidimensional Analysis of Multimedia Data  Basis datanya tidak menyimpan image, tapi menyimpan deskriptornya  Feature descriptor: seset vektor untuk tiap karakteristik visual  Color vector: mengandung color histogram  MFC (Most Frequent Color) vector: five color centroids  MFO (Most Frequent Orientation) vector: five edge orientation centroids  Layout descriptor: mengandung color layout vector & edge layout vector 50

Multimedia Mining HierarchyMultimedia Mining Hierarchy 51

52

53

Multi-Dimensional Search in Multimedia Databases 54

Multi-Dimensional Analysis in Multimedia Databases Color histogramTexture layout 55

Mining Multimedia DatabasesMining Multimedia Databases Refining or combining searches Search for “blue sky” (top layout grid is blue) 56

Mining Multimedia DatabasesMining Multimedia Databases Search for “blue sky and green meadows” (top layout grid is blue and bottom is green) Search for “airplane in blue sky” (top layout grid is blue and keyword = “airplane”) 57

Mining Multimedia DatabasesMining Multimedia Databases RED WHITE BLUE GIFJPEG By Format By Colour Sum Cross Tab RED WHITE BLUE Colour Sum Group By Measurement JPEG GIF Small Very Large RED WHITE BLUE By Colour By Format & Colour By Format & Size By Colour & Size By Format By Size Sum The Data Cube and the Sub-Space Measurements Medium Large • Format of image • Duration • Colors • Textures • Keywords • Size • Width • Height • Internet domain of image • Internet domain of parent pages • Image popularity 58

59

Classification in MultiMediaMiner 60

Mining Multimedia DatabasesMining Multimedia Databases Spatial Relationships from Layout property P1 next-to property P2property P1 on-top-of property P2 Different Resolution Hierarchy 61

Mining Multimedia Databases From Coarse to Fine Resolution Mining 62