Apa yg terpenting dalam DM?Apa yg terpenting dalam DM?  Data 2.

Presentasi berjudul: "Apa yg terpenting dalam DM?Apa yg terpenting dalam DM?  Data 2."— Transcript presentasi:

1

2 Apa yg terpenting dalam DM?Apa yg terpenting dalam DM?  Data 2

3 3 Multimedia DataMultimedia Data Kombinasi Video Teks Suara Image Animasi

4 Multimedia DMMultimedia DM  Bagian dari DM yang berhubungan dengan :  ekstraksi dari pengetahuan implisit,  keterhubungan data multimedia, atau  pola lain yang tidak secara eksplisit tersimpan dalam basis data multimedia 4

5 Mengapa Multimedia DM ?Mengapa Multimedia DM ? 5

6 Disiplin ilmu terkaitDisiplin ilmu terkait  Basis data : perluasan dari KDD (rule patterns)  Sistem informasi  Analisis dan temu kembali informasi multimedia  Content based image & video search  Organisasi penyimpanan data multimedia yang efisien 6

7 Pencarian kesamaan pada Data MultimediaPencarian kesamaan pada Data Multimedia  Sistem temu-kembali berbasis deskripsi  Membangun indeks dan menyajikan temu kembali obyek berdasar pada deskripsi image seperti kata kunci, judul, ukuran, waktu pembuatan  Butuh banyak pekerja jika dilakukan secara manual  Hasil umumnya berkualitas rendah jika diotomasikan 7

8 8

9 9

10 10

11 11

12 12

13 Video retrieval - keywordsVideo retrieval - keywords  Key word search berbasi subtitles  Live demo: http://km.doc.ic.ac.uk/vse/

14 Content Based Retrieval SystemContent Based Retrieval System  Mendukung temu kembali pada data multimedia berbasiskan pada karakteristik media tersebut, contoh  Image :  Histogram warna  Tekstur  Bentuk  Obyek  Suara  Pitch, timbre, loudness  duration 14

15 Color HistogramColor Histogram

16 Texture FeatureTexture Feature Brodatz collection

17 17

18

19 19

20 Kueri dalam CBRKueri dalam CBR  Kueri berbasis contoh image  Cari seluruh image yang mirip dengan contoh image yang diberikan  Bandingkan vektor fitur (signature) yang diekstraksi dari contoh dengan vektor fitur dari image yang telah diekstrak dan diindeks dalam basis data 20

21 21

22 Kueri dalam CBRKueri dalam CBR  Kueri berbasis fitur secara spesifik  Spesifikasi atau sketsa fitur image seperti warna, tekstur, atau bentuk yang nanti diterjemahkan ke dalam vektor fitur 22

23 23

24

25

26 26

27 http://cagle.slate.msn.com/news/napster/main.asp

28 Sound retrieval by contentSound retrieval by content  Musik yang sama berbeda instrumen  Bagaimana cara mencari melodi seperti berikut?

29 Audio SearchAudio Search 29

30 Context browser & playbackContext browser & playback

31 Video QueryVideo Query Directed query

32 Video QueryVideo Query

33 • Query By Video Example

34 Relevance FeedbackRelevance Feedback

35 Image RetrievalImage Retrieval  Semantic Similarity

36 Image RetrievalImage Retrieval  Semantic Similarity

37 Image RetrievalImage Retrieval  Similarity of colors

38 Image RetrievalImage Retrieval  Shift-Invariant

39 Image RetrievalImage Retrieval  content-based

40

41 System OverviewSystem Overview 41

42 System overviewSystem overview

43

44 Design Issues of Image RetrievalDesign Issues of Image Retrieval  Retrieval specification  query  browsing  Feature extraction  Similarity measures  Access methods of Image Retrieval

45 Design Issues of Video RetrievalDesign Issues of Video Retrieval  Retrieval specification  video browsing  video query  Video Parsing  Feature extraction  Similarity measures

46 Video BrowsingVideo Browsing  Hierarchical video browsing

47 Story-Based Video BrowsingStory-Based Video Browsing

48 Scene Change DetectionScene Change Detection  Detected by frame sizes of motion JPEG

49 Multidimensional Analysis of Multimedia DataMultidimensional Analysis of Multimedia Data  Kubus data Multimedia  Desain dan konstruksi mirip dengan kubus data tradisional dari data relasional  Mengandung dimensi & ukuran tambahan untuk informasi multimedia, seperti warna, tekstur, bentuk 49

50 Multidimensional Analysis of Multimedia DataMultidimensional Analysis of Multimedia Data  Basis datanya tidak menyimpan image, tapi menyimpan deskriptornya  Feature descriptor: seset vektor untuk tiap karakteristik visual  Color vector: mengandung color histogram  MFC (Most Frequent Color) vector: five color centroids  MFO (Most Frequent Orientation) vector: five edge orientation centroids  Layout descriptor: mengandung color layout vector & edge layout vector 50

51 Multimedia Mining HierarchyMultimedia Mining Hierarchy 51

52 52

53 53

54 Multi-Dimensional Search in Multimedia Databases 54

55 Multi-Dimensional Analysis in Multimedia Databases Color histogramTexture layout 55

56 Mining Multimedia DatabasesMining Multimedia Databases Refining or combining searches Search for “blue sky” (top layout grid is blue) 56

57 Mining Multimedia DatabasesMining Multimedia Databases Search for “blue sky and green meadows” (top layout grid is blue and bottom is green) Search for “airplane in blue sky” (top layout grid is blue and keyword = “airplane”) 57

58 Mining Multimedia DatabasesMining Multimedia Databases RED WHITE BLUE GIFJPEG By Format By Colour Sum Cross Tab RED WHITE BLUE Colour Sum Group By Measurement JPEG GIF Small Very Large RED WHITE BLUE By Colour By Format & Colour By Format & Size By Colour & Size By Format By Size Sum The Data Cube and the Sub-Space Measurements Medium Large • Format of image • Duration • Colors • Textures • Keywords • Size • Width • Height • Internet domain of image • Internet domain of parent pages • Image popularity 58

59 59

60 Classification in MultiMediaMiner 60

61 Mining Multimedia DatabasesMining Multimedia Databases Spatial Relationships from Layout property P1 next-to property P2property P1 on-top-of property P2 Different Resolution Hierarchy 61

62 Mining Multimedia Databases From Coarse to Fine Resolution Mining 62