Dibuat oleh Eri Prasetyo Di edit oleh Muhamad Taufan Element Multimedia Dibuat oleh Eri Prasetyo Di edit oleh Muhamad Taufan

Elemen Multimedia Objek Multimedia (teks, grafik, video, audio) Visual Style (Discrete media & continous media) Spatial Layout (Absolute, Directional relations, Topological relations, text flow) Temporal Dimension (Temporal Models, Animation) User Interaction (Level interaksi, model interaksi, application logic)

Element Multimedia

Elemen Multimedia Objek Multimedia (teks, grafik, video, audio) Visual Style (Discrete media & continous media) Spatial Layout (Absolute, Directional relations, Topological relations, text flow) Temporal Dimension (Temporal Models, Animation) User Interaction (Level interaksi, model interaksi, application logic)

Element Multimedia Aplikasi multimedia , seperti presentasi, training, vidio yang bergerak dll, memerlukan penanganan yang dinamis dari data yang terdiri dari gabungan teks, gambar/grafik, audio, video, dan animasi.

Element Multimedia Menurut Hofstetter (2001, p16) Teks: dasar utk menyampaikan informasi, mengemukakan ide-ide kepada pengguna. Jenis-jenis text terdiri dari: Printed text dihasilkan oleh word processor/editor dgn cara diketik scanned text teks dihasilkan melalui proses scanning tanpa pengetikan Hypertext teks memberikan link ke suatu tempat/ meloncat ke topik tertentu

Element Multimedia Grafik: ilustrasi informasi yang akan disampaikan tertutama informasi yang tidak dapat dijelaskan dgn kata-kata. Jenis-jenis grafik Bitmap gambar yg disimpan dlm bentuk kumpulan pixel berkaitan titik-titik pada layar monitor Digitized picture hasil rekaman video atau kamera yg dipindahkan ke komputer dan diubah dlm bentuk bitmaps Hyperpictures sama seperti hypertext hanya saja dalam bentuk gambar

Element Multimedia Video: Menyediakan sumber yang kaya dan hidup untuk aplikasi multimedia. Dengan video menerangkan hal-hal yang sulit digambarkan lewat kata-kata atau gambar diam dan dapat menggambarkan emosi serta psikologi manusia secara lebih jelas

Element Multimedia Audio: Multimedia tidak akan lengkap jika tanpa audio (suara). Berupa percakapan, musik atau efek suara lainnya. Jenis-jenis Audio: WAVE format digital audio yg disimpan dalam bentuk digital dengan ektensi WAV MIDI (Musical Instrument Digital Interface) cara efisien dalam merekam music dibandingkan wave, kapasitas data yg dihasilkan jauh lebih kecil. MIDI disimpan dalam bentuk MID

Element Multimedia Animasi: Simulasi gerakan yang dihasilkan dgn menayangkan rentetan frame ke layer. Frame adalah satu gambar tunggal pada rentetan gambar yang membentuk animasi Animate adalah untuk membuat sesuatu hidup, mencakup semua yg mengandung efek visual, perubahan posisi terhadap waktu, bentuk, warna, struktur, tekstur dari sebuah objek, posisi kamera, pencahayaan, orientasi dan focus serta perubahan dalam teknik rendering Foley, Van Dam, Feiner dan Hughes (1997, p1057)

Elemen Multimedia Objek Multimedia (teks, grafik, video, audio) Visual Style (Discrete media & continous media) Spatial Layout (Absolute, Directional relations, Topological relations, text flow) Temporal Dimension (Temporal Models, Animation) User Interaction (Level interaksi, model interaksi, application logic)

Object Multimedia Discrete Media Icons : Semantic Images Secara umum Icons berarti still icons. Manusia sangat berorientasi pada visual dan Icons merupakan sarana yang sangat baik untuk menyajikan informasi. Icons bisa berlaku universal, dan dapat dimengerti oleh semua orang meskipun punya perbedaan bahasa.

Object Multimedia Discrete Media Graphics : Computer generated berupa garis lingkaran poligon, dll Clip Art kumpulan image dan objek sederhana, yg digunakan sebagai still image / animasi Bisa dalam bentuk 2D atau 3D, tergantung tujuannya. Teknologi 3D terdiri dari dua macam : Pointing device digunakan untuk memanipulasi object dalam sistem 3D Display / Holografi Penggunaan komputer secara langsung dengan alat tertentu Dibuat menggunakan komputer berupa garis¸lingkaran¸poligon, dll

Object Multimedia Discrete Media (Images) Visible Images : Foto: natural source, gambar langsung dr kamera digital Drawing: gambar denah, blue print engineering Dokumen: discan sebagai image Painting: dibuat dengan aplikasi paint program pada komputer Still frame: diambil dari kamera video

Object Multimedia Discrete Media (Images) Non-Visible Images : Image yang tidak disimpan sebagai image, tetapi ditampilkan sebagai image. Contohnya : ukuran tekanan, temperatur, meteran dan tampilan lainnya.

Object Multimedia Discrete Media (Images) Abstrak Images : Bukan image yang terdapat dalam kenyataan, tetapi dihasilkan oleh komputer seperti dalam perhitungan matematik. Contohnya fraktal.

Object Multimedia Discrete Media Teks : Hypertext Sebagian besar penggunaan link dalam multimedia interaktif berdasarkan penggunaan hypertext yang biasa disebut hotword atau hotkey. Auto-hypertext -Dengan fasilitas ini , pengembangan multimedia tidak perlu menentukan tanda khusus pada teks yang mempunyai hubungan dengan link tetapi program mengenali teks yang mempunyai informasi tertentu dan secara langsung otomatis menampilkan informasi bila teks dipilih oleh user.

Object Multimedia Discrete Media Teks : Text Searching pencarian teks merupakan fitur yang memudahkan user dengan memasukkan suatu kata dalam program multimedia. -user dengan cepat memperoleh informasi yang berhubungan dengan kata tersebut Import dan export text Bila teks dan data pada database dalam ukuran yang besar akan dimasukkan dalam multimedia maka diperlukan paket authoring untuk mengimport text dan database tersebut sehingga menghemat waktu kerja

Object Multimedia Continous Media Audio / Sound Merupakan cara lain untuk memperjelas pengertian suatu informasi. Contoh : narasi merupakan kelengkapan dari penjelasan yang dilihat melalui video. Suara dapat lebih menjelaskan karakteristik suatu gambar spt musik dan suara efek (Sound effect), maupun suara asli (real sound).

Object Multimedia Continous Media Full motion dan live video Berhubungan dengan penyimpanan sebagai video clip, Sedang live video merupakan hasil pemrosesan yang diperoleh dari kamera. Interactive link Diperlukan bila pengguna menunjuk pada suatu obyek supaya dapat mengakses program tertentu. Menggabungkan beberapa elemen multimedia sehingga menjadi informasi yang terpadu.

Elemen Multimedia Objek Multimedia (teks, grafik, video, audio) Visual Style (Discrete media & continous media) Spatial Layout (Absolute, Directional relations, Topological relations, text flow) Temporal Dimension (Temporal Models, Animation) User Interaction (Level interaksi, model interaksi, application logic)

Spatial Layout (Tata Ruang) Absolute : Koordinat relatif dengan aslinya / umumnya (pojok kiri atas), ex: aplikasi Windows Direction relation (Relasi berarah): Menentukan susunan dalam ruang, ex: Peta subway (petunjuk arah)

Spatial Layout (Tata Ruang) Topological relations (Relasi Topologi): Posisi elemen terhadap elemen lain, ex: contains, inside of, cover, overlap Text Flow (Alur Teks): Alur berdimensi satu, ditunjukkan dengan area berdimensi dua Harus mendefinisikan atau mengatur posisi di ruang yang ada

Elemen Multimedia Objek Multimedia (teks, grafik, video, audio) Visual Style (Discrete media & continous media) Spatial Layout (Absolute, Directional relations, Topological relations, text flow) Temporal Dimension (Temporal Models, Animation) User Interaction (Level interaksi, model interaksi, application logic)

Temporal Dimension (Dimensi Temporer) Model Temporer: Definite (Terbatas) : misal. 6 detik Indefinite (Tidak terbatas) : for example , when user clicks Parallel and sequential relations (Relasi paralel dan sekuensial) ( misal: 2 video dimulai bersamaan atau 1 video dimulai setelah yang pertama selesai) Animation (Animasi): Gabungan dimensi temporer dan layout spasial (posisi suatu objek berubah sesuai dengan waktunya).

Hubungan diantara Objek Content Relationships E.g. Hyperlinks in web pages, citation links within documents etc. Spatial Relationships: Layout relationship Mendifinisikan lokasi spatial pada keluaran devais Video conference, itu lebih baik jika tempat spatial audio dimana peserta diperlihatkan Didalam pengajaran, jika anda mendengar suara saya dari speaker tapi melihat saya berjalan disekitar ruang, itu akan sangat mengganggu. Temporal Relationships: Playback pada waktu yang sama, setelah peristiwa tertentu dst. E.g. lip-synching issues

Tipe Hubungan temporal Intra-objec Relationships among components of the same object 20 fps menunjukkan sebuah frame baru setiap 40 ms atau lebih. Bagaimana kami bisa menjaga sinkronisasi (dari pada display 25 frames dalam 40 ms dan tidak ada sama sekali yang tertinggal di jalan) Inter-object sync.: Time relationships among multiple objects contoh, sinkronisasi diantara audio dan video dan sub judul dll. Define a notion of Logical Data Unit (LDU) to club info. Units Granularity(butir-butir) tergantung pada aplikasi : Frame sebagai sebuah LDU untuk video 512 byte units sebagai LDU untuk audio Dapat mengatur variabel panjang Membuka LDU untuk represent interactive response

Spatial Synchronization examples Ok Hyperlink Tracking The text follows a character

Spatial layout of text follow video object document Ok Document Region (Left, Top, Width, Height) Text Region (Width, Height) Video Region (Left, Top, Width, Height) . Video Object Region {x(t), y(t)} Right-Top-Align Location of the video object region that is moving region in the video region

Relations Temporal relations (Allen extension) meets, starts, equals, during, overlaps, etc. Spatial relations left_align, right_align, center_v, center_h, top_align, bottom_align, etc. <Temporal> … <Relations> <start Interval1=« a » Interval2=« b » /> <meet Interval1=« b » Interval2=« d » /> … </Temporal> <Spatial> … <left-align Region1=« b » Region2=« d » /> … </Spatial> d

Elemen Multimedia Objek Multimedia (teks, grafik, video, audio) Visual Style (Discrete media & continous media) Spatial Layout (Absolute, Directional relations, Topological relations, text flow) Temporal Dimension (Temporal Models, Animation) User Interaction (Level interaksi, model interaksi, application logic)

User Interaction (Interaksi Pemakai) Different Levels of Interaction (Level Interaksi Pemakai): Pasif : hanya visualisasi. Reaktif : interaksi terbatas, ex : fs. Scroll panel. Proaktif : memilih jalur atau penyeleksian, ex : button. Reciprocal : berhubungan dengan informasi pembuatan pada pemakai.

User Interaction Interaction Models (Model Interaksi) : Navigasi : memilih jalur yang diinginkan. Perancangan : pemakai memodifikasi gaya visual dari presentasi, ex : warna, volume audio. Bioskop : pemakai dapat mengontrol waktu keseluruhan (pada VCR, ex : play, stop).

Application Logic (Logika Aplikasi) Presentasi multimedia tradisional, tidak perlu logika : Kunjungan virtual ke museum, menu DVD …… Sistem interaktif real-time: -Dunia virtual reality, games (permainan). Logika aplikasi membutuhkan bahasa pemrograman (if case, goto ...) -Bahasa terkompilasi C, C++ -Virtual Machine: Java -WWW, MPEG-7, Director, Scripting

Application Logic Case Video Design Example

Video => Analysis -> Description -> Applications Video Description Video => Analysis -> Description -> Applications Scheme of audiovisual applications Dublin core: the semantic indexing schema for video content description. MPEG-7: the future standard tools will enable to define the semantic schemas for description of the audiovisual information. Our video modeling for composing multimedia document.

Methodology Specification of a modeling for the description of video content: Multi-level structuration, temporal and spatial relations, actions interactive on the video elements. Specification in XML Experimentation in Video

Multi-level Structuration Raw video Occ.1 Occ.2 Occ.3 Occ.4 Nabil Irene Structure Semantic Thesaurus Researcher Video Video Content Description <!--XML schema for the description of VideoContent--> <!ELEMENT VideoContent (MetaInfo, MediaInfo, Summary, Structure, Semantic, Thesaurus)> <!ELEMENT Structure (Sequence+, Relation?)> <!ELEMENT Semantic (VideoObject*, EventSemantics*)> <!ELEMENT Thesaurus (ReferenceDictionary*, UserDictionary*)> Structure Structural Description Semantic Semantic Description Thesaurus

Video Structure Description Motivation: for composition, the basis is to have the Structure description level. Semantic and Thesaurus are more necessary for retrieval applications or as a support for structuration level. First step is Structure description

High Level Description Video Structure Video Structure <!--XML schema for the description high level structure --> <!ELEMENT Structure (Sequence+, Relation?)> <!ELEMENT Sequence (Scene+,Relation?)> <!ELEMENT Scene (Shot+,Event*, Relation?)> <!ELEMENT Shot (Transition?,Event*,Occurrence*, Background?, Relation?)> Shots Sequences Scenes Video

Shot Content Description <!-- XML Shot Description --> <!ELEMENT Shot (Transition?,Event*,Occurrence*, Background?, Relation?) > <!ELEMENT Transition EMPTY > <!ELEMENT Event EMPTY> <!ELEMENT Background (Region+)> <!ELEMENT Occurrence (Region+, Trajectory?, Occurrence*) > <!ELEMENT SpatialLayout (2DBStringDS+) > <!ELEMENT CameraWork (CameraMotion?) > Shot Content Semantic Transition Index Event Shot SpatialLayout Background Trans. CameraWork Occurrence Event Occurrence SpatialLayout Background * Camerawork Reference

Occurrence Content Description <!-- XML Occurrence description --> <!ELEMENT Occurrence (Trajectory*, Region+, Occurrence*)> <!ELEMENT Trajectory …> <!ELEMENT Region (Contour+, Color*, Texture*, Centroid, Region*)> <!ELEMENT Contour … > <!ELEMENT Color … > <!ELEMENT Texture … > <!ELEMENT Centroid … > <!ELEMENT Region … > Trajectory Occurrence Regions Region Occurrences Occurrence Texture Contour Centroid Region Color Regions

Experimentation of the model in Madeus - VideoMadeus

TEMPORAL STRUCTURATION SPATIAL STRUCTURATION Madeus Architecture Editor/Presentation Tools EXECUTION View TIME LINE View HIERARCHICAL View VIDEO STRUCTURED View . . . MODEL MANAGEMENT PARSERS LOGIC STRUCTURATION EVENT MANAGEMENT TEMPORAL STRUCTURATION SAVE Madeus document SPATIAL STRUCTURATION MADEUS OUTILS JAVA Xerces JMF To extend Madeus to VideoMadeus, video content description is handled both in composition and in presentation parts.

Madeus Document Model <Madeus> <Content> … </Content> <Actor> . . . </Actor> <Temporal> . . . </Temporal> <Spatial> . . . </Spatial> </Madeus> Madeus Document Actor Content Temporal Spatial Content that describes the content information of the document Actor that defines how this basic information in the content part is used in the document (style information, link, etc.) Temporal for the synchronization between document parts Spatial for layout specification Structured document organized according to the dimensions: Logical, temporal, spatial. Internal Document Madeus Document Logical Content Actor Temporal Spatial

Relations Temporal relations (Allen extension) Spatial relations meets, starts, equals, during, overlaps, parmin,etc. Spatial relations left_align, right_align, center_v, center_h, top_align, bottom_align, etc. <Temporal> … <Relations> <start Interval1=« a » Interval2=« b » /> <meet Interval1=« b » Interval2=« d » /> … </Temporal> <Spatial> … <left-align Region1=« b » Region2=« d » /> … </Spatial> d

SynchronizationManagement Overview of VideoMadeus Editing and Presentation Tools Video edition View Execution View Structure View Semantic View Thesaurus View SynchronizationManagement Behavior Management Element Management Synchronization Hyperlink Follow-up Erase Display, etc... Temporal Spatial Edit Play Search Requested descriptions Requested descriptions Modified description Data Management XML Description of video content Internal Structure (MODEL) Modify Parser Index on video Video

VideoMadeus document <Madeus> <Content> . . . <VideoContentDS> . . . <Scene ID = « MyScene » ... > . . . </Scene> </VideoContentDS> </Content> <Actor> . . . <VideoElement ID=«SceneVideo» Content = «MyScene » . . . > . . .</VideoElement> </Actor> <Temporal> <Interval ID=“ScenceInt” Actor=“SceneVideo” Duration=“...” … /> <Relations> . . . </Relations> </Temporal> <Spatial> <Region ID=“ScenceReg” Actor=“SceneVideo” Height =“288” Width=“352” … /> </Spatial> </Madeus>