Image Processing Architecture Lecture 10, 01/07/2007 MPEG-2, Industrial Strength Video Compression and Friends Oleh Tretiak Drexel University

Topic Bahasan Dasar Penyandian/coding Video Corak MPEG-1 (Features of MPEG-1) Features dari H.261 MPEG-2 Pengenalan MPEG-4

Dasar Penyandian Video Lapisan (Layered) stream video digital Types gambar Parameter Coding dan kompresi Decoder: diagram umum Pilihan untuk block coding

Lapisan Gambar

Kompresi Video : Type Gambar Group dari Gambar: Tiga type I — khusus pengkodean intraframe P — penyandian bersifat prediksi B — penyandian bi-directional

Parameter Penyandian Type MPEG Typical sequence IPBBPBBPBBPBBPBB (16 frames)

Block Diagram Decoder MPEG P frame B frame I frame

Penyandian Macro-Block : I & P I pictures (Hampir seperti JPEG) Dibagi menjadi irisan/slices dan macro-blocks Tidak ada ganti-rugi gerakan Setiap macro-block dapat mempunyai kuantisasi berbeda Kode DC dan AC berbeda, seperti pada JPEG Tabel penyandian berbeda dari JPEG P pictures Option: Tidak ada kompensasi gerakan Option: dapat mengkode block seperti inter atau intra (seperti gambar I) Mampu melompati macro-block (menggantikan dengan yang sebelumnya). Compresi besar

Gambaran Penyandian Blok B pictures Inter atau intra? Forward, backward, inter-polational? Pengkodean block atau skip? Langkah quantisasi ? Statistics untuk sebuah image sequence

Standard Lama: MPEG-1 dan Video conferencing

MPEG-1: ‘1.5’ Mbps Contoh tingkat pengurangan di dalam daerah sementara dan ruang Masalah ruang (Spatial) Di Block berdasarkan DCT Penyandian/coding Huffman (tidak ada pengkodean arithmetic) dari gerak vector dan quantisasi koefficient DCT 352 x 340 pixels, 12 bits per pixel, tingkatan gambar 30 pictures per second —> 30.4 Mbps Coded bit stream 1.15 Mbps (harus meninggalkan bandwidth untuk audio) Compression 26:1 Qualitas lebih baik dari VHS! Sementara/Temporal Block-berdasarkan kompensasi gerak coding Interframe (dua macam)

Video Teleconferencing Standard Comprehensive : H.320 Components dari H.320 H.261: Video coding, 64 to 1920 kbits/sec G.722, G.726, G.728: Audio coding dari 16 kbits/sec to 64 kbits/sec H.221: Multiplexing dari audio dan video (frame didasarkan pada paket dasar) H.230 dan H.242: Handshaking dan control H.233: encrypsi

System Telephone Video Umum (Generic)

Features H.261 Format Interchange Umum Interoperability diantara 25 fps dan 30 fps 252 pix/line, 288 line, 30 fps non-interlace Peralatan terminal mengkonversi nomor garis dan frame components Y Cb Cr, Mewarnai sub sampled dengan suatu faktor 2 di (dalam) dua arah Coding DCT, 8x8, 4 Y dan 2 chrominance per master block Hanya frames I dan P, P blocks dapat di skipped gerakan kompensasi opsional, hanya kompensasi bilangan bulat/integer (Optional) penyandian forward error correction

H.261 vs MPEG-1 Persamaan CIF, SIF, non-interlaced Technology DCT Perbedaan H.261 memakai umumnya P frames, tidak B frames H.261 typical bit rates amat rendah (down to 64 kbits/sec) Low bit rates dicapai dengan mengurangi nilai frame Kompensasi gerakan yang lebih sederhana Delay penyandian End-To-End harus rendah Conclusion: Same technology, different design akan different needs

MPEG 2i, i = 0, 1 History & Goals Perkembangan penyandian video Bagaimana profil MPEG-2 ? Features dari MPEG-2

MPEG Home Lihat web site ( http://www.cselt.it/mpeg/ ) http://mpeg.telecomitalialab.com/ Informasi site http://www.mpeg.org/MPEG/ (tidak dirubah) History MPEG-1, the standard for storage and retrieval of moving pictures and audio on storage media (approved Nov. 92) MPEG-2, the standard for digital television (approved Nov. 94) MPEG-4 version 1, the standard for multimedia applications (approved Oct. 98), version 2, (approved Dec. 99) Under development: MPEG-4 versions 3&4 MPEG-7 the content representation standard for multimedia information search, filtering, management and processing. Started MPEG-21, the multimedia framework.

Contoh MPEG Film on DVD: 8 Gbytes Playing time: 2 hours Bit rate 8e9 bytes x 8 bits/byte / 7200 seconds ~ 9 Mbits/sec Information? on the web http://www.microsoft.com/windowsxp/moviemaker/expert/digitalvideo.asp ‘Bit Rate Explained Bit rate menggambarkan berapa banyak informasi yang ada per detik di (dalam) suatu stream data. Mungkin kamu sudah melihat audio file digambarkan sebagai "128" Kbps MP3" atau " 64"Kbps WMA." Kbps mewakili " kilo bytes per detik,"....’ Site mengakui bahwa 64 Kbps WMA adalah boleh dikatakan sebagai 128 Kbps MP3 Ketidak tahuan tentang bit dan bytes tidak mendorong kredibilitas

Tujuan MPEG-2 Compatibility dengan MPEG-1 Good picture quality Flexibility dalam format input Kemampuan Random access (I pictures) Kemampuan untuk bermain depan / fast forward, fast reverse play, stop frame Scalability Bit stream Low delay untuk komunikasi 2-way (video-conferencing) Resilience to bit errors

Implikasi MPEG-2 Tidak (ada) alasan untuk membatasi untuk CCIR 601 High resolution dapat termasuk (HDTV) Tidak (ada) standard tunggal yang dapat mencukupi semua kebutuhan Family of standards Kebanyakan aplikasi menggunakan sebuah satuan corak kecil Pendekatan Toolkit

Profiles MPEG-2 Sebuah profil adalah suatu subset (menyangkut) keseluruhan MPEG-2 bit-stream sintaksis Simple Main 4:2:2 SNR Spatial High Multiview Setiap profile memiliki beberapa levels (quality resolution ) Low — MPEG1 Main — CCIR 601 High-1440 (Video Editing) High (HDTV)

Features dari MPEG-2 Dukungan kedua-duanya non-interlaced dan interlaced pictures Penanganan warna Y Cb Cr color space Beberapa sub-sampling schemes akan digunakan 4:2:0, 4:2:2, 4:4:4 MPEG-2 sequence dapat berupa frames atau fields Kedua prediksi frame dan prediksi field akan didukung Akan ada gerak diantara dua fields dalam sebuah frame, sehingga prediksi frame akan lebih licik/tricky Dalam prediksi frame, kedua fields mendasari satu picture Pada prediksi field, termasuk field pada frame sebelumnya atau field sebelumnya pada frame ini dapat dipakai sebagai referensi Penyandian sempurna/Robustified dari vektor gerakan untuk melindungi dari kesalahan bit Modes prediksi khusus : 16x8, dual-prime

MPEG-2: DCT and Quantization Dua quantizers: satu untuk intra blok dan satu untuk non-intra blok Mendukung perbedaan quantisasi blocks untuk luminance dan chrominance Scalable bit streams data partitioning, SNR scalability, temporal scalability, spatial scalability Data partitioning: headers and motion vectors in two bit streams SNR scalability: lower layer provided basic video, other layers provide enhancements. Basic layer sent with robust modulation Spatial scalability: lower layer provides basic resolution (e. g., MPEG-1), upper layer provides detail Temporal scalability: lower layer provides basic (low) frame rate

MPEG-2: Profiles 4:2:2 profile pada level Utama Two Y blocks untuk setiap pasangan dari Cb, Cr blocks Format distribusi untuk produksi video sempurna Untuk beberapa compressions dan decompressions 720x608, 30 fps 50 Mbit/sec Luminance full raster, chrominance akan berada pada full line rate DC precision dari intra blocks dapat mencapai diatas 11 bits Main (4:2:0) profile pada level Utama empat Y blocks untuk setiap pasang dari Cb, Cr blocks Berniat untuk menyiarkan mutu (benar-benar, menjadi lebih baik) 15 Mbit/sec Main profile pada low level Seperti MPEG-1

MPEG2 features Rencana untuk ‘frame’ dan persandian field. Ada dua fields pada sebuah frame, T (top) B (bottom) Juga dapat menjadi yang pertama Prediksi Frame untuk frame gambar Apa yang akan dikatakan? Prediksi Field untuk field gambar Target macro-block akan dalam satu field Prediksi pixels datang dari satu field Mampu akan sama dari berbeda parity sebagai target field Prediksi Field untuk frame gambar Dual prime untuk P-pictures 16x8 macro-block untuk field pictures Gerak vectors dikode pada half-pel resolution

MPEG2 - Alternative Scan Zig-zag scan Alternate scan

MPEG2 — Sub-sampling Dimisalkan picture adalah 720x480 4:4:4 Luminance dan chrominance @ 720x480 4:2:2 Luminance @ 720x480, chrominance 360x480 4:2:0 Luminance 420x480, chrominance 360x240 Istilah aneh

Low Y ~ 352x240 Cb, Cr ~ 176x120 30 pictures per second +/- 64 pixel displacement, half pixel resolution

Main (4:2:0) Y ~ 720x480 Cb,Cr ~ 360x240 30 frames per second 4:3, 16:9 aspect ratio Bit rate 15 Mbps (beberapa aplikasi sama rendah dengan 5 Mbps) Television Digital

High Y 1920x1152 Cb, Cr 960x576 60 frames per second 80 Mbps HDTV

Low rate Dimana akan dibutuhkan ? Bagaimana dilakukannya ?

MPEG-2: DCT dan Quantisasi Dua quantizers: satu untuk intra blok dan satu untuk non-intra blok Mendukung blok kuantisasi berbeda untuk luminance dan chrominance Scalable bit streams data partitioning, SNR scalability, temporal scalability, spatial scalability Data partitioning: headers dan gerak vectors pada dua bit streams SNR scalability: lapisan bawah menyediakan video dasar yang disajikan, lapisan lain menyediakan peningkatan. Lapisan dasar mengirimkan dengan modulasi sempurna Spatial scalability: lapisan bawah menyediakan resolusi dasar (e. g., MPEG-1), lapisan atas menyediakan detil Temporal scalability: lower layer provides basic (low) frame rate

MPEG-4 Multimedia Standard Thumb-nail Description

Apa yang dituju MPEG-4? Tujuan awal Standards pengkodean untuk lower-than-MPEG-1 rates Agenda tersembunyi : Menyertakan metoda persandian baru Wavelet, fractal Agenda yang ditinjau kembali: Penyandian berdasarkan Object MPEG-4 Architecture Masukan/input ke kode terdiri dari audio, video, dan penyimpanan object Decoder berkombinasi object diencoded dengan object lokal Contoh: mengirimkan teks dengan mengirimkan kode karakter, penerima menggunakan generator karakter.

Schematic Overview of MPEG-4

Idea MPEG-4 Video Object Plane (VOP) Sebuah VOP bisa merupakan suatu gambaran alami dari kamera video atau dari suatu database grafik Sebuah VOP dapat terdiri dari beberapa obyek visual. Object visual tidak harus mempunyai garis segi-empat (bentuk sembarang) Suatu peristiwa;pemandangan terdiri dari beberapa VO dan VOP dengan composisi sesuai VOP yang berbeda akan dapat mempunyai gerakan mereka sendiri Pada Prinsipnya, suatu peristiwa;pemandangan visual dapat di decomposed ke dalam object video dengan segmentasi. Warna dan texture dapat atribut dari object visual Suatu tonton dapat menggerakkan VO.