MPEG-2 Standar video codec generik dari ITU-T dan ISO/IEC (SG15 ITU-T)

Presentasi berjudul: "MPEG-2 Standar video codec generik dari ITU-T dan ISO/IEC (SG15 ITU-T)"— Transcript presentasi:

1 MPEG-2 Standar video codec generik dari ITU-T dan ISO/IEC (SG15 ITU-T)
 final 1995 Terdiri dari tiga elemen (pada ISO disebut parts) : - Part 1: Systems standard (ISO/IEC ) - Part 2: Video standard (ISO/IEC  ITU-T H.262) - Part 3 : Audio standard (ISO/IEC )  Part 1 : Menjelaskan sistem termasuk sinkronisasi audio-video, multiplexing dan informasi lain yang berhubungan dengan sistem  Part 2 : Berisi coded representation dari data video dan proses decoding  Part 3 : Berisi coded representation dari data audio dan proses decoding

2 MPEG-2 : APLIKASI Aplikasi :
- BSS Broadcasting Satellite Service (ke rumah) - CATV Cable TV distribution dengan jaringan optik, tempaga, dll - CDAD Cable Digital Audio Distribution - DAB Digital Audio Broadcasting (terrestrial & satellite briadcasting) - DTTB Digital Terrestrial television Broadcast - EC Electronic Cinema - ENG Electronic News Gathering - FSS Fixed Satellite Service (misalnya ke head end) - HTT Home Television Theatre - IPC Interpersonal Comms. (videoconferencing, videophone) - ISM Interactive Storage Media (optical discs, dll) - MMM Multimedia Mailing - NCA News and Current Affairs - NDS Networked Database Services (via ATM, dll) - RVS Remote Video Surveillance - SSM Serial Storage Media (digital VTR, dll)

3 MPEG-2 : VIDEO STANDARD Syntax video MPEG-2 mempunyai struktur hierarkis 6-layer Syntax Layer Functionality Sequence layer Context unit Group-of-picture layer Random access unit: video coding Picture layer Primary coding unit Slice layer Resynchronisation unit Macroblock layer Motion compensation unit Block layer DCT unit

4 MPEG-2 : VIDEO STANDARD

5 MPEG-2 SYSTEMS Standard MPEG-1 : coding audio dan video untuk storage
 error rate media kecil  tidak dirancang tahan bit error rate  software orirnted  paket panjang & variabel (mengurangi overhead) Standard MPEG-2 : aplikasi audio-visual coding generic  tahan error untuk broadcasting & jaringan ATM  mengirimkan multiple program secara simultan  panjang paket transport MPEG-2 pendek dan tetap Pada MPEG-2 kompresi video dan audio dilaksanakan dengan MPEG-2 Video & Audio standard Untuk aplikasi praktis bit stream video dan audio yang sudah dikompres harus digabung dalam satu single bit stream sehingga dapat disimpan dalam DSM atau ditransmisikan melalui kanal komunikasi  MPEG-2 system layer

6 MPEG-2 SYSTEMS MPEG-2 mendefiniskan dua tipe stream :
• Program Stream : - Seperti stream MPEG-1 systems (modifikasi syntax, fungsi baru: scalability) - Kompatibel dengan stream MPEG-1 systems - Ukuran paket biasanya 1-2 kbytes (sampai 64 kbytes) - Menyediakan fitur yang tidak didukung MPEG-1 (scrambling data, prioritas paket, indikasi copyright, dll) • Transport Stream - Berbeda dengan MPEG-1 - Tahan terhadap kanal noisy - Ukuran paket tetap 188 byte dengan header syntax baru  segmentasi ke empat 47-bytes payload ATM (AAL-1 atau AAL-5) - Cocok untuk hardware processing & skim error correction (diperlukan pada broadcasting TV, satelit/cable TV, jaringan ATM)

7 MPEG-2 SYSTEMS : MULTIPLEXING PROGRAM & TRANSPORT STREAM

8 MPEG-2 SYSTEMS : DEMULTIPLEXING PROGRAM & TRANSPORT STREAM

9 LEVEL & PROFILE Profile : subset dari keseluruhan bit-stream syntax yang didefinisikan oleh spesifikasi MPEG-2 Level : Satu set batasan untuk parameter-parameter dalam bit-stream (didefinisikan dalam tiap profile) Jika hanya ada layer bit-stream  non-scalable bit-stream Jika dua atau lebih layer bit-stream  scalable : - layer pertama : base layer (di-decode-kan secara independen) - layer lainnya : enhancement layer (hanya bisa di-decode dg lower layer) Tidak semua kombinasi diperbolehkan dari level/profile, contoh: - main profile/main level : digital DBS dan DVD - main profile/high level : US HDTV standar - spatial scalable profile/high-1440 level : European HDTV - simple profile/main level : US digital cable system

10 LEVEL & PROFILE

11 PERBEDAAN MPEG-2 DAN MPEG-1
Resolusi gambar dari SIF (352 x 288 x 25 atau 30) sampai HDTV (1920 x 1250 x 60) interlaced video (disamping progressive) Scalability Motion estimation/compensation (field ME/MC) Kuantisasi linier dan non-uniform dari koefisien DCT Pilihan alternate scanning Huffman coding terpisah untuk intracoded macroblock, dll

12 PERBEDAAN MPEG-2 DAN MPEG-1

13 MPEG-2 NON-SCALABLE CODING MODES
Perluasan langsung dari MPEG-1 (tambahan fitur mengakomodir interlaced video)  prediksi antar gambar dapat dilaksanakan diantara fields - odd fields : Top fields - even fields : Bottom fields Software-based reference codecs untuk laboratory testing  test model (TM)  versi terakhit TM5

14 FRAME PREDICTION UNTUK FRAME PICTURES
Identik dengan prediksi yang digunakan pada MPEG-1 Tiap P-frame dapat membuat prediksi dari anchor frame sebelumnya Ada satu motion vector untuk tiap motion compensated macroblock B-frame dapat menggunakan anchor frame: sebelumnya, yang akan datang atau interpolasi Akan ada sampai dua motion vector (forward dan backward) untuk tiap B-frame motion compensated macroblock

15 FIELD PREDICTION UNTUK FIELD PICTURES (1)
Prediksi mode ini sama dengan prediksi frame, kecuali pixel-pixel dari macroblock traget (MB yang akan dikodekan) dari field yang sama Prediction MB harus datang dari satu field (top atau bottom field) Untuk P-pictures prediction MB datang dari dua field (yang paling baru) Contoh prediksi MB target pada top field pada P-fame TP, dapat datang dari top field TR atau bottom field BR dari frame referensi Prediksi MB target pada bottom field BP diperoleh dari dua field terbaru, top field dari frame yang sama TP atau bottom field dari frame referensi BR Untuk prediksi B-pictures MB diambil dari dua anchor picture terbaru (I/P atau P/P). Tiap target MB dapat membuat forward atau backward prediction dari salah satu field Akan ada satu motion vector untuk tiap P-field MB target dan dua motion vector untuk B-fileds

16 FIELD PREDICTION UNTUK FIELD PICTURES (2)
Field prediction untuk filed pictures untuk MB P-picture

17 FIELD PREDICTION UNTUK FIELD PICTURES (3)
Field prediction untuk filed pictures untuk MB B-picture

18 FIELD PREDICTION UNTUK FRAME PICTURES (1)
Pada kasus ini MB target pada sebuah frame picture di-split kedalam dua pixel-pixel top-field dan bottom-field Field prediction kemudian dilaksanakan secara independen untuk tiap MB target 16 x 8 pixel Untuk P-picture, dua motion vector dialokasikan utk tiap MB target 16 x 16 pixel Prediksi 16 x 8 dapat diambil dari salah satu dari dua anchor picture terbaru yang sudah di-decode-kan 16 x 8 field prediction tidak dapat datang dari frame yang sama, seperti pada kasus field prediction untuk field pictures Untuk B-pictures, karena forward dan backward motion, dapat ada dua atau empat motion vector untuk tiap MB target 16 x 8 prediction dapat diambil dari salah satu field dari dua anchor pictures terbaru yang di-decodekan

19 FIELD PREDICTION UNTUK FRAME PICTURES (2)
Macroblock target di-split ke dua block field 16 x 8

20 DUAL-PRIME UNTUK P-PICTURES (1)
Mode ini hanya digunakan pada P-picture dimana tidak ada B-pictures pada GOP Metoda ini adalah kompromi antara frame ME/MC dan field ME/MC Menggunakan full motion vector (satu motion vector dikodekan pada bit-stream)

21 DUAL-PRIME UNTUK P-PICTURES (2)

22 16 x 8 MOTION COMPENSATION UNTUK FIELD PICTURES
Pada mode ini, 16 x 16 pixel field MB di-split ke upper dan lower block 16 x 8 pixels, dan prediksi field terpisah dilaksanakan masing-masing Dua motion vector ditransmisikan untuk tiap MB P-picture dan dua atau empat motion vector untuk MB B-picture  (mungkin berguna untuk field picture yang mempunyai iregular motion)

23 LIMA MODE MOTION COMPENSATION PADA MPEG-2

24 MOTION VECTOR UNTUK KOMPONEN CHROMINANCE
Motion vector diestimasi berdasarkan pixel-pixel luminance  digunakan untuk kompensasi komponen luminance Untuk tiap komponen chrominance motion vector luminance di-scaled tergantung pada format image : - 4:2:0 baik komponen horizontal dan vertikal dari motion vector di-scaled dengan membagi dua - 4:2:2 komponen horizontal dari motion vector di-scaled dengan membagi dua. Komponen vertikal tidak diubah - 4:4:4 motion vector tidak dimodifikasi

25 SCALABILITY Scalable video coding disebut juga layered coding
Awalnya diusulkan untuk menangani cell loss pada jaringan ATM (Ghanbari) Codec membangkitkan dua bit-stream : - base layer : memuat informasi video yang vital - enhancement layer : memuat informasi residual untuk meningkatkan kualitas image base layer (dihilangkan saat congesti)  saat ini dikenal sebagai SNR scalability pada MPEG-2 Konsep scalability saat ini diperluas untuk aplikasi non telekomunikasi : - video telecommunication - video on ATM - interworking video standards - video service hierarchies dengan multiple spatial - temporal & quality resolution - HDTV dengan embedded TV, dll

26 SCALABILITY Scability tools dasar yang ditawarkan: - Data partioning
- SNR scalability - Spatial scalability - Temporal scalability - Hybrid scalability Dalam kasus basic scalability dibolehkan dua layer video : base layer & enhancement layer Pada hybrid scalability sampai tiga layer dapat didukung

27 BEBERAPA CONTOH APLIKASI MACAM-MACAM SCALABILITY

28 DATA PARTITIONING Digunakan jika tersedia dua kanal untuk transmisi/storage bit-stream video (mis. ATM, broadcasting terrestrial, magnetic media, dll) Tidak betul-betul scalable coding  membagi bit-stream dari single layer non-scalable MPEG-2 ke dalam dua bagian/layer Layer pertama berisi bagian kritis dari bit stream (mis. header, motion vector, koefisien DCT orde rendah)  ditransmisikan pada kananl dengan performansi error lebih baik Layer kedua untuk data yang kurang kritis (mis. Koefgisien DCT orde tinggi)  ditransmisikan pada kanal dg performansi error lebih jelek Degradasi terhadap error kanal diminimumkan karena bagian kritis data diproteksi lebih baik Data yang diekstrak dari layer kedua decoder tidak dapat digunakan kecuali base layer data yang telah di-decode tersedia

29 DATA PARTITIONING (2) Blok diagram Data Partitioning Encoder
Pada encoder, dalam kuantisasi dan zigzag scanning dari tiap koefisien DCT 8 x 8, scanning dipecah pada Priority Break Point (PBP)

30 DATA PARTITIONING (3) : Single shots 8 Mbit/s data partitioning MPEG-2 coded dengan PBP di-adjust untuk bit rate base layer 2 Mbit/s (a) enhanced

31 DATA PARTITIONING (4) : Single shots 8 Mbit/s data partitioning MPEG-2 coded dengan PBP di-adjust untuk bit rate base layer 2 Mbit/s (b) base picture

32 SNR SCALABILITY (1) SNR scalability ditujukan untuk aplikasi video dalam telekomunikasi dan multiple quality video services dengan standard TV dan enhanced TV SNR scalability membangkitkan dua layer video dengan resolusi spatio-temporal sama tetapi kualitas video berbeda dari satu sumber video Base layer menyediakan kualitas video basic yang dikodekan sendiri Enhancement layer dikodekan untuk meningkatkan base layer Enhancement layer jika ditambahkan kembali ke base layer menghasilkan reproduksi video input dengan kualitas lebih tinggi  meningkatkan SNR  SNR scalability SNR scalability disebut juga amplitude scalability atau quantisation noise scalability

33 SNR SCALABILITY (2) : Two-Layer SNR Scalable Coder

34 SNR SCALABILITY (3) Base dan enhancement layer encoder dapt:
- keduanya menggunakan standar encoder MPEG-2 atau - base layer dengan MPEG-1 dan enhacement layer dengan MPEG-2 SNR scalable encoder lebih kompleks daripada data partitioning encoder SNR scalable encoder memerlukan dua non-scalable encoder sedangkan data partitioning encoder merupakan single layer encoder (partisi dilaksanakan pada bit-stream) Jika kedua layer encoder pada SNR coder dari tipe yang sama (mis. Keduanya non-scalable MPEG-2 encoder)  dapat disederhanakan

35 SNR SCALABILITY (4) DCT bases base-layer encoder

36 SNR SCALABILITY (5) Interframe error signal X-Y setelah transform coding menjadi T(X-Y) (1) dan setelah kuantisasi, distorsi kuantisasi Q diintrodusir sehingga (1) menjadi T(X-Y)-Q (2) Setelah inverse DCT rekonstruksi error dapat diformulasikan sebagai T-1[T(X-Y)-Q] (3) Karena transformasi adalah linear operator, rekonstruksi error dapat ditulis T-1T(X-Y)- T-1Q (4) Karena orthonormality dari transform, dimana T-1T=1, maka pers (4) dapat disederhanakan: X-Y- T-1(Q ) (5) Jika error ini ditambahkan pada ME prediction Y decoded blok lokal: Z=Y+X-Y- T-1(Q ) = X- T-1(Q ) (6) Dari gambar apa yang dikodekan oleh second layer encoder : X-Z = X-X+T-1(Q ) = T-1(Q ) (7) Karena second layer encoder adalah MPEG encoder (DCT-based), pers (7): T(X-Z) = T T-1(Q ) = Q

37 SNR SCALABILITY (5) Second layer transform coeff tidak lain distorsi kuantisasi dari base layer tarnsform coeff Q Codec disebut juga coefficient amplitude scalability atau quantisation noise scalability unit Second layer dari SNR scalable encoder dapat hanya merupakan requantiser sederhana Satu-satu-nya masalah dengan coding ini, karena base layer jelek (lebih jelek dari enhanced image base + enhacement layer), maka prediksi tidak baik Prediksi yang lebih baik adalah gambar hasil penjumlahan kedua layer

38 SNR SCALABILITY (6)

39 SPATIAL SCALABILITY (1)
Membangkitkan video stream dua resolusi spatial dari satu sumber video Base layer menyediakan resolusi spatial dasar Enhancement layer memberikan resolusi spatial penuh dari input video Base dan enhancement layer keduanya dapat menggunakan coding tools - MPEG-2 atau - MPEG-1 untuk base layer dan MPEG-2 untuk enhacement layer atau - (bahkan) H.261 untuk base layer dan MPEG-2 untuk second layer Spatial scalability menawarkan fleksibilitas dalam pemilihan format video untuk digunakan pada tiap layer  Base layer: SIF atau resolusi gambar lebih rendah pada format 4:2:0, 4:2:2 atau 4:1:1,dan second layer tetap CCIR-601 dengan format 4:2:2 Seperti scalable coder lain, spatial scalability tahan terhadap error transmisi  data penting pd lower layer dibawa dg kanal performansi error lebih baik

40 SPATIAL SCALABILITY (1)
Blok diagram two-layer spatial scalable encoder

41 SPATIAL SCALABILITY (2)
Jika encoder base dan enhacement layer dari tipe yang sama (mis. MPEG-2), maka kedua encoder dapat berinteraksi (koding lebih efisien) Contoh interaksi dalam bentuk up-sampling blok 8 x 8 pixel base layer ke MB 16 x 16 pixel dan gunakan sebagai bagian dari prediksi pada enhancement layer coding loop

42 SPATIAL SCALABILITY (2)
Spatial Scalability Encoder

43 SPATIAL SCALABILITY (3)
(a) Base-layer picture pada 2 Mbit/s dan (b) Enlarged version

44 TEMPORAL SCALABILITY (1)
Digunakan pada macam-macam aplikasi  pada sistem dimana migrasi ke sistem resolusi temporal lebih tinggi mungkin diperlukan Sistem video temporal resolusi lebih rendah dapat berupa sistem eksisting atau generasi awal yang lebih murah Temporal scalability mencakup partisi frames ke layers dimana: - base layer dikodekan sendiri memberikan basic temporal rate dan - enhancement layer dikodekan dg temporal prediction thd base layer Layer-layer dapat mempunyai resolusi yang sama atau berbeda,  jika dikombinasikan memberikan resolusi temporal penuh pada decoder Video encoder dari dua layer dapat berbeda  interworking dengan generasi sistem yang lebih awal

45 TEMPORAL SCALABILITY (2)
Encoder tidak lebih kompleks daripada single-layer encoder  Single-layer encoder dp di-switch diantara mode base- dan enhancement layer untuk membangkitkan stream base/enhancement bergantian Dengan cara yang sama decoder dapat direkonfigurasi untuk decode dua stream secara bergantian B-pictures pada MPEG-1 dan MPEG-2 memberikan temporal scalability yang sederhana  I- dan P-pictures sebagai base layer dan B sebagai enhancement layer  decoding I- dan P-pictures saja akan menghasilakn base picture dengan resolusi temporal rendah  jika ditambahkan ke decoded B-pictures resolusi temporal meningkat ke ukuran penuhnya Enhancement data tidak mempengaruhi base-layer prediction loop kedua base dan enhanced pictures bebas dari picture drift

46 TEMPORAL SCALABILITY (2) : Block Diagram 2-Layer Temporal Scalable Encoder

47 TEMPORAL SCALABILITY (3)
Pada base layer lower temporal resolution input picture dikodekan secara normal Layer kedua dapat menggunakan prediksi dari base-layer pictures, atau dari gambar-gambarnya sendiri Pada base-layer beberapa gambar dapat dikodekan sebagai B-pictures menggunakan prediksi-nya sendiri (previous, future atau interpolasi)  tetapi beberapa gambar harus dikodekan sebagai anchor pictures Pada enhancement-layer gambar dapat dikodekan pada sembarang mode  untuk kompresi yang tinggi sebagian besar jika tidak senua gambar dikodekan dengan B-pictures B-pictures mempunyai pilihan untuk menggunakan harga past, future atau interpolasi dari enhancement atau base layer

48 HYBRID SCALABILITY MPEG-2 membolehkan kombinasi dari individual scalability, seperti spatial, SNR atau temporal untuk membentuk hybrid scalability untuk aplikasi tertentu Jika dua scalabilities dikombinasikan, maka akan ada tiga layer yang dibangkitkan yang disebut base-layer, enhancement-layer-1, dan enhancement-layer-2 Dalam hal ini enhancement-layer-1 adalah layer yang lebih rendah relatif dibandingkan dengan enhancement-layer-2, karenanya decoding layer-2 memerlukan ketersediaan dari enhancement layer-1 Beberapa konfigurasi hybrid scalability dapat dibentuk

49 SPATIAL & TEMPORAL HYBRID SCALABILITY
Hybrid scalability yang paling umum digunakan

50 SNR & SPATIAL HYBRID SCALABILITY

51 SNR & TEMPORAL HYBRID SCALABILITY

52 SNR, SPATIAL & TEMPORAL HYBRID SCALABILITY

53 APLIKASI SCALABILITY : Data Partitioning
Mode paling sederhana Mempunyai kualitas base-layer yang jelek dan sensitif terhadap picture drift Cocok digunakan pada lingkungan dimana jarang ada loss dari enhancement data (misalnya loss rate < 10-5)  aplikasi terbaik video over ATM networks, dimana melalui admission control, loss ratio dapat dijaga pada level yang rendah

54 APLIKASI SCALABILITY : SNR Scalability
Pada metoda ini dua gambar dengan resolusi spatio-temporal yang sama dibangkitkan, tetapi hanya satu yang mempunyai kualitas gambar lebih rendah daripada yang lainnya Umumnya mempunyai bit rate lebih tinggi dibandingkan encoder non-scalable, tetapi dapat mempunyai kualitas base picture yang baik dan bebas drift Aplikasi yang cocok antara lain: - Transmisi video pada quality of interest yang berbeda, seperti:  Video on demand  Broadcasting TV  Enhanced TV - Video lewat jaringan dengan error atau packet loss tinggi, seperti Internet, Jaringan ATM dengan kongesti tinggi

55 APLIKASI SCALABILITY : Spatial Scalability
Bentuk scalability yang paling kompleks Tiap layer memerlukan encoder/decoder yang lengkap Ketidak tergantungan diantara layer  tiap layer dapat menggunakan sembarang codec dg resolusi spatio-temporal dan kualitas yang berbeda Aplikasi untuk mode ini: - Interworking diantara dua standard video codec berbeda (misalnya H.263 dan MPEG-2) - Simulcasting drift-free good quality video pada dua resolusi spatial seperti standard TV dan HDTV - Distribusi video melalui jaringan komputer - Video browsing - Penerimaan gambar resolusi spatial rendah yang baik via mobile networks Seperti scalable coder lain, transmisi video melalui jaringan paket tahan error

56 APLIKASI SCALABILITY : Temporal Scalability
Kompleksitas encoder moderat, dimana single-layer coder mengkodekan kedua layer, seperti koding B- dan anchor I- dan P-pictures pada MPEG-1 dan MPEG-2, atau dua encoder terpisah beroperasi pada dua temporal rate berbeda Aplikasi utama: - Migrasi ke progressive (HDTV) dari broadcast TV interlaced saat ini - Interworking antara lower bit rate mobile dan higher bit rate fixed networks - Video over LAN, Internet dan ATM untuk komputer workstations - Video over packet (Internet/ATM) networks untuk loss resilience