CHAPTER II INFORMATION THEORY

Presentasi berjudul: "CHAPTER II INFORMATION THEORY"— Transcript presentasi:

1 CHAPTER II INFORMATION THEORY
PART I : Digital Communication System CHAPTER II INFORMATION THEORY Presented By: Syahroni Wahyu Iriananda

2 Sekilas tentang Informasi
What is Information?

3 Informasi Informasi adalah hasil dari pengolahan data
Informasi adalah data/fakta yang sudah diolah menjadi suatu bentuk yang berarti bagi penggunakan dan bermanfaat bagi pengambilan keputusan saat ini atau mendatang

4 Basic Communication System
Dasar Sistem Komunikasi Basic Communication System

5 Early Communication System
Early Communication System Before 1948 Telegraph (Morse, 1830-an) Telephone (Bell, 1876) Wireless Telegraph (Marconi, 1887) AM Radio (awal 1900-an) Single-Sideband Modulation (Carson, 1922) Television (1925 – 1927) Teletype (1931) Frequency Modulation (Amstrong, 1936) Pulse-Code Modulation (PCM) (Reeves, 1937 – 1939) Vocoder (Dudley, 1939) Spread Spectrum (1940-an)

6 Teori Informasi Information Theory

7 Pada tahun 1948, Claude Shannon meletakkan asas Teori Informasi dalam sebuah paper “Teori Matematika Komunikasi” yang diterbitkan pada jurnal Bell System Technical Journal. Teori tersebut menjadi dasar dari seluruh pengembangan telekomunikasi dalam kurun waktu lima dekade terakhir. Teori Informasi merupakan cabang penerapan matematika, teknik elektro, ilmu komputer, dsb.

8 Teori Informasi Shannon
Secara umum, Teori Informasi Shannon (Teori Matematis) ini memandang bahwa komunikasi sebagai fenomena mekanistis, matematis dan informatif, yaitu Komunikasi sebagai transmisi pesan, dan bagaimana transmiter dapat menggunakan kanal/saluran sebagai media komunikasi.

9 Pemahaman yang baik terhadap konsep ini merupakan keharusan bagi setiap SDM Telekomunikasi pemula.
Buku tersebut mempelajari kontribusi Shannon untuk bidang komunikasi modern (Era Informasi)

10 Syarat Sistem Komunikasi
Dalam setiap sistem komunikasi Sumber Informasi yang menghasilkan Informasi dalam berbagai bentuk. Dan sebuah wadah infomasi/tujuan (Information Sink) yang menyerap informasi. Media komunikasi menghubungkan antara “Sumber” dengan “Tujuan”.

11 Maksud dari sistem komunikasi adalah untuk mengirimkan informasi dari “sumber“ ke “tujuan” tanpa terjadi kesalahan. Namun media komunikasi akan selalu terjadi beberapa error karena adanya Noise/Derau.

12 Persyaratan paling mendasar dari sistem komunikasi adalah mengirimkan informasi tanpa adanya kesalahan meskipun pada kenyataanya terjadi NOISE di media komunikasi.

13 Konsep Umum Sistem Komunikasi
Sumber Informasi memproduksi simbol-simbol berupa karakter/huruf/teks, pidato, video, dsb yang dikirimkan melalui transmisi media oleh Transmitter (TX). Media komunikasi memperkenalkan noise dan beberapa kesalahan terjadi pada saat pengiriman data. Pada sisi penerimaan akhir, Receiver (RX) melakukan dekode data dan melanjutkannya ke tujuan informasi (wadah) Pada slide berikutnya merupakan diagram blok dari sistem komunikasi pada umumnya.

14 Konsep Umum Sistem Komunikasi
Information Source : Sumber Informasi, yang memproduksi simbol (teks, video, audio, pidato, gambar, dsb). Transmitter: Mengirim Sinyal Channel: Kanal sebagai media transmisi dapat menghasilkan noise, jadi error dapat terjadi pada saat data di transmisikan. Receiver: Menerima Sinyal kemudian dilanjutkan ke Tujuan yang akan menyerap informasi.

15 Information Source memproduksi dua simbol A dan B,
Transmitter kemudian mengkodekan simbol tersebut menjadi aliran bit (bit stream). A = 1, B =0. Aliran bit yang dikirimkan melalui media. Sebagai ilustrasi, Noise dapat saja menyebabkan 1 menjadi 0 atau sebaliknya ditempat yang acak.

16 Shannon menjawabnya dalam Sistem komunikasi yang disarankan
Simbol Asli B A Aliran Bit Sumber/Dikirim 1 Aliran Bit Diterima Pada penerima, satu bit diterima dalam kesalahan. Bagaimana untuk memastikan bahwa data yang diterima dibuat bebas dari kesalahan? Shannon menjawabnya dalam Sistem komunikasi yang disarankan

17 Sistem Komunikasi Shannon (Digital)
Sistem Komunikasi yang diajukan oleh Shannon TX RX

18 Dalam sistem komunikasi digital, karena efek dari noise/derau, terjadi kesalahan. Akibatnya, 1 dapat menjadi 0 dan 0 mungkin menjadi 1.

19 Pada diagram tersebut terdapat dua macam jenis pengkodean
Source Encoder/Decoder Channel Encoder/Decoder

20 Simbol-simbol kemudian dimodulasikan dan dikirim melalui medium.
Pada sisi penerima, sinyal termodulasi di demodulasi, dan dilakukan operasi kebalikan dari Channel Encoding dan Source encoding (channel decoding dan sumber decoding). Maka informasi yang disajikan untuk Tujuan (Information Sink). Setiap blok dijelaskan di bawah ini.

21 Seperti yang diusulkan oleh Shannon, sistem komunikasi terdiri dari Enkoder Sumber, Enkoder Saluran encoder dan modulator pada akhir transmisi, dan demodulator, Dekoder Saluran dan Dekoder sumber pada akhir penerima.

22 Information Source Sumber informasi:
Sumber informasi menghasilkan simbol. Jika sumber informasi, misalnya, mikrofon, sinyal dalam bentuk analog. Jika sumber adalah komputer, sinyal dalam bentuk digital (1 set simbol).

23 Source Encoder Source Encoder/Decoder
Mengkonversi sinyal yang diproduksi oleh sumber menjadi aliran data. Jika sinyal input berupa analog, maka dapat dikonversi oleh ADC Jika sinya input berupa aliran simbol (digital), maka dapat dikonversikan menjadi alirat bit 1 dan 0 melalui mekanisme tertentu

24 Source Encoder Enkoder Sumber mengubah sinyal yang dihasilkan oleh sumber informasi ke dalam aliran data. Jika sinyal input analog, dapat dikonversi ke dalam bentuk digital menggunakan converter ADC. Jika input ke encoder sumber merupakan aliran simbol, dapat dikonversi ke dalam aliran bit (bit stream) 1 dan 0 menggunakan beberapa jenis mekanisme pengkodean.

25 Misalnya, jika sumber menghasilkan simbol A dan B, A dapat dikodekan sebagai 1 dan B sebagai 0.
Sumber Teorema pengkodean Shannon memberitahu kita bagaimana melakukan coding ini secara efisien.

26 Source Encoding Dilakukan untuk mengurangi penumpukan sinyal (redundancy) Terdapat 2 teknik encoding: Losseless Encoding (Tidak Berkurang/Hilang) ZIP, GZ, RAR dsb Lossy Encoding (Berkurang) JPEG, GIF, MKV, dsb

27 Pengkodean Sumber dilakukan untuk mengurangi redundansi dalam sinyal.
Teknik Pengkodean Sumber dapat dibagi menjadi teknik pengkodean lossless dan teknik pengkodean lossy. Dalam teknik encoding lossy, beberapa informasi hilang. Contohnya pada kompresi data jpg, gif, png dsb.

28 Lossless Source Encoding
Dalam coding lossless, tidak ada informasi yang hilang. Ketika kita kompres file komputer kita menggunakan teknik kompresi (misalnya, WinZip), tidak ada kehilangan informasi. Teknik coding seperti ini disebut teknik coding lossless.

29 Lossy Source Encoding Dalam coding lossy, beberapa informasi hilang saat melakukan coding sumber. Selama kerugian tidak signifikan, kita bisa mentolerir hal itu. Ketika gambar diubah menjadi format JPEG, coding adalah pengkodean lossy karena beberapa informasi hilang. Sebagian besar teknik yang digunakan untuk suara, gambar, dan video coding teknik coding lossy.

30 Catatan Utilitas kompresi yang kita gunakan untuk kompres file data menggunakan teknik lossless encoding. Kompresi gambar JPEG adalah teknik lossy karena beberapa informasi hilang.

31 Channel Encoder Jika memecahkan kode informasi dengan benar, bahkan jika kesalahan terjadi pada media Perlu ditempatkan beberapa bit tambahan (redundant bits) dalam data sumber yang telah dikodekan sehingga informasi tambahan (redundant bits) dapat digunakan untuk mendeteksi dan memperbaiki kesalahan.

32 Channel Encoder Proses penambahan bit dilakukan oleh encoder saluran.
Teorema Channel Coding Shannon memberitahu kita bagaimana untuk mencapai hal ini.

33 Channel Encoder Dalam Channel encoding, redundansi diperkenalkan sehingga pada akhir penerimaan, bit redundant dapat digunakan untuk mendeteksi kesalahan atau koreksi kesalahan.

34 Modulator/Demodulator
Modulator Merupakan proses transformasi sinyal, sehingga sinyal dapat ditransimisikan melalui berbagai media Demodulator melakukan proses kebalikan dari Modulator

35 Channel Decoder Menganalisa aliran bit yang diterima dan mendeteksi dan mengoreksi jika ada kesalahan menggunakan bit tambahan (redundant bits) hasil dari Channel Encoder Channel Decoder melakukan proses kebalikan dari Encoder

36 Source Decoder Source decoder mengubah aliran bit ke dalam informasi yang sebenarnya. Jika konversi Analog ke Digital dilakukan pada encoder sumber, konversi digital ke analog dilakukan pada decoder sumber. Jika simbol dikodekan ke 1 dan 0 pada encoder sumber, aliran bit diubah kembali ke simbol oleh decoder sumber.

37 Information Sink Menyerap informasi

38 Entropi Sumber Informasi

39 Bagaimana Mengukur Informasi?
Apakah informasi? Bagaimana kita mengukur informasi? Ini adalah masalah mendasar yang dapat dijawab oleh Shannon.

40 Kita dapat mengatakan bahwa kami menerima beberapa informasi jika ada "penurunan ketidakpastian." Dengan kata lain factor ketidakpastian (Uncertainty) berkurang.

41 Misalkan sumber informasi yang menghasilkan dua simbol A dan B
Misalkan sumber informasi yang menghasilkan dua simbol A dan B. sumber telah mengirim A, B, B, A, dan sekarang kami menunggu simbol berikutnya. Yang simbol itu akan dihasilkannya?

42 Jika menghasilkan A, ketidakpastian yang ada dalam masa tunggu (waiting period) hilang, dan kami mengatakan bahwa "informasi" yang dihasilkan. Perhatikan bahwa kita menggunakan istilah "informasi" dari sudut pandang teori komunikasi; itu tidak ada yang harus dilakukan dengan "kegunaan" informasi.

43 Entropy & Redundancy Entropi dan Redunansi merupakan konsep dasar yang dikemukakan dalam teori Informasi Shannon ini. Kedua konsep ini saling terikat dan saling berpengaruh seperti hukum sebab-akibat (kausalitas) Entropi akan sangat berpengaruh terhadap Redundansi yang akan timbul dalam proses komunikasi

44 Entropy Entropi merupakan konsep keacakan, dimana terdapat suatu keadaan yang tidak dapat dipastikan kemungkinannya

45 Redundancy Konsep kedua adalah redundancy, yang merupakan kebalikan dari entropy. dudansi adalah sesuatu yang bisa diramalkan atau diprediksikan (predictable). Karena prediktabilitasnya tinggi (high predictable), maka informasi pun rendah (low information). Redundansi apabila dikaitkan dengan masalah teknis, ia dapat membantu untuk mengatasi masalah komunikasi praktis.

46 Kekurangan-kekurangan dari saluran (channel) yang mengalami gangguan (noisy channel) juga dapat diatasi oleh bantuan redundancy.

47 Dengan memandang informasi sebagai entropy, Shannon mencetuskan ide bahwa sebuah sumber informasi bersifat probabilistik dengan mengajukan pertanyaan: jika sebuah sumber informasi memproduksi pesan-pesan dengan cara memilih simbol-simbol dari himpunan simbol terhingga, dan probabilitas simbol-simbol yang muncul bergantung pada pilihan sebelumnya, maka seberapa banyakkah informasi yang terkait dengan sumber tersebut?

48 Shannon menjelaskan hal tersebut dengan sebuah persamaan yang memaparkan hubungan antara entropy dan redundancy. Jika sebuah sumber informasi tidak mempunyai banyak pilihan atau memiliki derajat keacakan yang rendah, maka informasi atau entropy tersebut rendah.  Redundancy = 1 - (actual_entropy/max_entropy)

49 Entropy of The Source H = log2N bits/simbol
Shannon mengusulkan formula untuk mengukur informasi. Ukuran informasi disebut Entropy of the Source/Entropi Sumber Informasi. Jika sumber menghasilkan simbol ke-N, dan jika semua simbol sama-sama mungkin terjadi, entropi sumber diberikan oleh: H = log2N bits/simbol

50 Sebagai contoh, asumsikan bahwa Source menghasilkan huruf(A sampai Z, sebanyak 27, sebagai simbol), dan semua simbol-simbol ini akan diproduksi dengan probabilitas yang sama. Dalam kasus seperti itu, entropi adalah H = log227 H = 4,75 bits/simbol

51 Sumber informasi tidak dapat menghasilkan semua simbol dengan probabilitas yang sama.
Misalnya, dalam bahasa Inggris huruf "E" memiliki frekuensi tertinggi (dan karenanya probabilitas tertinggi terjadinya), dan huruf-huruf lainnya terjadi dengan probabilitas yang berbeda.

52 Secara umum, jika sumber menghasilkan simbol (i) dengan probabilitas P (i), entropi sumber diberikan oleh H = - ∑ P(i) log2P(i) s i

53 Jika teks besar dianalisis dan probabilitas dari semua simbol (atau huruf) yang diperoleh dan diganti dalam formula, maka entropi adalah H = 4.07 bits/symbol

54 "I do not knw wheter this is undrstandble“
Catatan Perhatikan kalimat berikut: "I do not knw wheter this is undrstandble“ Terlepas dari fakta bahwa sejumlah karakter dalam kalimat ini hilang, Anda tetap dapat mengerti teks tersebut. Dengan kata lain, ada banyak redundansi dalam teks ini.

55 Ini disebut pendekatan first-order approximation untuk perhitungan entropi sumber informasi.
Dalam karakter alfabet, ada ketergantungan dari satu huruf pada surat sebelumnya. Misalnya, huruf 'U' selalu terjadi setelah huruf 'Q'.

56 Jika kita mempertimbangkan probabilitas dua simbol bersama-sama (aa, ab, ac, iklan, .. ba, bb, dan sebagainya), maka hal itu disebut pendekatan orde kedua. Jadi, di pendekatan orde kedua, kita harus mempertimbangkan probabilitas diagram bersyarat (atau dua simbol bersama-sama).

57 Entropi orde kedua dari sumber memproduksi karakter alfabet dapat bekerja untuk menjadi
H = 3.36 bit / simbol

58 Bagaimana Mengukur Informasi?
Satuan Terkecil Informasi dinyatakan dengan Binary Digit (BIT) 1 Bit Hanya dapat membedakan 2 Hal

59 Misal: 00  A 01  B 10  C 11  D Sehingga n Bit = 2n Hal

60 Channel Capacity (Bit Rate)

61 Channel Capacity BITRATE  Kapasitas Kanal dapat digambarkan sebagai rata-rata maksimum pada informasi yang bisa dikirim tanpa ada kesalahan, dan untuk maksud transmisi data, mungkin diukur dalam bit perdetik. Rata-rata data yang dapat dikirim pada kanal sebanding dengan bandwidth kanal itu.

62 Channel Capacity Kapasitas maksimum sebuah kanal komunikasi
C = W LOG2 (1 + S/N) Dengan C : Kapasitas maksimum dalam bps W : Bandwidth S/N : Perbandingan daya sinyal dan noise Bila S/N =1000 dan W=3300Hz maka C=32.9 Kbps Formula Shannon [1948] untuk menghitung Kapasitas Kanal: Kapasitas Informasi [bps] = (Lebar Pita Frekuensi [Hertz])* 2log ( 1 + S/N)‏

63 dB = 10 Log (Signal Power/Noise Power)
The value of the channel capacity obtained using this formula is the theoretical maximum. As an example, consider a voice-grade line for which W = 3100Hz, SNR = 30dB (i.e., the signal-to-noise ratio is 1000:1)

64 So, we cannot transmit data at a rate faster than this value in a voice-grade line.
An important point to be noted is that in the above formula, Shannon assumes only thermal noise.

65 To increase C, can we increase W
To increase C, can we increase W? No, because increasing W increases noise as well, and SNR will be reduced. To increase C, can we increase SNR? No, that results in more noise, called intermodulation noise. The entropy of information source and channel capacity are two important concepts, based on which Shannon proposed his theorems.

66 The bandwidth of the channel, signal energy, and noise energy are related by the formula C = W log2(1 + S/N) bps where C is the channel capacity, W is the bandwidth, and S/N is the signal-to-noise ratio.

67 Bit Rate (Kapasitas Kanal) : banyaknya informasi yang dapat dikirimkan melalui suatu saluran komunikasi dalam satu satuan waktu [bit per second, bps] BW (Bandwidth, Lebar Pita Frekuensi) : spektrum isyarat yang dapat melewati suatu saluran komunikasi: frekuensi tertinggi – frekuensi terendah [Hertz, getaran per detik, cycles per second, cps] S/N (Signal to Noise ratio) : menunjukkan kualitas saluran komunikasi = perbandingan antara daya isyarat yang dipancarkan dengan daya derau atau ”kebisingan” (noise) yang menggangu penyaluran atau transmisi isyarat

68 Teorema Shannon

69 Teorema “Source Coding”
Diketahui sebuah channel yang memiliki kapasitas C dan sebuah sumber entropy discrete per second H. Jika H<=C maka akan ada suatu sistem koding dimana output dari sumbernya dapat ditransmisikan melalui channel dengan tingkat kegagalan yang sangat rendah. Jika H-C > C maka akan ada kemungkinan untuk meng-encode pesan sehingga pesan yang ambigu bernilai kurang dari H-C + e dimana e sangat kecil. Tidak ada metode yang mengenkode pesan dimana tingkat ke-ambiguitasnya kurang dari H-C.

70 Teorema “Channel Coding”
Berhubungan dengan sistem komunikasi pada channel tanpa noise Terdapat sebuah sumber informasi yang memiliki entropy H (bits per symbol) dan sebuah channel dengan kapasitas C (bits per transmit) dengan laju rata-rata C/H – e symbol per second dimana e sangat kecil. Tidak mungkin untuk dapat melakukan transmisi dengan laju rata-rata lebih dari C/H.

71 Ide utama dibalik teorema ini adalah bahwa jumlah informasi yang mungkin untuk ditransmisikan berdasar pada besarnya entropy atau derajat keacakkan. Berdasarkan sifat-sifat statistik dari sumber informasi, ini memungkinkan untuk dilakukannya pengkodean informasi Sehingga memungkinkannya untuk melakukan pentransmisian informasi pada laju maksimum yang diperbolehkan channel.

72 References [1] Dr. K.V. Prasad,”Principles of Digital Communication Systems and Computer Networks“, Charles River Media, 2003 [2] S. Verdu, “Fifty years of shannon theory”, IEEE Transaction on information theory, vol. 44, no.6, October 1998. [3] C.E. Shannon, “A mathematical theory of communication”, Bell Syst. Tech., J., vol. 27, pp , , July-Ock [4] H. Nyquist, “Certain factors affecting telegraph speed”, Bell Syst. Tech. J., vol. 3, pp , Apr