Kompresi Teks File

Kompresi Data Kompresi berarti memampatkan/mengecilkan ukuran Kompresi data adalah proses mengkodekan informasi menggunakan bit atau information-bearing unit yang lain yang lebih rendah daripada representasi data yang tidak terkodekan dengan suatu sistem enkoding tertentu. Contoh kompresi sederhana yang biasa kita lakukan misalnya adalah menyingkat kata-kata yang sering digunakan tapi sudah memiliki konvensi umum. Misalnya: kata “yang” dikompres menjadi kata “yg”. Dalam bahasa SMS, kata ”lulus” menjadi ”lu2s” Pengiriman data hasil kompresi dapat dilakukan jika pihak pengirim/yang melakukan kompresi dan pihak penerima memiliki aturan yang sama dalam hal kompresi data.

Kompresi Data Pihak pengirim harus menggunakan algoritma kompresi data yang sudah baku dan pihak penerima juga menggunakan teknik dekompresi data yang sama dengan pengirim sehingga data yang diterima dapat dibaca/di-dekode kembali dengan benar. Tujuan kompresi data: memperkecil kebutuhan penyimpanan data, mempercepat pengiriman data, memperkecil kebutuhan bandwidth.

Kompresi Data Beberap contoh coding : Huffman coding, arithmetic coding, statistik coding, RLE (run-length encoding), Lempel-Ziv, Lempel-Ziv-Welch

Skenario: Mengapa perlu kompresi file ? Contoh kebutuhan data selama 1 detik pada layar resolusi 640 x 480 : 1 karakter = 2 bytes (termasuk karakter ASCII Extended) Setiap karakter ditampilkan dalam 8 x 8 pixels Jumlah karakter yang dapat ditampilkan per halaman per detik (640 x 480)/(8x8) = 4800 karakter Kebutuhan tempat penyimpanan per halaman per detik= 4.800 × 2 byte = 9.600 byte = 9,375 Kbyte

Static Huffman Coding Berbasis pada perhitungan statistik Mengunakan bantuan pohon biner Data yang frekuensi munculnya paling banyak di kode dengan jumlah bit terkecil Data yang frekuensi munculnya paling sedikit dikode dengan jumlah bit terbesar

Cara Melakukan Static Huffman Coding Frekuensi karakter dari string yang akan dikompres dianalisa terlebih dahulu. Selanjutnya dibuat pohon huffman yang merupakan pohon biner. A bottom-up approach = Dari Bawah ke atas = frekuensi terkecil dikerjakan terlebih dahulu dan diletakkan ke dalam leaf(daun). Cara membuat Pohon Huffman: 1. Dua node bebas dengan bobot terendah dipasangkan. 2. Parent node untuk kedua node pada langkah sebelumnya dibuat. Jumlahkan frekuensi keduanya dan gunakan sebagai bobot. 3. Sekarang parent node berperan sebagai node bebas. 4. Berikan kode 0 untuk node kiri dan 1 untuk node kanan. 5. Ulangi langkah di atas sampai hanya tersisa satu node. Sisa satu node ini lah yang disebut sebagai root.

Contoh Static Huffman Coding “kukikiskikiskukukakikakeku” statistik munculnya karakter : k = 12, i = 5, u = 4, s = 2, a = 2, e = 1. Total = 26 Probabilitas munculnya karakter : k=12/26 = 0.461, i = 5/26 = 0.192, u=4/26=0.154, s dan a = 2/26 = 0.077, e = 1/26 =0.038.

k = 0, i = 100, u = 101, s = 110, a = 1110, e= 1111 kukikiskikiskukukakikakeku = 010101000100110010001001100101010101110010001110011110101

Contoh Static Huffman Coding “MAMA SAYA” Jika terdapat p(A) = 0.16, p(B) = 0.51, p(C) = 0.09, p(D) = 0.13, dan p(E) = 0.11, buatlah Huffman Tree-nya dan weight masing-masing karakter!

Contoh Static Huffman Coding "this is an example of a huffman tree" statistik munculnya karakter : “ “= 7, a=4, e=4, f=3, t=2, h=2, i=2, s=2, n=2, m=2, x=1, p=1, l=1, u=1, 0=1, r=1. Probabilitas munculnya karakter : “ “= 0.1944…, a=e=0.1111…, f=0.0833…, t=h=i=s=n=m=0.0556, x=p=l=u=o=r=0.0278.”

Adaptive Huffman Coding Metode Static Huffman Coding (SHC) mengharuskan kita mengetahui terlebih dahulu frekuensi masing-masing karakter sebelum dilakukan proses pengkodean. Metode Adaptive Huffman Coding (AHC) merupakan pengembangan dari SHC dimana proses penghitungan frekuensi karakter dan pembuatan pohon Huffman dibuat secara dinamis pada saat membaca data. Algoritma Static Huffman Coding tepat bila dipergunakan pada informasi yang bersifat statis. Sedangkan untuk multimedia application, dimana data yang akan datang belum dapat dipastikan kedatangannya (audio dan video treaming), algoritma Adaptive Huffman dapat dipergunakan.

Adaptive Huffman Coding

Kelemahan Huffman Coding Bila frekuensi munculnya setiap karakter dalam suatu dokumen adalah sama semua. File kompresinya bisa sama atau lebih besar dari file aslinya Solusi yang mungkin adalah kompresi per blok karakter dari dokumen tersebut

Shannon-Fano Algorithm Mirip dengan Huffman Code. Kalau Huffman Code secara Bottom Up, Shannon Fano dengan pendekatan Top Down. Simbol yang berbeda memiliki kode yang berbeda Kode untuk symbol yang sering muncul memiliki jumlah bit yang lebih sedikit dan sebaliknya symbol yang jarang muncul memiliki kode dengan jumlah bit lebih besar. Walaupun berbeda jumlah bit-nya tetapi kode harus tetap dikodekan secara pasti (tidak ambigu).

Shannon-Fano Algorithm Algoritma : 1. Urutkan simbol berdasarkan frekuensi kemunculannya 2. Bagi simbol menjadi 2 bagian secara rekursif, dengan jumlah yang kira-kira sama pada kedua bagian, sampai tiap bagian hanya terdiri dari 1 simbol.

Shannon-Fano Algorithm Contoh “Hello”

Shannon-Fano Algorithm Contoh “Hello”

Shannon-Fano Algorithm Pesan “gadjahmada” Algoritma : Urutkan jumlah dari yang paling besar kemudiah pilih pemecahan paling atas dari selisih jumlah atas dan bawah paling kecil (garis tebal), diatas garis 0 dan dibawah garis 1) Huruf Jumlah Kode a 4 d 2 1 g h j m

Shannon-Fano Algorithm Huruf Jumlah Kode a 4 d 2 10 g 1 h 11 j m

Shannon-Fano Algorithm Huruf Jumlah Kode a 4 d 2 100 g 1 101 h 11 j m

Shannon-Fano Algorithm Huruf Jumlah Kode a 4 d 2 100 g 1 101 h 110 j 111 m

Shannon-Fano Algorithm Huruf Jumlah Kode a 4 d 2 100 g 1 101 h 110 j 1110 m 1111 Sehingga didapatkan “gadjahmada” = 101010011100110111101000 Apabila menggunakan ASCII dibutuhkan 10 x 8 bit = 80 bit Kode yang baru = 4 + 6 + 3 + 3 + 8 bit = 24 bit

Run Length Encoding RLE coding telah diaplikasikan khususnya pada scanner hitam putih (biner). Prinsip dasarnya adalah menghitung jumlah/panjang data yang sama dalam serangkain data yang akan dikompres Contoh pada dokumen hitam H (tulisan) dan putih P (latar belakang dokumen), berikut misalnya data pada satu baris dokumen yang direpresentasikan dalam pixel : PPPPPPPPPPPPHPPPPPPPPPPPPPPHHHPPPPPPPPPPPPPPPPPPPPPPPHPPPPPPPPPPP Bentuk kompresinya adalah : 12P1H14P3H23P1H11P