Data PreProcessing (Praproses Data)

Presentasi berjudul: "Data PreProcessing (Praproses Data)"— Transcript presentasi:

1 Data PreProcessing (Praproses Data)
Diambil dari slide Jiawei Han Feb 2017

2 Garbage In Garbage Out sumber:

3 Materi Mengapa praproses? Rangkuman data Pembersihan data
Integrasi dan transformasi data Pengurangan data Diskretisasi dan pembangkitan hirarki konsep Rangkuman

4 Mengapa Praproses Data diperlukan?
Garbage in garbage out → data jelek, hasil mining jelek Quality decision → berdasarkan quality data Ekstraksi data, pembersihan dan transformasi sering merupakan bagian terbesar data mining.

5 Kota Bdg: 1800 ton per hari

6 Mengapa Praproses Data?
Data di dunia nyata “kotor” Tidak lengkap: atribut hilang, atau hanya berisi agregat data. Contoh: pekerjaan_ortu =“” Error dan Noisy : Mengandung kesalahan tersembunyi. Contoh: gaji_ortu = “200000” Tidak konsisten: Ketidak cocokan dalam kode dan nama. Contoh: Umur 33, lahir tahun 92 Ketidakcocokan antara record yang duplikasi.

7 Noisy

8 Mengapa Data Kotor? Data yang tidak lengkap: Data salah:
Tidak tersedia saat pengumpulan Tadinya dianggap tidak penting Data salah: Kesalahan alat pengumpul data Kesalahan manusia/komputer saat entri data Kesalahan saat pengiriman data Data yang tidak konsisten: Sumber data yang berbeda Ref integrity yang dilanggar Duplikasi data

9 Ukuran Data yang Berkualitas
Akurat Lengkap Konsisten Timeliness (tepat waktu) Masuk akal Memberi nilai tambah Dapat diterjemahkan Dapat diakses

10 Kegiatan dalam Praproses Data
Pembersihan data Isi data yang hilang, bersihkan noisy data, identifikasi dan buang outliers dan selesaikan data yang tidak konsisten. Integrasi data Integrasi dari multidatabase Normalisasi dan agregasi Reduksi data Data lebih sedikit tapi hasil statistik sama Diskretisasi Untuk data numerik

11 Ilustrasi Praproses Data

12 Pembersihan Data Deteksi anomali Field yang tidak konsisten
Nilai NULL untuk field yang seharusnya NOT NULL Rentang nilai numerik (contoh: ada umur negatif) Pola (contoh: kode pos yang memiliki huruf padahal seharusnya angka 5 digit) Duplikasi ID

13 Karakteristik Data Deskriptif
Central tendency Rata-rata, median, modus Karakteristik ketersebaran: Quartiles, outliers dan boxplots

14 Central Tendency Rata-rata (mean) Median Modus: paling sering muncul
1,5,6,7,7,8,10,12,15,18,20 Modus: paling sering muncul “Ada orang dewasa tenggelam di kolam yang kedalaman rata-ratanya 50 cm”

15 Modus, Rata-Rata, Median

16 Ketersebaran Quartile: Q1 (25%), Q3 (75%)
Inter-quartile range: IQR = Q3 – Q1 Lima angka penting: min, Q1, Median, Q3, Max Outlier: biasanya lebih kecil atau besar dari 1.5 x IQR Varian Standard deviasi

17 Analisis Box Plot

18 Contoh box plot: rata-rata dua blox pot ini mirip

19 Contoh Boxplot

20 Task Pada Data Cleaning
Isi data yang hilang Identifikasi outlier dan perhalus noisy data Koreksi data yang tidak konsisten Selesaikan duplikasi akibat integrasi data

21 Data Cleaning: Data yang hilang
Data tidak selalu ada Contoh penghasilan ortu (segan, tidak bersedia) Sebab data hilang Kerusakan mesin Tidak konsisten dan dihapus Tidak dimasukkan karena salah paham Tidak dianggap penting Perubahan data tidak dicatat Data yang hilang mungkin harus diturunkan dari data yang lain. Penangan data yang hilang?

22 Bagaimana cara menangani data yang hilang?
Abaikan record Isi secara manual. (feasible?) Isi secara otomatis: Isi dengan “Tidak-Diketahui” Rata-rata dari isi field itu Rata-rata dengan field yang sekelas (di klasifikasi dulu) Nilai yang paling mungkin (teknik probabilitas)

23 Noisy Data Noise: kesalahan kecil random. Penyebab:
Kesalahan Instrumen pengumpul data Masalah data entry Masalah transmisi data Keterbatasan teknologi Tidak konsisten dalam penamaan (contoh: Jogja vs Yogya)

24 Bagaimana Cara Menangani
Noisy Data? Binning Method: Urutkan dan bagi data dalam “ember” dalam frekuensi yang sama (bin) Regresi Clustering Deteksi dan buang outlier Kombinasi komputer+manusia Deteksi data mencurigakan → tangani oleh manusia

25 Contoh Binning Methods
Urutkan data: 4, 8, 9, 15, 21, 21, 24, 25, 26, 28, 29, 34 Bagi dengan frekuensi yang sama: - Bin 1: 4, 8, 9, 15 - Bin 2: 21, 21, 24, 25 - Bin 3: 26, 28, 29, 34 Smoothing by bin means: - Bin 1: 9, 9, 9, 9 - Bin 2: 23, 23, 23, 23 - Bin 3: 29, 29, 29, 29 Smoothing by bin boundaries: - Bin 1: 4, 4, 4, 15 - Bin 2: 21, 21, 25, 25 - Bin 3: 26, 26, 26, 34

26 Regresi y Y1 Y1’ y = x + 1 X1 x

27 Analisis Cluster

28 Integrasi Data Integrasi Data:
Menggabungkan data dari sumber yang beragam Integrasi Schema : contoh: A.nama ≡ B.nama_depan + B.nama_belakang Identifikasi entitas: Identifikasi entitas dari sumber yang beragam. Con: SBY = Susilo Bambang Yudhoyono Deteksi dan memperbaiki nilai yang konflik Contoh: cm vs feet, kg vs pound

29 Penanganan Redundancy
Data redundan (duplikasi yang tidak perlu) dapat muncul saat integrasi: Atribut yang sama dapat memiliki nama yang berbeda Derivable data: Data berasal dari atribut lain. Contoh: Umur dari tgl lahir.

30 Transformasi Data Perubahan bentuk data atau konsolidasi
Smoothing: membuang noise dari data Agregasi Generalisasi (jalan → kota) Normalisasi: transformasi nilai menjadi skala yang lebih kecil min-max z-score decimal scaling Pembentukan atribut baru

31 Normalisasi Min-max normalization: ke [new_minA, new_maxA]
Contoh, gaji $12,000 sd $98,000 di normaliasi [0.0, 1.0]. Maka $73,000 dipetakan ke Z-score normalization (μ: mean, σ: standard deviation): Contoh μ = 54,000, σ = 16,000. maka Normalisasi dengan decimal scaling (dibagi 10j) sehingga nilai maksimum <1

32 Strategi Reduksi Data Mengapa reduksi data? Reduksi data:
Database/datawarehouse dapat menyimpan Tera/Peta Data. Analisis/mining kompleks dapat membutuhkan waktu yang sangat lama jika menggunakan seluruh data. Reduksi data: Mendapatkan versi data yang volumenya jauh lebih kecil tetapi menghasilkan hasil analisis yang sama (atau mendekati)

33 Strategi Reduksi Data Agregasi Data
Contoh: pendapatan harian jadi pendapatan bulanan Reduksi dimensi → pembuangan atribut Pilih himpunan minimal dari atribut yang tetap representatif. Kompresi data Numerosity reduction: representasi yang lebih kecil Diskretisasi dan pembangkitan konsep hirarki.

34 Kompresi Data Data Original Data Terkompresi lossless Original Data
(Diperkirakan) lossy

35 Kompresi Data Kompresi String Kompresi Audio/video Time sequence
Ada beberapa algoritma Kompresi Audio/video Biasanya lossy compression Sometimes small fragments of signal can be reconstructed without reconstructing the whole Time sequence Pendek-pendek, dan bervariasi dalam jangka waktu lama

36 Dimensionality Reduction: Wavelet Transformation
Discrete wavelet transform (DWT): proses sinyal Compressed approximation: simpan bagian terkuat dari wavelet coefficient. Mirip dengan discrete Fourier transform (DFT), tapi lebih baik

37 Numerosity Reduction Kurangi data dengan memilih bentuk alternatif yang lebih kecil. Parametric Asumsikan data cocok dengan model, perkirakan parameter model, lalu buang datanya. Non-parametric methods Tidak ada asumsi model histograms, clustering, sampling

38 Contoh Parametric

39 Diskretisasi Tiga jenis atribut: Diskretisasi:
Nominal (tidak terurut) Contoh: warna, pekerjaan Ordinal (terurut) Contoh: pangkat Continuous real atau angka integer Diskretisasi: Bagi range pada data continuous dalam interval Masukan data ke dalam interval bayi: <1 thn; balita: 1-3 thn; lansia >60