BLS SESI – 3 DATA MINING WAHYU NURJAYA WK

METERI Teknik Data Cleaning Data Integration Data Transformation Data Reduction CATATAN: Dalam meningkatkan kualitas pola data yang akan diolah untuk mengurangi waktu yang dibutuhkan dalam proses Data Mining

TEKNIK DATA CLEANING: Berfungsi untuk memperbaiki: Anomaly in the data (Anomali dalam data) Data Inconsistent (Data tidak konsisten) Missing entries (Entri data yang hilang) Violation of integrity constraints (Pelanggaran kendala integritas)   CATATAN: Data Cleaning sangat penting untuk pengelolaan Data Warehouse, dimana Data Warehouse merupakan data yang berasal dari berbagai sumber data, sering kita sebut sebagai Data ‘Kotor’

TEKNIK DATA INTEGRATION Berfungsi untuk: Menggabungkan data dari berbagai sumber, ke dalam penyimpanan data yang koheren (serasi). Membuat skema integrasi: dalam menentukan identifikasi entitas Menghilangkan Redundansi: terdeteksi oleh analisis korelasi Melakukan deteksi & resolusi konflik nilai data: heterogenitas semantik & representasi yang berbeda

TEKNIK DATA TRANSFORMATION PENGERTIAN: Yaitu data diubah atau dikonsolidasikan ke dalam bentuk yang sesuai untuk proses data mining. Melibatkan Proses: Smoothing (penghalusan) Aggregation (pengumpulan) Generalisation (generalisasi) Normalisation (normalisasi)

Smoothing Data menggunakan Median Binning Technique Saya memiliki data untuk pendapatan siswa (dalam ribuan rupiah) saat melakukan pekerjaan paruh waktu bersama terakhir liburan seperti di bawah ini: XX = (2 DIGIT STAMBUK TERAKHIR) *Stambuk  Tahun angkatan

DATA PENDAPATAN SISWA a = xx * 10 ; b = xx * 15 ; c = xx * 13 ; d = xx * 12 ; e = xx * 19 ; f = xx * 16 ; g = xx * 17 ; h = xx * 18 ; i = xx * 14 ; j = xx * 23 ; k = xx * 29 ; l = xx * 26 ; m = xx * 35 ; n = xx * 24 ; o = xx * 25 ; p = xx * 31 ; q = xx * 32 ; r = xx * 28 ; s = xx * 13 ; t = xx * 20 ; u = xx * 34 ; v = xx * 27 ; w = xx * 33 ; x = xx * 50 ; y = xx * 43 ; z = xx * 11 ; aa = xx * 37

Dari data diatas, kita akan melakukan proses Smoothing Data melakukan Median Binning Technique untuk mengurangi Noisy Data Dengan menggunakan stambuk saya: xx=53 maka diperoleh data: xx = 53 i = xx * 14; i = 53 * 14; i = 742

Setelah itu, kita lakukan sorting data, kemudian bagi data yang sudah diurutkan tersebut kedalam 3 partisi. Sehingga data tersebut menjadi:

Setelah itu, cari median dari setiap bin.

Setelah dilakukan perhitungan maka median untuk Bin 1 sebagai berikut: Jumlah Data Ganjil (9) n + 1 Me = x ( 2 ) 9 + 1 Me = x ( 2 ) Me = x (5)

Lakukan perhitungan Median untuk semua Bin, hasilnya sebagai berikut:

HASIL Jadi hasil dari Smoothing menggunakan bin median:   CATATAN: untuk proses Aggregation (pengumpulan), Generalisation (generalisasi), Normalisation (normalisasi), silakan Anda cari contoh studi kasusnya di Internet, pada pertemuan 5 kita akan bahas dan dikumpulkan sebagai Tugas.

TEKNIK DATA REDUCTION Berfungsi: Mengurangi representasi dari set data yang jauh lebih kecil dalam volume, sementara mempertahankan integritas data asli. Teknik yang dilakukan: Data cube aggregation (agregasi data kubus) Dimension reduction (reduksi dimensi) Data compression (kompresi data)

Berikut ini contoh Data Cube Aggregation: FITUR MULTIDIMENSI CUBE Rotation/Pivoting. Memutar sumbu pada cube untuk memperoleh data yang diinginkan. Pemotongan data berdasarkan kategori tertentu. Penyaringan subset data dari proses Slicing. Drill down. Menampilkan data dalam bentuk lebih detail. Menyatukan data dalam hirarki yang lebih tinggi.

Untuk Dimension reduction (reduksi dimensi), Data compression (kompresi data), silakan Anda cari di Internet, pada pertemuan 5 kita akan bahas dan dikumpulkan sebagai Tugas. Demikianlah penjelasan saya, sampai ketemu lagi.