Data Mining Junta Zeniarja, M.Kom, M.CS junta@dsn.dinus.ac.id.

Presentasi berjudul: "Data Mining Junta Zeniarja, M.Kom, M.CS junta@dsn.dinus.ac.id."— Transcript presentasi:

1 Data Mining Junta Zeniarja, M.Kom, M.CS

2 Profil Nama : Junta Zeniarja, M.Kom, M.CS
Alamat : Permata Tembalang, Dendronium 25 Kontak Phone : Room : D.2.F Pendidikan S1 => TI – UDINUS S2 => TI – UDINUS S2 => Computer Science UTeM (Universiti Teknikal Malaysia Melaka) Konsultasi - Sharing 1:00 pm – 3:00 pm, Senin, Selasa dan Kamis. Appointment via phone or preferred

3 Textbooks

4 Outline Pengenalan Data Mining Data Mining Peran Utama Data Mining Mengenal Rapidminer Algoritma Data Mining

5 Mengenal Rapidminer romi@romisatriawahono.net
Object-Oriented Programming Mengenal Rapidminer

6 Tool Software Data Mining
Object-Oriented Programming Tool Software Data Mining WEKA RapidMiner DTREG Clementine Matlab R SPSS

7 RapidMiner Sebuah lingkungan untuk machine learning, data mining, text mining dan predictive analytics. Machine learning Salah satu disiplin ilmu dari Computer Science yang mempelajari bagaimana membuat komputer/mesin mempunyai suatu kecerdasan. Data mining Proses mengekstrak pola-pola dari data set yang besar dengan mengombinasikan metoda statistika, kecerdasan buatan dan database.

8 Text mining Predictive analytics RapidMiner
Mirip dengan text analytics, yaitu proses untuk mendapatkan informasi bermutu tinggi dari teks. Predictive analytics Teknik-teknik statistika yang menganalisa fakta masa kini dan masa lalu untuk memprediksi kejadian di masa depan.

9 Sejarah Rapidminer Pengembangan dimulai pada 2001 oleh Ralf Klinkenberg, Ingo Mierswa, dan Simon Fischer di Artificial Intelligence Unit dari University of Dortmund, ditulis dalam bahasa Java Open source berlisensi AGPL (GNU Affero General Public License) versi 3 Software data mining peringkat pertama pada polling oleh KDnuggets, sebuah portal data-mining pada

10 Mengintegrasikan proyek data mining Weka dan statistika R
Fitur Rapidminer Menyediakan prosedur data mining dan machine learning termasuk: ETL (extraction, transformation, loading), data preprocessing, visualisasi, modelling dan evaluasi Proses data mining tersusun atas operator-operator yang nestable, dideskripsikan dengan XML, dan dibuat dengan GUI Mengintegrasikan proyek data mining Weka dan statistika R

11 Sistem Microsoft Windows
Instalasi Sistem Microsoft Windows Download file installer rapidminer-XXX- install.exe di i.com/content/view/26/84/. Double-click file installer dan ikuti instruksinya. Sistem lain Install Java versi 1.5 atau lebih. Download dan ekstrak arsip zip Java binary. Definisikan RAPIDMINER_HOME. Run dengan ”scripts/RapidMinerGUI”.

12 Atribut Pada Rapidminer
Atribut dan Atribut Target Atribut: karakteristik atau fitur dari data yang menggambarkan sebuah proses atau situasi ID, atribut biasa Atribut target: atribut yang menjadi tujuan untuk diisi oleh proses data mining Label, cluster, weight Peran atribut (attribute role) Label, cluster, weight, ID, biasa

13 Tipe Nilai (Value Type) pada Rapidminer
nominal: nilai secara kategori binominal: nominal dua nilai polynominal: nominal lebih dari dua nilai numeric: nilai numerik secara umum integer: bilangan bulat real: bilangan nyata text: teks bebas tanpa struktur date_time: tanggal dan waktu date: hanya tanggal time: hanya waktu

14 Data menyebutkan obyek-obyek dari sebuah konsep
Data dan Format Data Data dan metadata Data menyebutkan obyek-obyek dari sebuah konsep Ditunjukkan sebagai baris dari tabel Metadata menggambarkan karakteristik dari konsep tersebut Ditunjukkan sebagai kolom dari tabel Dukungan Format data Oracle, IBM DB2, Microsoft SQL Server, MySQL, PostgreSQL, Ingres, Excel, Access, SPSS, CSV files dan berbagai format lain.

15 Repositori Menjalankan RapidMiner untuk pertama kali, akan menanyakan pembuatan repositori baru Repositori ini berfungsi sebagai lokasi penyimpanan terpusat untuk data dan proses analisa kita

16 Perspektif dan View Sebuah perspektif berisi pilihan elemen-elemen GUI yang disebut view, yang dapat dikonfigurasi secara bebas Elemen-elemen ini dapat diatur bagaimanapun juga sesuka kita Tiga perspektif: Perspektif Selamat Datang (Welcome perspective) Perspektif Desain (Design perspective) Perspektif Hasil (Result perspective)

17 Perspektif dan View

18 Perspektif Desain Perspektif pusat di mana semua proses analisa dibuat dan dimanage Pindah ke Perspektif Desain dengan: Klik tombol paling kiri Atau gunakan menu View → Perspectives → Design View: Operators, Repositories, Process, Parameters, Help, Comment, Overview, Problems, Log

19 Perspektif Desain

20 View Operator Semua tahapan kerja (operator) ditampilkan dalam kelompok Setiap operator bisa diikutsertakan di dalam proses analisa

21 View Operator Process Control Untuk mengontrol aliran proses, seperti loop atau conditional branch Utility Untuk mengelompokkan subprocess, juga macro dan logger Repository Access Untuk membaca dan menulis repositori

22 View Operator Import Export Data Transformation Modelling Evaluation
Untuk membaca data dari berbagai format eksternal Export Untuk menulis data ke berbagai format eksternal Data Transformation Untuk transformasi data dan metadata Modelling Untuk proses data mining yang sesungguhnya seperti klasifikasi, regresi, clustering, aturan asosiasi dll Evaluation Untuk menghitung kualitas dan perfomansi dari model

23 View Operator

24 View Repositori Layanan untuk manajemen proses analisa, baik data, metadata, proses maupun hasil

25 View Proses Menampilkan proses analisa yang berisi berbagai operator dengan alur koneksi diantara mereka

26 View Proses

27 View Parameter Operator kadang memerlukan parameter untuk bisa berfungsi Setelah operator dipilih di view Proses, parameternya ditampilkan di view ini

28 View Parameter

29 View Help dan View Comment
View Help menampilkan deskripsi dari operator View Comment menampilkan komentar yang dapat diedit terhadap operator

30 View Help dan View Comment

31 View Overview Menampilkan seluruh area kerja dan menyorot seksi yang ditampilkan saat ini dengan sebuah kotak kecil

32 View Overview

33 View Problems Menampilkan setiap pesan warning dan error

34 View Log Menampilkan pesan log selama melakukan desain dan eksekusi proses

35 View Problems and View Log

36 Operator dan Proses Proses data mining pada dasarnya adalah proses analisa yang berisi alur kerja dari komponen data mining Komponen dari proses ini disebut operator, yang didefinisikan dengan: Deskripsi input Deskripsi output Aksi yang dilakukan Parameter yang diperlukan

37 Operator dan Proses Sebuah operator bisa disambungkan melalui port masukan (kiri) dan port keluaran (kanan) Indikator status dari operator: Lampu status: merah (tak tersambung), kuning (lengkap tetapi belum dijalankan), hijau (sudah behasil dijalankan) Segitiga warning: bila ada pesan status Breakpoint: bila ada breakpoint sebelum/sesudahnya Comment: bila ada komentar Subprocess: bila mempunyai subprocess

38 Operator dan Proses Sebuah proses analisa yang terdiri dari beberapa operator Warna aliran data menunjukkan tipe obyek yang dilewatkan

39 Pilih repositori dan lokasi, lalu beri nama
Membuat Proses Baru Pilih menu File → New Pilih repositori dan lokasi, lalu beri nama

40 Repositori terstruktur ke dalam proyek-proyek
Struktur Repositori Repositori terstruktur ke dalam proyek-proyek Masing-masing proyek terstruktur lagi ke dalam data, processes, dan results

41 Proses Analisa Pertama

42 Proses Analisa Pertama
Generate Sales Data → proses sangat sederhana, yang hanya men-generate data

43 Transformasi Metadata
Metadata dari terminal output

44 Transformasi Metadata
Generate Attributes → men-generate atribut baru

45 Transformasi Metadata
Parameter dari operator Generate Attributes

46 Transformasi Metadata
Menghitung atribut baru “total price” sebagai perkalian dari “amount” dan “single price”

47 Transformasi Metadata

48 Transformasi Metadata
Select Attributes untuk memilih subset dari atribut

49 Transformasi Metadata
Parameter untuk operator Select Attributes

50 Transformasi Metadata
Atribut individu maupun subset bisa dipilih atau dihapus

51 Proses dapat dijalankan dengan:
Menjalankan Proses Proses dapat dijalankan dengan: Menekan tombol Play Memilih menu Process → Run Menekan kunci F11

52 Melihat Hasil

53 Algoritma Data Mining romi@romisatriawahono.net
Object-Oriented Programming Algoritma Data Mining

54 Object-Oriented Programming Algoritma Estimasi Algoritma estimasi mirip dengan algoritma klasifikasi, tapi variabel target adalah berupa bilangan numerik (kontinyu) dan bukan kategorikal (nominal atau diskrit) Estimasi nilai dari variable target ditentukan berdasarkan nilai dari variabel prediktor (atribut) Algoritma estimasi yang biasa digunakan adalah: Linear Regression, Neural Network, Support Vector Machine.

55 Contoh: Estimasi Performansi CPU
Object-Oriented Programming Contoh: Estimasi Performansi CPU Example: 209 different computer configurations Linear regression function PRP = MYCT MMIN MMAX CACH CHMIN CHMAX 32 128 CHMAX 8 16 CHMIN Channels Performance Cache (Kb) Main memory (Kb) Cycle time (ns) 45 4000 1000 480 209 67 8000 512 208 … 269 32000 29 2 198 256 6000 125 1 PRP CACH MMAX MMIN MYCT

56 Object-Oriented Programming Algoritma Prediksi Algoritma prediksi/forecasting sama dengan algoritma estimasi di mana label/target/class bertipe numerik, bedanya adalah data yang digunakan merupakan data rentet waktu (data time series) Istilah prediksi kadang digunakan juga untuk klasifikasi, tidak hanya untuk prediksi time series, karena sifatnya yang bisa menghasilkan class berdasarkan berbagai atribut yang kita sediakan Semua algoritma estimasi dapat digunakan untuk prediksi/forecasting.

57 Contoh: Prediksi Harga Saham
Dataset harga saham dalam bentuk time series (rentet waktu) harian

58 Contoh: Prediksi Harga Saham (Plot)
Object-Oriented Programming Contoh: Prediksi Harga Saham (Plot)

59 Contoh: Prediksi Harga Saham (Plot)

60 Algoritma Klasifikasi
Object-Oriented Programming Algoritma Klasifikasi Klasifikasi adalah algoritma yang menggunakan data dengan target/class/label berupa nilai kategorikal (nominal) Contoh, apabila target/class/label adalah pendapatan, maka bisa digunakan nilai nominal (kategorikal) sbb: pendapatan besar, menengah, kecil Contoh lain adalah rekomendasi contact lens, apakah menggunakan yang jenis soft, hard atau none Algoritma klasifikasi yang biasa digunakan adalah: Naive Bayes, K-Nearest Neighbor, C4.5, ID3, CART, Linear Discriminant Analysis, etc.

61 Contoh: Rekomendasi Main Golf
Object-Oriented Programming Contoh: Rekomendasi Main Golf Input: Output (Rules): If outlook = sunny and humidity = high then play = no If outlook = rainy and windy = true then play = no If outlook = overcast then play = yes If humidity = normal then play = yes If none of the above then play = yes

62 Contoh: Rekomendasi Main Golf
Object-Oriented Programming Contoh: Rekomendasi Main Golf Input (Atribut Nominal dan Numerik): Output (Rules): If outlook = sunny and humidity = high then play = no If outlook = sunny and humidity > 83 then play = no If outlook = rainy and windy = true then play = no If outlook = overcast then play = yes If humidity < 85 then play = yes If none of the above then play = yes

63 Contoh: Rekomendasi Main Golf
Output (Tree):

64 Contoh: Rekomendasi Contact Lens
Object-Oriented Programming Contoh: Rekomendasi Contact Lens Input:

65 Contoh: Rekomendasi Contact Lens
Object-Oriented Programming Contoh: Rekomendasi Contact Lens Output/Model (Tree):

66 Contoh: Penentuan Jenis Bunga Iris
Object-Oriented Programming Contoh: Penentuan Jenis Bunga Iris Input:

67 Contoh: Penentuan Jenis Bunga Iris
Object-Oriented Programming Contoh: Penentuan Jenis Bunga Iris Output (Rules):

68 Contoh: Penentuan Jenis Bunga Iris
Object-Oriented Programming Contoh: Penentuan Jenis Bunga Iris Output (Tree):

69 Object-Oriented Programming Algoritma Klastering Klastering adalah pengelompokkan data, hasil observasi dan kasus ke dalam class yang mirip Suatu klaster (cluster) adalah koleksi data yang mirip antara satu dengan yang lain, dan memiliki perbedaan bila dibandingkan dengan data dari klaster lain Perbedaan utama algoritma klastering dengan klasifikasi adalah klastering tidak memiliki target/class/label, jadi termasuk unsupervised learning Klastering sering digunakan sebagai tahap awal dalam proses data mining, dengan hasil klaster yang terbentuk akan menjadi input dari algoritma berikutnya yang digunakan.

70 Contoh: Klastering Jenis Gaya Hidup
Object-Oriented Programming Contoh: Klastering Jenis Gaya Hidup Claritas, Inc. provide a demographic profile of each of the geographic areas in the country, as defined by zip code. One of the clustering mechanisms they use is the PRIZM segmentation system, which describes every U.S. zip code area in terms of distinct lifestyle types (66 segments). Just go to the company’s Web site, enter a particular zip code, and you are shown the most common PRIZM clusters for that zip code. What do these clusters mean? For illustration, let’s look up the clusters for zip code 90210, Beverly Hills, California. The resulting clusters for zip code are: Cluster 01: Blue Blood Estates Cluster 10: Bohemian Mix Cluster 02: Winner’s Circle Cluster 07: Money and Brains Cluster 08: Young Literati

71 Contoh: Klastering Bunga Iris

72 Contoh: Klastering Bunga Iris (Plot)

73 Contoh: Klastering Bunga Iris (Table)

74 Object-Oriented Programming Algoritma Asosiasi Algoritma association rule (aturan asosiasi) adalah algoritma yang menemukan atribut yang “muncul bersamaan” Dalam dunia bisnis, sering disebut dengan affinity analysis atau market basket analysis Algoritma asosiasi akan mencari aturan yang menghitung hubungan diantara dua atau lebih atribut Algoritma association rules berangkat dari pola “If antecedent, then consequent,” bersamaan dengan pengukuran support (coverage) dan confidence (accuration) yang terasosiasi dalam aturan.

75 Object-Oriented Programming Algoritma Asosiasi Contoh, pada hari kamis malam, 1000 pelanggan telah melakukan belanja di supermaket ABC, dimana: 200 orang membeli Sabun Mandi dari 200 orang yang membeli sabun mandi, 50 orangnya membeli Fanta Jadi, association rule menjadi, “Jika membeli sabun mandi, maka membeli Fanta”, dengan nilai support = 200/1000 = 20% dan nilai confidence = 50/200 = 25% Algoritma association rule diantaranya adalah: A priori algorithm, FP-Growth algorithm, GRI algorithm.

76 Contoh Penerapan Data Mining
Object-Oriented Programming Contoh Penerapan Data Mining Penentuan kelayakan aplikasi peminjaman uang di bank Penentuan pasokan listrik PLN untuk wilayah Jakarta Diagnosis pola kesalahan mesin Perkiraan harga saham dan tingkat inflasi Analisis pola belanja pelanggan Memisahkan minyak mentah dan gas alam Pemilihan program TV otomatis Penentuan pola pelanggan yang loyal pada perusahaan operator telepon Deteksi pencucian uang dari transaksi perbankan Deteksi serangan (intrusion) pada suatu jaringan

77 Latihan Jelaskan perbedaaan data dan pengetahuan
Jelaskan pengertian data mining? Sebutkan 5 peran utama data mining! algoritma apa saja yang dapat digunakan untuk 5 peran utama data mining di atas? Jelaskan perbedaan estimasi dan prediksi! Jelaskan perbedaan estimasi dan klasifikasi! Jelaskan perbedaan klasifikasi dan klastering! Jelaskan perbedaan supervised dan unsupervised learning!

78 Referensi Wikipedia, http://en.wikipedia.org/wiki/RapidMiner
Object-Oriented Programming Referensi Ian H. Witten, Frank Eibe, Mark A. Hall, Data mining: Practical Machine Learning Tools and Techniques 3rd Edition, Elsevier, 2011 Santosa Budi, Teknik Pemanfaatan Data Untuk Keperluan Bisnis, Graha Ilmu, 2007 Wikipedia, RapidMiner Installation Guide, RapidMiner 5.0 Manual, Rapid-I, 2010, Slide Materi Romi Satrio Wahono (

79