Klasifikasi Data Mining Berdasarkan Rule

Presentasi berjudul: "Klasifikasi Data Mining Berdasarkan Rule"— Transcript presentasi:

1 Klasifikasi Data Mining Berdasarkan Rule

2 Klasifikasi Rule Mengklasifikasikan record dengan aturan/rule “if…then…” Rule: (kondisi)  y Di mana kondisi adalah konjungsi atribut Y = label kelas LHS: rule antecedent atau kondisi RHS: rule consequent Contoh Rule Klasifikasi: {Src IP= , Dest Port=139, Bytes[150, 200)}  {ATTACK} (Taxable Income < 50K)  (Refund=Yes)  Evade=No

3 Contoh Rule-based Classifier
R1: (Give Birth = no)  (Can Fly = yes)  Birds R2: (Give Birth = no)  (Live in Water = yes)  Fishes R3: (Give Birth = yes)  (Blood Type = warm)  Mammals R4: (Give Birth = no)  (Can Fly = no)  Reptiles R5: (Live in Water = sometimes)  Amphibians

4 Aplikasi Rule Based Classifier
Rule r covers instance x jika atribute instance memenuhi kondisi pada rule R1: (Give Birth = no)  (Can Fly = yes)  Birds R2: (Give Birth = no)  (Live in Water = yes)  Fishes R3: (Give Birth = yes)  (Blood Type = warm)  Mammals R4: (Give Birth = no)  (Can Fly = no)  Reptiles R5: (Live in Water = sometimes)  Amphibians Rule R1 covers a hawk => Bird Rule R3 covers the grizzly bear => Mammal

5 Rule Coverage dan Akurasi
Coverage Rule: Bagian record yang memenuhi antecedent rule Akurasi Rule: Bagian record yang memenuhi antecedent rule dan consequent rule (Status=Single)  No Coverage = 40%, Accuracy = 50%

6 Cara Kerja Rule-based Classifier
R1: (Give Birth = no)  (Can Fly = yes)  Birds R2: (Give Birth = no)  (Live in Water = yes)  Fishes R3: (Give Birth = yes)  (Blood Type = warm)  Mammals R4: (Give Birth = no)  (Can Fly = no)  Reptiles R5: (Live in Water = sometimes)  Amphibians A lemur sesuai dengan rule R3, maka diklasifikasikan sebagai mammal A turtle sesuai dengan rule R4 dan R5 A dogfish shark triggers none of the rules

7 Karakteristik Rule-Based Classifier
Mutually exclusive rules Classifier memiliki rule yang mutually exclusive rules jika rules independent satu sama lain Tiap record dicover sebanyaknya oleh satu rule Exhaustive rules Classifier memiliki rule yang exhaustive coverage jika memiliki kombinasi tiap nilai atribut Tiap record dicover sedikitnya satu rule

8 Dari Decision Trees ke Rules
Rules mutually exclusive dan exhaustive Rule memuat informasi yang sama dengan decision tree

9 Rules Bisa Disederhanakan
Initial Rule: (Refund=No)  (Status=Married)  No Simplified Rule: (Status=Married)  No

10 Efek Penyederhanaan Rule
Rules tidak lagi mutually exclusive Satu record akan mentrigger lebih dari satu rule Solusi? Ordered rule set Unordered rule set – gunakan skema voting Rules tidak lagi exhaustive Sebuah record mungkin tidak tercover oleh satu rule pun Gunakan kelas default

11 Keuntungan Rule-Based Classifiers
Sama ekspresifnya dengan decision tree mudah untuk diinterpretasikan Mudah untuk digenerate Dapat mengklasifikasikan record baru dengan cepat Performansinya sebanding dengan decision trees

12 Instance Based dan Bayesian Classifier
Klasifikasi Part 3 Instance Based dan Bayesian Classifier

13 Instance-Based Classifiers
training records disimpan training records digunakan untuk memprediksi label kelas cases yang belum diketahui sebelumnya

14 Instance Based Classifiers
Contoh: Rote-learner seluruh training data akan disimpan dan memproses klasifikasi jika dan hanya jika nilai-nilai atribut pada record tsb benar-benar sama dengan salah satu training examples Nearest neighbor menggunakan k point terdekat (nearest neighbors) untuk melakukan klasifikasi

15 Nearest Neighbor Classifiers
Ide Dasar: If it walks like a duck, quacks like a duck, then it’s probably a duck

16 Nearest-Neighbor Classifiers
Membutuhkan 3 hal Sejumlah record yang tersimpan Metrik jarak untuk mengukur jarak antar record Nilai k, jumlah nearest neighbors yang harus diambil Untuk mengklasifikasikan record yg belum diketahui: Hitung jaraknya terhadap training record yang lain Identifikasi k nearest neighbors Gunakan label class dari nearest neighbors untuk menentukan label class dari yg belum diketahui (misal pakai skema voting mayoritas)

17 Definisi Nearest Neighbor
K-nearest neighbor dari record x adalah sejumlah k data point yang memiliki jarak terkecil terhadap x

18 1 nearest-neighbor Voronoi Diagram

19 Klasifikasi Nearest Neighbor
Hitung jarak antar dua point Euclidean distance Tentukan kelas dari daftar nearest neighbor Tentukan dengan voting mayoritas label class dari sejumlah k-nearest neighbors Pembobotan berdasarkan jarak weight factor, w = 1/d2

20 Klasifikasi Nearest Neighbor..
Tentukan jumlah k, perhatikan: Jika k terlalu kecil, maka hati-hati terhadap kemungkinan noise Jika k terlalu besar, tetangga yang ada kemungkinan memuat point kelas yang lainnya

21 Klasifikasi Nearest Neighbor…
Masalah penskalaan Atribute mungkin harus diskalakan untuk menghindari perhitungan jarak yang akan didominasi oleh satu atribute Contoh: tinggi seseorang mungkin bervariasi antara 1.5m sampai 1.8m BB orang mungkin bervariasi antara 40 – 130 kg Pendapatan orang mungkin bervariasi antara 500rb hingga puluhan/ratusan juta

22 Klasifikasi Nearest Neighbor….
Masalah dengan Euclidean measure: Dimensi data tinggi curse of dimensionality Dapat menghasilkan perhitungan yang intuitif vs d = d = Solusi: Normalisasi vector menjadi unit length

23 Contoh Algoritma PEBLS KNN FCNN (Fast Condensed NN) Instance Based Learning (IBL)  1991

24 Bayes Classifier Framework probabilistik untuk penyelesaian masalah klasifikasi Probabilitas Kondisional: Teorema Bayes :

25 Kenapa Pakai Bayesian Classifier?
Probabilistic learning Incremental Probabilistic prediction: prediksi multi hipotesis Standard Probabilistic learning: Calculate explicit probabilities for hypothesis, among the most practical approaches to certain types of learning problems Incremental: Each training example can incrementally increase/decrease the probability that a hypothesis is correct. Prior knowledge can be combined with observed data. Probabilistic prediction: Predict multiple hypotheses, weighted by their probabilities Standard: Even when Bayesian methods are computationally intractable, they can provide a standard of optimal decision making against which other methods can be measured

26 Contoh Teorema Bayes misalkan:
Dokter mengetahui bahwa meningitis menyebabkan leher kaku 50% Prior probability seorang pasien mengidap meningitis adalah 1/50,000 Prior probability seorang pasien menderita leher kaku 1/20 jika seorang paseien lehernya kaku, berapa peluang dia mengidap meningitis?

27 Bayesian Classifiers Menganggap tiap atribut dan label class sebagai variabel random Terdapat record dengan atribute (A1,A2,,An) Goal : memprediksi class C Lebih khususnya ingin mencari nilai C yang memaksimalkan P(C| A1, A2,…,An ) Bisakah P(C| A1, A2,…,An ) dihitung langsung dari data?

28 Bayesian Classifiers Pendekatan:
Hitung posterior probability P(C | A1, A2, …, An) untuk semua nilai C dengan teorema Bayes Pilih nilai C yang memaksimalkan P(C | A1, A2, …, An) Ekivalen dengan memilih nilai C yang memaksimalkan P(A1, A2, …, An|C) P(C) Cara Menghitung P(A1, A2, …, An | C )?

29 Naïve Bayes Classifier
Asumsi bahwa atribut independence : P(A1, A2, …, An |C) = P(A1| Cj) P(A2| Cj)… P(An| Cj) Hitung P(Ai| Cj) untuk semua Ai dan Cj. Point yang baru diklasifikasikan terhadap Cj jika P(Cj)  P(Ai| Cj) maksimal.

30 Perhitungan Probabilitas dari Data?
Class: P(C) = Nc/N e.g., P(No) = 7/10, P(Yes) = 3/10 Untuk atribut diskrit: P(Ai | Ck) = |Aik|/ Nc |Aik| adalah jumlah instances yang memiliki atribut Ai da termasuk kelas Ck Contoh : P(Status=Married|No) = 4/7 P(Refund=Yes|Yes)=0 k

31 Perhitungan Probabilitas dari Data?
Untuk atribut kontinu : Diskretisasi menjadi sejumlah range Satu atribut ordinal per bin langgar asumsi independence Two-way split: (A < v) or (A > v) pilih satu dari dua split sebagi atribut baru Perhitungan Probability density : Asumsi atribut terdistribusi normal gunakan data untuk menghitung parameter distribusi (mis., mean dan standar deviasi) jika distribusi probability telah diketahui, gunakan untuk menghitung conditional probability P(Ai|c) k

32 Perhitungan Probabilitas dari Data?
Distribusi Normal : Untuk tiap pasang (Ai,ci) Untuk (Income,Class=No): If Class=No sample mean = 110 sample variance = 2975

33 Contoh Naïve Bayes Classifier
Misalkan ada Test Record: P(X|Class=No) = P(Refund=No|Class=No)  P(Married| Class=No)  P(Income=120K| Class=No) = 4/7  4/7  = P(X|Class=Yes) = P(Refund=No| Class=Yes)  P(Married| Class=Yes)  P(Income=120K| Class=Yes) = 1  0  1.2  10-9 = 0 Since P(X|No)P(No) > P(X|Yes)P(Yes) Therefore P(No|X) > P(Yes|X) => Class = No

34 Naïve Bayes Classifier
Jika salah satu conditional probability = 0, maka semua ekspresi akan jadi = 0 Perhitungan Probabilitas : c: jumlah kelas p: prior probability m: parameter

35 Contoh Perhitungan P(xi|C)
X1 = (overcast, mild, normal, false, ?) X2= (sunny, hot, normal, false, ?) P(p) = 9/14 P(n) = 5/14

36 outlook P(sunny|p) = 2/9 P(sunny|n) = 3/5 P(overcast|p) = 4/9 P(overcast|n) = 0 P(rain|p) = 3/9 P(rain|n) = 2/5 temperature P(hot|p) = 2/9 P(hot|n) = 2/5 P(mild|p) = 4/9 P(mild|n) = 2/5 P(cool|p) = 3/9 P(cool|n) = 1/5 humidity P(high|p) = 3/9 P(high|n) = 4/5 P(normal|p) = 6/9 P(normal|n) = 2/5 windy P(true|p) = 3/9 P(true|n) = 3/5 P(false|p) = 6/9 P(false|n) = 2/5

37 Contoh Pengklasifikasian X
Misal X = <rain, hot, high, false> P(X|p)·P(p) = P(rain|p)·P(hot|p)·P(high|p)·P(false|p)·P(p) = 3/9·2/9·3/9·6/9·9/14 = P(X|n)·P(n) = P(rain|n)·P(hot|n)·P(high|n)·P(false|n)·P(n) = 2/5·2/5·4/5·2/5·5/14 = Sample X dikelaskan sebagai kelas n (don’t play)

38 Naïve Bayes (Summary) Tahan terhadap noise point
Menangani missing values dengan mengabaikan instance selama perhitungan probabilitas Tahan terhadap atribut yang tidak relevan Asumsi keindipendenan kemungkinan tidak berlaku untuk beberapa atribut, oelh karenanya bisa menggunakan teknik lain seperti Bayesian Belief Networks (BBN)

39 Hatur Nuhun!!!