Naïve Bayes Classification.

Presentasi berjudul: "Naïve Bayes Classification."— Transcript presentasi:

1 Naïve Bayes Classification

2 Klasifikasi memerlukan Training Set
Klasifikasi adalah proses pembelajaran secara terbimbing (supervised learning) Untuk melakukan klasifikasi, dibutuhkan training set sebagai data pembelajaran Setiap sampel dari training set memiliki atribut dan klas label

3 Dua Tahapan Klasifikasi
Learning (training): Pembelajaran menggunakan data training (untuk Naïve Bayesian Classifier, nilai probabilitas dihitung dalam proses pembelajaran) Testing: Menguji model menggunakan data testing Sumber: Bing Liu, Web Data Mining

4 Teori Bayesian: Sebagai Dasar
Untuk masalah klasifikasi, yang dihitung adalah P(H|X), yaitu peluang hipotesa H berdasar kondisi X :

5 Teori Bayesian: Sebagai Dasar
X:data sampel dengan klas (label) yang tidak diketahui H:merupakan hipotesa bahwa X adalah data dengan klas (label) C. P(H) : peluang dari hipotesa H P(X) adalah peluang dari X yang diamati P(X|H) : peluang X, berdasat kondisi pada hipotesa H

6 Naïve Bayesian Classifier
Adalah metode classifier yang berdasarkan probabilitas dan Teorema Bayesian dengan asumsi bahwa setiap variabel X bersifat bebas(independence) Dengan kata lain, Naïve Bayesian Classifier mengasumsikan bahwa keberadaan sebuah atribut (variabel) tidak ada kaitannya dengan beradaan atribut (variabel) yang lain

7 Naïve Bayesian Classifier
Karena asumsi atribut tidak saling terkait(conditionally independent), maka: Bila P(X|Ci) dapat diketahui melalui perhitungan di atas, maka klas (label) dari data sampel X adalah klas (label) yang memiliki P(X|Ci)*P(Ci) maksimum

8 Naïve Bayes Dataset class: C1: Beli Komputer: ya
C2: Beli Komputer: tdk bila data baru yg blm memiliki class sbb: X =(umur<=30, pendapatan=sedang, mhs=ya,rating kredit= Fair) Umur Pendapatan Mhs Rating Kredit Beli Komputer <=30 tinggi bukan fair tdk excellent 30…40 ya >40 sedang rendah 31…40

9 Hitung P(Xk|Ci) utk setiap class i
X =(umur<=30, pendapatan=sedang, mhs=ya,rating kredit= Fair) P(umur<=30| beli_komputer=ya) = > /9 = 0.220 P(umur<=30| beli_komputer=tdk) => /5 = 0.600 Umur Pendapatan Mhs Rating Kredit Beli Komputer <=30 tinggi bukan fair tdk excellent sedang rendah ya >40 30…40 31…40

10 Hitung P(Xk|Ci) utk setiap class i
X =(umur<=30, pendapatan=sedang, mhs=ya,rating kredit= Fair) P(pendapatan=sedang| beli_komputer=ya) => 4/9= 0.444 P(pendapatan=sedang| beli_komputer=tdk) => 2/5=0.400 ID Umur Pendapatan Mhs Rating Kredit Beli Komputer 1 >40 rendah ya excellent tdk 2 <=30 fair 3 4 31…40 5 sedang bukan 6 7 8 9 10 11 tinggi 12 13 30…40 14

11 Hitung P(Xk|Ci) utk setiap class i
X =(umur<=30, pendapatan=sedang, mhs=ya,rating kredit= Fair) ID Umur Pendapatan Mhs Rating Kredit Beli Komputer 1 <=30 sedang bukan fair tdk 2 >40 excellent 3 tinggi 4 5 ya 6 31…40 7 30…40 8 rendah 9 10 11 12 13 14 P(mhs=ya| beli_komputer=ya) => 6/9 = P(mhs=ya| beli_komputer=tdk) => 1/5 =

12 Hitung P(Xk|Ci) utk setiap class i
X =(umur<=30, pendapatan=sedang, mhs=ya,rating kredit= Fair) ID Umur Pendapatan Mhs Rating Kredit Beli Komputer 1 <=30 tinggi bukan excellent tdk 2 >40 sedang 3 rendah ya 4 31…40 5 6 7 fair 8 9 10 30…40 11 12 13 14 P(rating kredit=fair| beli_komputer=ya) => 6/9 = P(rating kredit=fair| beli_komputer=tdk) => 2/5 =

13 Hitung P(Xk | Ci) utk setiap class I
P(umur<=30| beli_komputer=ya) = 2/9 0.222 P(umur<=30| beli_komputer=tdk) = 3/5 0.600 P(pendapatan=sedang| beli_komputer=ya) = 4/9 0.444 P(pendapatan=sedang| beli_komputer=tdk) = 2/5 0.400 P(mhs=ya| beli_komputer=ya) = 6/9 0.667 P(mhs=ya| beli_komputer=tdk) = 1/5 0.200 P(rating kredit=fair| beli_komputer=ya) = 6/9 P(rating kredit=ya| beli_komputer=tdk) = 2/5 Hitung P(X|Ci) untuk setiap Class: P(X|beli_computer=“ya”) 0.222 X X X = 0.044 P(X|beli_computer=“tdk”) 0.600 x x x = 0.019

14 X memiliki class “beli_computer=ya”
P(X|Ci)*P(Ci ): P(X|beli_computer=“ya”) * P(beli_computer=“ya”) 0.044 * (9/14) = 0.028 P(X|beli_computer=“tdk”) * P(beli_computer=“tdk”) 0.019 * (5/14) = 0.007 X memiliki class “beli_computer=ya” karena P(X|beli_computer=“ya”) memiliki nilai maksimum pada perhitungan di atas

15 Naïve Bayesian: Summary
Kekuatan: Mudah diimplementasi Memberikan hasil yang baik untuk banyak kasus Kelemahan: Harus mengasumsi bahwa antar fitur tidak terkait (independent) Dalam realita, keterkaitan itu ada Keterkaitan tersebut tidak dapat dimodelkan oleh Naïve Bayesian Classifier

16 Latihan ID OUTLOOK TEMPERATUR HUMIDITY WINDY PLAY 1 Sunny Hot High FALSE NO 2 TRUE 3 Cloudy YES 4 Rainy Mild 5 Cool Normal 6 7 8 9 10 11 12 13 14 Tentukan class label dari X:X =(Outlook=Rainy,Temperature=Cool, Humidity=High, Windy=False)