Pohon Keputusan (Decision Tree)

Presentasi berjudul: "Pohon Keputusan (Decision Tree)"— Transcript presentasi:

1 Pohon Keputusan (Decision Tree)

2 Overview Sbg gambaran/studi kasus:
Dari calon mhs yg diterima di PTS XYZ pada , 498 calon mhs mengundurkan diri. Hal tsb, artinya 25,5 % calon mhs yg mungkin potensial tdk mampu dipertahankan Salah satu cara utk melakukan analisis kemungkinan pengunduran diri seorang calon mhs baru adalah dengan melakukan klasifikasi dari kumpulan data calon mahasiswa yg ada. Salah satu model klasifikasi  Pohon keputusan

3 Pohon Keputusan (Algoritma C4.5)
Merupakan metode klasifikasi dan prediksi yg sangat kuat dan terkenal Metodenya  mengubah fakta yg sangat besar menjadi pohon keputusan yg mempresentasikan aturan. Aturan tsb dpt dgn mudah dipahami dgn bahasa alami. Dpt pula diekspresikan dlm bentuk bhs basis data SQL utk mencari record pada kategori tertentu.

4 Pohon Keputusan (Algoritma C4.5)
Pohon keputusan juga berguna utk: Mengeksplorasi data. Menemukan hubungan tersembunyi antara sejumlah calon variabel input dengan sebuah variabel target. Sangat bagus sbg langkah awal dlm proses pemodelan bahkan ketika dijadikan sbg model akhir dari bbrp teknik lainnya.

5 Pohon Keputusan (Algoritma C4.5)
Sebuah model pohon keputusan terdiri dari sekumpulan aturan utk membagi sejumlah populasi yg heterogen menjadi lebih kecil, lebih homogen dgn memperhatikan pada variabel tujuannya. Data pada pohon keputusan biasanya dinyatakan dalam bentuk tabel dengan atribut dan record Atribut menyatakan suatu parameter yg dibuat sbg kriteria dlm membentuk pohon

6 Pohon Keputusan (Algoritma C4.5)
Contoh: Untuk menentukan bermain tenis atau tdk, kriteria yg diperlukan meliputi: Cuaca Angin Kelembaban Temperatur udara Salah satu atribut merupakan data solusi per item data yg disebut target atribut  misalnya atribut “play” dgn nilai “main” atau “tidk main” Atribut memiliki nilai2 yg dinamakan “instance” Misalkan atribut “Cuaca” memiliki instance  cerah, berawan, dan hujan.

7 Contoh Algoritma C4.5 No Outlook Temperature Humidity Windy Play 1
Sunny Hot High FALSE 2 TRUE 3 Cloudy Yes 4 Rainy Mild 5 Cool Normal 6 7 8 9 10 11 12 13 14

8 Contoh Bdsrk tabel diatas akan dibuat tabel keputusan utk menentukan main tenis atau tidak dgn melihat keadaan Outlook (cuaca), Temperatur, Humidity (kelembaban), dan windy (keadaan angin). Algoritma scr umum: Pilih atribut sbg akar Buat cabang utk tiap2 nilai Bagi kasus dalam cabang Ulangi proses utk setiap cabang sampai semua kasus pada cabang memiliki kelas yg sama Memilih atribut berdasarkan nilai “gain” tertinggi dari atribut2 yg ada.

9 Perhitungan Gain Gain (S,A) = Entropy (S) - ∑ * Entropy (Si) n
Keterangan: S : himpunan A : atribut n : jumlah partisi atribut A l Si l : jumlah kasus pada partisi ke-i I S I : jumlah kasus dalam S │ Si │ │ S │

10 Menghitung nilai entropy
n Entropy (S) = ∑ - pi * log2 pi i=1 Keterangan: S : himpunan kasus A : fitur n : jumlah partisi S pi : proporsi dari Si terhadap S

11 Perincian algoritma ( langkah 1)
Menghitung jumlah kasus seluruhnya, jumlah berkeputusan “Yes” maupun “No” Menghitung Entropy dari semua kasus yg terbagi berdasarkan atribut “Outlook”, “Temperature”, “Humidity”, “Windy” Lakukan penghitungan Gain utk setiap atributnya

12 Perhitungan Node Jumlah Kasus (S) Tidak (S1) Ya (S2) Entropy Gain 1 14
Jumlah Kasus (S) Tidak (S1) Ya (S2) Entropy Gain 1 TOTAL 14 4 10 0, OUTLOOK 0, CLOUDY  0 RAINY 5 0, SUNNY 3 2 0, TEMPERATURE 0, COOL HOT MILD 6 0, HUMIDITY 0, HIGH 7 0, NORMAL WINDY 0, FALSE 8 0, TRUE

13 Perhitungan Total Entropy
Node Jumlah Kasus (S) Tidak (S1) Ya (S2) Entropy Gain 1 TOTAL 14 4 10 0, ... n Entropy (S) = ∑ - pi * log2 pi i=1 Entropy (Total) = - 4/14 * log2 (4/14)) + - 10/14 * log2 (10/14)) = 0,

14 Menghitung gain pada baris “Outlook”
Gain (Total, Outlook) n = Entropy(Total) - ∑ * Entropy(Outlooki) i=1 = 0, – ((4/14*0)+(5/14*0,72)+(5/14*0,97)) = 0, │ Outlooki │ │ Total │

15 Lakukan Hitung Gain utk temperature, humidity dan windy
Spt yg terlihat pd tabel, diperoleh bhw atribut dgn Gain tertinggi adalah Humidity  0,37 Maka Humidity menjadi node akar Humidity memiliki dua nilai yaitu “High” dan “Normal” Humidity  “Normal” sdh mengklasifikasikan kasus menjadi 1 yaitu keputusannya “yes” Utk humidity  “High” msh perlu dilakukan perhitungn lagi (krn msh terdpt “yes” dan “no”)

16 Pohon keputusan node 1 Humidity HIGH NORMAL 1.1 ? YES

17 Perincian algoritma (Langkah 2)
Pilih node akar “High” dan hitung: Jumlah kasus Jumlah kasus keputusan “Yes” Jumlah kasus keputusan “No” Entropy Atribut: Outlook Temperature Windy

18 Hasil perhitungan (Langkah 2)
Node Jumlah Kasus (S) Tidak (S1) Ya (S2) Entropy Gain 1.1 HUMIDITY HIGH 7 4 3 0, OUTLOOK 0, CLOUDY 2 RAINY 1 SUNNY TEMPERATURE 0, COOL HOT MILD WINDY FALSE TRUE 0,

19 Hasil perhitungan (Langkah 2)
Didapat Gain tertinggi  outlook  0,69 Maka “Outlook” menjadi node cabang dari atribut humidity yg bernilai “High” Berdasarkan atribut “Outlook” terdpt 3 nilai Cloudy Rainy Sunny Krn “Cloudy” pasti bernilai “Yes” dan “Sunny” pasti bernilai “No”, maka tdk perlu dilakukan perhitungan lagi Sedangkan “Rainy” bernilai “yes” dan “No”, maka masih perlu dilakukan perhitungan lagi

20 Pohon keputusan node 1.1 Humidity HIGH NORMAL 1.1 Outlook YES Cloudy
Sunny Rainy 1.1 ? NO YES

21 Perincian algoritma (Langkah 3)
Pilih node akar “Rainy” dan hitung: Jumlah kasus Jumlah kasus keputusan “Yes” Jumlah kasus keputusan “No” Entropy Atribut: Temperature Windy

22 Hasil perhitungan (Langkah 3)
Node Jumlah Kasus (S) Tidak (S1) Ya (S2) Entropy Gain 1.1 HUMIDITY “HIGH” dan OUTLOOK “RAINY” 2 1 TEMPERATURE COOL HOT MILD WINDY FALSE TRUE

23 Hasil perhitungan (Langkah 3)
Didapat Gain tertinggi  Windy  1 Maka “Windy” menjadi node cabang dari atribut humidity yg bernilai “High” dan outlook yg bernilai “Rainy” Berdasarkan atribut “Windy” terdpt 2 nilai True False Krn “True” sdh terklasifikasi pasti bernilai “No” dan “False” pasti bernilai “Yes”, maka tdk perlu dilakukan perhitungan lagi

24 Pohon keputusan node 1.1.2 Humidity HIGH NORMAL 1.1 Outlook YES Cloudy
Rainy Sunny 1.1.2 Windy NO YES False True YES NO

25 Hasil perhitungan (Langkah 3)
Berdasarkan node 1.1.2, maka: “Semua kasus sdh masuk dpt kelas” Sehingga pohon keputusan diatas merupakan pohon keputusan terakhir yang terbentuk

26 Macam Algoritma Decison tree
Selain Algoritma C4.5, terdapat: ID3  merupakan pengembangan C4.5 CART

27 Selesai