Anggota Dwita Eprila ( ) Mayang Hermeiliza Eka Putri ( ) Nadiah Amelia ( ) Rafif Abdusalam ( ) Shofyan Muharsyah ( ) Farhan Seprayan Ramadhan ( )

Pengertian Klasifikasi Pengertian Desicion Tree (ID3) Kekurangan ID3 Arsitektur Pohon Keputusan Kelebihan ID3 DAFTARISIDAFTARISI 6 Perhitungan ID3 ( entropy & informasi gain

Algoritma klasifikasi data mining :  Algoritma CART (Classification and Regreesion Trees)  Algoritma Mean Vector  Algoritma K-Nearest Neighbor  Algoritma ID3  Algoritma C4.5  Algoritma C5.0 Klasifikasi menghasilkan pengetahuan yang direpresentasikan dalam bentuk diagram pohon keputusan (Decision Tree) KLASIFIKASI PENGERTIAN proses penemuan model atau fungsi yang menjelaskan atau membedakan konsep atau kelas data, dengan tujuan untuk dapat memperkirakan kelas dari suatu objek yang labelnya tidak diketahui

Iterative Dichtomizer 3 (ID3 )  Iterative Dichtomicer 3 (ID3) adalah algoritma decision tree learning ( algoritma pembelajaran pohon keputusan) yang paling dasar.  Algoritma ini melakukan pencarian secara menyeluruh pada semua kemungkinan pohon keputusan.

3 bagian pohon keputusan adalah sebagai berikut : Arsitektur Pohon Keputusan 1 Root node -> merupakan node yang terl etak paling atas dari suatu pohon 2 Internal node -> merupakan node percabangan dimana pada node ini hanya terdapat satu input dan minimal dua output 3 Leaf node -> merupakan node akhir,hanya memiliki 1 input dan tidak memiliki 2 output.Pada pohon keputusan setiap leaf node menandai lebel kelas Pada pohon keputusa di setiap pecabngan menyatakn kondisi yang harus dipenuhi dan tiap ujung pohon menyatakan nilai kelas data.

hanya membutuhkan beberapa tes atribut hingga semua data diklasifikasikan Daerah pengambilan keputusan yang sebelumnya kompleks, dapat diubah menjadi simple dan spesifik membangun pohon keputusan dengan cepat eliminasi perhitungan- perhitungan yang tidak diperlukan Kelebihan ID3

Terjadi overlap terutama ketika kelas-kelas dan kriteria yang digunakan jumlahnya sangat banyak Hasil kualitas keputusan yang didapatkan dari metode pohon keputusan sangat tergantung pada bagaimana pohon tersebut didesain kesulitan dalam mendesain pohon keputusan yang optimal Kekurangan ID3

Perhitungan ID3 Pembentukan pohon klasifikasi pada pohon ID3 melalui 2 langkah,  Menghitung nilai entropy  Menghitung information gain

 Entopy adalah ukuran dari teori informasi yang dapat mengetahui karakteristik dari input dan homogenity dari kumpulan data. Dari nilai entopy tersebut kemudian dihitung nilai informatian gain (IG) masing-masing atribut.  Secara matematis dirumuskan sebagai berikut : Entropy dengan, S adalah himpunan (dataset) kasus k adalah banyaknya partisi S p j adalah probabilitas yang di dapat dari Sumnya ( ya atau tidak ) dibagi Total Kasus. Catatan : Entropy(S) = 0, jika semua contoh pada S berada dalam kelas yang sama. Entropy(S) = 1, jika jumlah contoh positif dan jumlah contoh negatif dalam S adalah sama. Entropy(S) < 1, jika jumlah contoh positif dan jumlah contoh negatif dalam S tidak sama.

Informatian Gain  Setelah mendapatkan nilai entropy, maka dapat diukur efektivitas suatu atribut. Dalam mengklasifikasikan data yang disebut sebagai information gain.  Secara matematis information gain dari suatu atribut A, dituliskan sebagai berikut : dengan, S = ruang (data) sample yang digunakan untuk training. A = atribut. |S i | = jumlah sample untuk nilai V. |S| = jumlah seluruh sample data. Entropi(S i ) = entropy untuk sample- sample yang memiliki nilai i

Perhitungan Flow Chart

 Jumlah kasus :13 Jumlah kasus dengan hasil Putus :5 Jumlah kasus dengan hasil TidakPutus :8  Kemudian hitung entropi dengan rumus seperti diatas. Entropi (S) = (-(5/13) x log 2 (5/13)+ (- (8/13) x log 2 (8/13)) = = 0. 95

Flow Chart Lakukan perhitungan untuk nilai entropy pada setiap atribut : Hitung pada bagian Jenis Kelamin:  Laki-laki jumlah : 6 Putus: 1 TidakPutus: 5 Hasilnya entropy nya : (-(1/6) x log 2 (1/6) + (- 5/6) x log 2 (5/6)) = = 0.64  Perempuan Jumlah : 7 Ya: 4 Tidak: 3 Hasilnya entropy nya : (-(4/7) x log 2 (4/7) + (- 3/7) x log 2 (3/7)) = = 0.97

Nm, Flow Chart Lanjutkan ke setiap atribut yang ada. Setelah mendapatkan nilai entropy, berikutnya hitung nilai information gain dari setiap variabel. Gain (Usia) = 0.95 – ((6/13) x (7/13) x 0.97 = ( ) ) = = 0.14

Setelah mendapatkan entropi dari keseluruhan kasus, lakukan analisis pada setiap atribut dan nilai-nilainya dan hitung entropinya Flow Chart

 Karena nilai gain terbesar adalah Gain (Pekerjaan ), maka atribut “Pekerjaan” menjadi node akar (root node). Flow Chart

Berdasarkan pembentukan pohon keputusan node 1 (root node), Node 1.1 akan dianalisis lebih lanjut. Untuk mempermudah, Tabel dibawah difilter, dengan mengambil data yang memiliki “Pekerjaan” =Petani. Flow Chart

Kemudian dihitung nilai entropi atribut “Petani” Tinggi dan entropi setiap atribut serta gainnya. Setelah itu tentukan pilih atribut yang memiliki gain tertinggi untuk dibuatkan node berikutnya. Flow Chart

Gain tertinggi yang didapat adalah “Jarak”, dan Nilai yang dijadikan daun atau leaf adalah Jauh Dekat dan Sesang. Jika divualisasi maka pohon keputusan tampak seperti Gambar dibawah. Flow Chart

RULES :  IF PEKERJAAN = PEDAGANG THEN CLASS = PUTUS  IF PEKERJAAN = SWASTA THEN CLASS = TIDAK PUTUS  IF PEKERJAAN = PNS THEN CLASS = TIDAK PUTUS  IF PEKERJAAN = GURU THEN CLASS = TIDAK PUTUS  IF PEKERJAAN = PETANI AND JARAK RUMAH KE SEKOLAH = JAUH THEN CLASS=TIDAKPUTUS  IF PEKERJAAN = PETANI AND JARAK RUMAH KE SEKOLAH =SEDANG THEN CLASS=PUTUS  IF PEKERJAAN = PETANI AND JARAK RUMAH KE SEKOLAH = DEKAT AND JE NIS KELAMIN=PEREMPUAN THEN CLASS=PUTUS  IF PEKERJAAN = PETANI AND JARAK RUMAH KE SEKOLAH = DEKAT AND JE NIS KELAMIN=LAKI-LAKI AND NILAI= SEDANG THEN CLASS=PUTUS  IF PEKERJAAN = PETANI AND JARAK RUMAH KE SEKOLAH = DEKAT AND JE NIS KELAMIN=LAKI-LAKI AND NILAI= RENDAH THEN CLASS=TIDAKPUTUS