IMPLEMENTASI ALGORITMA k-NN

Presentasi berjudul: "IMPLEMENTASI ALGORITMA k-NN"— Transcript presentasi:

1 IMPLEMENTASI ALGORITMA k-NN
Chastine Fatichah

2 Classification Algorithms
Proses Klasifikasi Classification Algorithms No. Sepal width Sepal length Petal width Petal length Label Class 1 5,1 3,5 1,4 0,2 Iris-setosa 2 6 2,9 4,5 1,5 Iris-versicolor 3 4,7 3,2 1,3 4 5,7 2,6 5 4,9 5,5 2,4 3,8 1,1 7 4,6 3,1 8 3,7 1,2 9 6,3 3,3 2,5 Iris-virginica 10 5,8 2,7 1,9 Training Process Training Set Model No. Sepal width Sepal length Petal width Petal length Label Class 1 4,8 3,2 1,3 0,3 ? 2 5,6 2,9 4,2 1,2 3 5,7 2,5 5 4 7,1 5,9 2,1 Testing Process Test Set

3 Algortima k-NN Setiap data poin x
Hitung jarak antara x dengan semua data poin pada training set Urutkan berdasarkan jarak terkecil Ambil sejumlah k data poin dengan jarak terkecil ke x (k tetangga terdekat) Tentukan label kelas dari x berdasarkan mayoritas kelas pada k data poin

4 Penentuan nilai k pada k-Nearest Neighbors
Lecture 8 Penentuan nilai k pada k-Nearest Neighbors Sumber: Introduction to Data Mining © Tan,Steinbach, Kumar 2004 Jika nilai k terlalu kecil maka sensitif terhadap data noise Jika nilai k terlalu besar maka ada kemungkinan data poin dari kelas yang lain menjadi tetangga terdekat

5 Minkowski Distance n : jumlah atribut sedangkan pk dan qk adalah atribut ke k dari data poin p dan q r = 1 City block (Manhattan) distance, r = 2 Euclidean distance Perbedaan skala yang besar pada atribut menyebabkan atribut bernilai besar menjadi lebih dominan, hal ini dapat ditangani dengan proses Normalisasi terlebih dahulu

6 Contoh kasus pada algoritma k-Nearest Neighbors
Training Set Euclidean distance: No. X1 X2 Kelas 1 5 4 + 2 6 3 - No. Jarak data 6 ke- Kelas 1 1,00 + 2 3 1,41 - 4 2,24 5 Testing Set k =3 No. X1 X2 Kelas 6 5 2 ? No. Jarak data 6 ke- Kelas 1 1,00 + 2 3 1,41 -

7 Deskripsi Dataset Iris
Deskripsi dataset bunga Iris Atribut : Sepal length, Sepal width, Petal length, dan Petal width Jumlah data : 150 Kelas : Iris-setosa (50), Iris-versicolor (50), Iris-virginica (50) Sumber gambar :

8 Contoh implementasi python algoritma k-NN
Buka file dataset Iris Visualisasi 2D data iris

9 Contoh implementasi python algoritma k-NN
Visualisasi 3D dataset Iris

10 Contoh implementasi python algoritma k-NN
Pembagian training set dan test set

11 Contoh implementasi python algoritma k-NN
Fungsi perhitungan jarak

12 Contoh implementasi python algoritma k-NN
Fungsi mencari ketetanggaan sejumlah k Sumber:

13 Contoh implementasi python algoritma k-NN
Fungsi menentukan mayoritas kelas (majority vote) Sumber:

14 Contoh implementasi python algoritma k-NN
Fungsi prediksi kelas dari testing set Sumber: