Jaringan Syaraf Tiruan Artificial Neural Networks (ANN)

Presentasi berjudul: "Jaringan Syaraf Tiruan Artificial Neural Networks (ANN)"— Transcript presentasi:

1 Jaringan Syaraf Tiruan Artificial Neural Networks (ANN)
3 SKS Dosen: Muhammad Fachrie, M.Cs. JST - Pertemuan 2

2 Outline Pengantar Multi Layer Perceptron (MLP) Arsitektur MLP
Algoritma Belajar Perceptron JST - Pertemuan 2

3 Pengantar MLP Multi Layer Perceptron (MLP) merupakan perkembangan dari perceptron Kemampuan klasifikasi yang jauh lebih baik (klasifikasi data yang non-linearly separable). Mampu digunakan untuk keperluan classification dan regression. MLP merupakan salah satu model JST yang paling sering digunakan, karena: Arsitekturnya simpel Algoritma pembelajarannya tergolong mudah diimplementasikan Cenderung memiliki akurasi yang baik JST - Pertemuan 2

4 Implementasi MLP Email classification Object Detection
Object Classification Speech Recognition Face Recognition Classification Gold Price forecasting Weather prediction Rate of exchange prediction Regression JST - Pertemuan 2

5 Arsitektur MLP 1 1 x1 x2 xn Z1 Y1 Z2 Y2 Zm Yk Input Layer Hidden Layer
b11 b21 b12 b22 b1n b2k x1 w11 Z1 Y1 w12 v12 w1n v1k w21 v21 x2 w22 Z2 v22 Y2 w2n v2k wn1 vn1 wn2 vn2 xn wnm Zm vmk Yk Input Layer Hidden Layer Output Layer JST - Pertemuan 2

6 MLP - Perhitungan Maju Prosedur perhitungan maju pada MLP sama dengan perhitungan maju pada perceptron. Perbedaannya hanya terletak pada fungsi aktivasi yang digunakan. MLP menggunakan fungsi aktivasi non-linear yang disebut fungsi sigmoid. JST - Pertemuan 2

7 MLP – Perhitungan Maju 1 x1 x2 xn Z1 dimana: Z2 Zm Input Layer
b11 w11 x1 Z1 w21 dimana: x2 Z2 wn1 xn Zm Input Layer Hidden Layer JST - Pertemuan 2

8 MLP – Perhitungan Maju 1 x1 x2 xn Z1 Z2 dimana: Zm Input Layer
b12 x1 Z1 w12 w22 x2 Z2 dimana: wn2 xn Zm Input Layer Hidden Layer JST - Pertemuan 2

9 MLP – Perhitungan Maju 1 1 x1 x2 xn Z1 Y1 dimana: Z2 Y2 Zm Yk
b21 v11 x1 Z1 Y1 v21 dimana: x2 Z2 Y2 vn1 xn Zm Yk Input Layer Hidden Layer Output Layer JST - Pertemuan 2

10 MLP – Perhitungan Maju 1 1 x1 x2 xn Z1 Y1 Z2 Y2 dimana: Zm Yk
b22 x1 Z1 Y1 v12 x2 v22 Z2 Y2 dimana: vn2 xn Zm Yk Input Layer Hidden Layer Output Layer JST - Pertemuan 2

11 Klasifikasi Penderita Kanker
Sebuah kanker biasanya diidentifikasi/ dianalisis melalui gambar hasil scan MRI. Kemudian, diambil beberapa aspek (feature) yang menjadi indikasi adanya kanker atau tidak. JST - Pertemuan 2

12 Klasifikasi Penderita Kanker
Data yang digunakan untuk melatih MLP diperoleh dari website Data tersebut berjumlah 300 buah, dan akan dibagi menjadi 2 bagian, yakni: Data latih berjumlah 200 buah Data uji berjumlah 100 buah Data tersebut terdiri dari dua kelas, yakni malignant (positif kanker) dan benign (negatif kanker). Malignant disimbolkan dengan biner 1, sedangkan benign disimbolkan dengan biner 0. JST - Pertemuan 2

13 Klasifikasi Penderita Kanker
No. Clump Thickness Uniformity of Cell Size Uniformity of Cell Shape Marginal Adhesion Single Epithelial Cell Size Bare Nuclei Bland Chromatin Normal Nucleoli Mitoses C LASS (TARGET) 1 5 8 7 10 2 6 4 3 . . . 195 196 197 198 199 200 JST - Pertemuan 2

14 Desain Arsitektur MLP Input layer : 9 neuron Output layer : 1 neuron
Hidden layer : Skenario 1  3 neuron Skenario 2  6 neuron Skenario 3  9 neuron Skenario 4  12 neuron JST - Pertemuan 2

15 Desain Arsitektur MLP – Skenario 1
b1 x1 b2 x2 x3 z1 x4 y1 x5 z2 x6 x7 z3 x8 x9 JST - Pertemuan 2

16 Data Latih Kanker Payudara
No. Clump Thickness Uniformity of Cell Size Uniformity of Cell Shape Marginal Adhesion Single Epithelial Cell Size Bare Nuclei Bland Chromatin Normal Nucleoli Mitoses C LASS (TARGET) 1 5 8 7 10 101 2 3 6 4 102 103 . . . 98 198 99 199 100 200 JST - Pertemuan 2

17 Algoritma Learning MLP
Algoritma learning MLP disebut dengan Backpropagation yang merupakan pengembangan dari algoritma learning pada Perceptron. Pada algoritma Backpropagation, terjadi dua proses perhitungan, yakni: Proses perhitungan maju (feedforward) Proses perhitungan mundur (backpropagation) JST - Pertemuan 2

18 Backpropagation – Perhitungan Maju
x1 b2 x2 x3 z1 x4 y1 x5 z2 x6 x7 z3 x8 x9 JST - Pertemuan 2

19 Backpropagation – Perhitungan Mundur
x1 b2 x2 x3 z1 x4 y1 x5 z2 x6 x7 z3 x8 x9 JST - Pertemuan 2

20 Algoritma Backpropagation - Inisialisasi
Set parameter learning rate (α) dalam rentang [0,1]. Set jumlah maksimal iterasi (epoch). Set nilai awal bobot jaringan. Nilai awal bobot diset secara random dalam rentang [-1,1]*. Satu epoch/ iterasi diperoleh ketika semua data latih sudah diinputkan/ diproses ke dalam jaringan. JST - Pertemuan 2

21 Algoritma Backpropagation
No. Hidden Layer Output Layer 1. Hitung Output dari setiap neuron - 2 3. Hitung ERROR dari setiap neuron 4. Hitung faktor koreksi dari setiap neuron 5. Hitung perubahan bobot (∆v) dari koneksi antara output dan hidden layer 6. 7. Hitung perubahan bobot (∆w) dari koneksi antara hidden dan input layer 8. Update bobot pada koneksi antara hidden dan input layer Update bobot pada koneksi antara output dan hidden layer JST - Pertemuan 2

22 Perhitungan Error Keluaran dari output layer dihitung selisihnya dengan target yang ada pada data training: dimana E adalah error, y adalah output dari neuron pada output layer, dan t adalah target pada data training. Jika output layer terdiri dari banyak neuron, maka error dihitung untuk setiap neuron. JST - Pertemuan 2

23 Faktor Koreksi pada Output Layer
Faktor koreksi pada output layer dihitung berdasarkan rumus: Faktor koreksi ini dihitung untuk setiap neuron pada output layer. JST - Pertemuan 2

24 Perubahan Bobot antara OL dan HL
Faktor perubahan bobot antara output layer dan hidden layer dihitung berdasarkan rumus: dimana α adalah learning rate yang nilainya berada dalam rentang (0,1]. JST - Pertemuan 2

25 Faktor Koreksi pada Hidden Layer
Faktor koreksi pada hidden layer dihitung berdasarkan rumus: dimana, JST - Pertemuan 2

26 Perubahan Bobot antara HL dan IL
Faktor perubahan bobot antara hidden layer dan input layer dihitung berdasarkan rumus: JST - Pertemuan 2

27 Update Semua Bobot Jaringan
Perubahan bobot jaringan antara input layer dan hidden layer dihitung berdasarkan rumus: Perubahan bobot jaringan antara hidden layer dan output layer dihitung berdasarkan rumus: JST - Pertemuan 2

28 Proses Learning Alur proses learning tadi dilakukan untuk setiap satu record/ satu baris data training. Setiap selesai semua record digunakan untuk learning, berarti selesai proses learning untuk 1 iterasi/ epoch. AI - Pertemuan 8

29 Proses Pengujian JST Setelah JST melalui proses learning, maka dilakukan pengujian terhadap performa JST untuk mengklasifikasikan data testing. Proses testing hanya melibatkan proses perhitungan maju (feed forward), dan pada output layer dilakukan pembulatan nilai keluaran menjadi 0 atau 1. AI - Pertemuan 8