MLP Feed-Forward Back Propagation Neural Net

Presentasi berjudul: "MLP Feed-Forward Back Propagation Neural Net"— Transcript presentasi:

1 MLP Feed-Forward Back Propagation Neural Net
Nurochman

2 Multi-Layer Perceptron
Marvin Minsky dan Seymour Papert dlm buku: “Perceptrons: Introduction to Computational Geometry” (1969) ttg kelebihan dan keterbatasan Single Layer Perceptron SLP tidak mampu pola-pola yg secara linier tdk dapat dipisahkan Contoh kasus XOR tdk bisa dg SLP Solusi: menambahkan lapisan tengah/tersembunyi (hidden layer) SLP mengenal AND, OR, NOT X1 XOR X2: (NOT (X1 AND X2)) AND (X1 OR X2)

3 (NOT (X1 AND X2)) AND (X1 OR X2)
Solusi XOR (NOT (X1 AND X2)) AND (X1 OR X2) NOT X1 OR X2 X1 AND X2 X2 X1

4 Arsitektur MLP x1 xn

5 Algoritma BackPropagation
Inisialisasi bobot-bobot tentukan laju pembelajaran (α) tentukan nilai ambang/ nilai toleransi (𝛉) atau tentukan epoch maksimal While kondisi berhenti tdk terpenuhi do langah 3 – 10 Untuk setiap pasangan pola pelatihan, lakukan langkah 4 – 9 Tahap umpan maju Setiap unit input Xi dari i=1 sampai n mengirim sinyal ke lapisan tersembunyi

6 Menghitung sinyal output pada lapisan tersembunyi
Menghitung sinyal output pada lapisan output Tahap propagasi balik Menghitung error pada lapisan output, menghitung besar koreksi bobot dan bias antara lapisan tersembunyi dan output

7 Menghitung error pada lapisan tersembunyi, menghitung besar koreksi bobot dan bias antara lapisan input dan tersembunyi

8 Tahap update bobot dan bias
Update bobot dari lapisan tersembunyi ke lapisan output Update bobot dari lapisan input ke lapisan tersembunyi Tes kondisi berhenti

9 Fungsi Aktivasi Fungsi Sigmoid Biner Fungsi Sigmoid Bipolar
Fungsi Tangen Hiperbolik

10 Fungsi Sigmoid Biner Dengan turunan:

11 Fungsi Sigmoid Bipolar
Dengan turunan:

12 Fungsi Tangen Hiperbolik
Dengan turunan:

13 Inisialisasi Nguyen-Widrow
Insialisasi bobot dan bias umumnya acak dan memiliki interval (-𝛄 dan 𝛄) Inisialisasi acak membuat waktu pembelajaran relatif lama Inisialisasi nguyen-widrow akan membuat waktu pembelajaran lebih cepat Bias dan bobot dari unit tersembunyi ke unit output tetap diinisialisasi acak

14 Faktor Skala Nguyen-Widrow (𝛃)
n = banyak unit input p = banyak unit tersembunyi 𝛃 = faktor skala

15 Prosedur inisialisasi Nguyen-Widrow
Untuk setiap unit tersembunyi dari unit ke-1 sampai unit ke-p: Inisialisasi vektor bobot dari unit2 input ke unit2 tersembunyi (j=1…p) dg cara: Menentukan bobot2 antara unit input ke unit tersembunyi (Vij) Vij (lama) = bil acak antara -𝛃 dan 𝛃 Menghitung ||Vij|| Menginisialisasi kembali Vij

16 Update bobot dg Momentum
Mempercepat proses pelatihan Proses perubahan bobot terus bergerak, shg tdk terjebak pd minimum lokal

17 Y1 Y2 X1 Z1 ……………………….. Y3 Z2 Y4 Z3 X15 Y5

18 Huruf A ( )

19 Any Questions?