MLP Feed-Forward Back Propagation Neural Net Nurochman

Multi-Layer Perceptron Marvin Minsky dan Seymour Papert dlm buku: “Perceptrons: Introduction to Computational Geometry” (1969) ttg kelebihan dan keterbatasan Single Layer Perceptron SLP tidak mampu pola-pola yg secara linier tdk dapat dipisahkan Contoh kasus XOR tdk bisa dg SLP Solusi: menambahkan lapisan tengah/tersembunyi (hidden layer) SLP mengenal AND, OR, NOT X1 XOR X2: (NOT (X1 AND X2)) AND (X1 OR X2)

(NOT (X1 AND X2)) AND (X1 OR X2) Solusi XOR (NOT (X1 AND X2)) AND (X1 OR X2) NOT X1 OR X2 X1 AND X2 X2 X1

Arsitektur MLP x1 xn

Algoritma BackPropagation Inisialisasi bobot-bobot tentukan laju pembelajaran (α) tentukan nilai ambang/ nilai toleransi (𝛉) atau tentukan epoch maksimal While kondisi berhenti tdk terpenuhi do langah 3 – 10 Untuk setiap pasangan pola pelatihan, lakukan langkah 4 – 9 Tahap umpan maju Setiap unit input Xi dari i=1 sampai n mengirim sinyal ke lapisan tersembunyi

Menghitung sinyal output pada lapisan tersembunyi Menghitung sinyal output pada lapisan output Tahap propagasi balik Menghitung error pada lapisan output, menghitung besar koreksi bobot dan bias antara lapisan tersembunyi dan output

Menghitung error pada lapisan tersembunyi, menghitung besar koreksi bobot dan bias antara lapisan input dan tersembunyi

Tahap update bobot dan bias Update bobot dari lapisan tersembunyi ke lapisan output Update bobot dari lapisan input ke lapisan tersembunyi Tes kondisi berhenti

Fungsi Aktivasi Fungsi Sigmoid Biner Fungsi Sigmoid Bipolar Fungsi Tangen Hiperbolik

Fungsi Sigmoid Biner Dengan turunan:

Fungsi Sigmoid Bipolar Dengan turunan:

Fungsi Tangen Hiperbolik Dengan turunan:

Inisialisasi Nguyen-Widrow Insialisasi bobot dan bias umumnya acak dan memiliki interval (-𝛄 dan 𝛄) Inisialisasi acak membuat waktu pembelajaran relatif lama Inisialisasi nguyen-widrow akan membuat waktu pembelajaran lebih cepat Bias dan bobot dari unit tersembunyi ke unit output tetap diinisialisasi acak

Faktor Skala Nguyen-Widrow (𝛃) n = banyak unit input p = banyak unit tersembunyi 𝛃 = faktor skala

Prosedur inisialisasi Nguyen-Widrow Untuk setiap unit tersembunyi dari unit ke-1 sampai unit ke-p: Inisialisasi vektor bobot dari unit2 input ke unit2 tersembunyi (j=1…p) dg cara: Menentukan bobot2 antara unit input ke unit tersembunyi (Vij) Vij (lama) = bil acak antara -𝛃 dan 𝛃 Menghitung ||Vij|| Menginisialisasi kembali Vij

Update bobot dg Momentum Mempercepat proses pelatihan Proses perubahan bobot terus bergerak, shg tdk terjebak pd minimum lokal

Y1 Y2 X1 Z1 ……………………….. Y3 Z2 Y4 Z3 X15 Y5

Huruf A (010101111101101)

Any Questions?