Back-Propagation Pertemuan 5

Presentasi berjudul: "Back-Propagation Pertemuan 5"— Transcript presentasi:

1 Back-Propagation Pertemuan 5
Matakuliah : T0293/Neuro Computing Tahun : 2005 Back-Propagation Pertemuan 5

2 Konsep Dasar BP Solusi dari keterbatasan single-layer network
Penemuan algoritma BP merupakan kebangkitan kembali paradigma “ neural computing “. Nama-nama scientist yang memberi kontribusi terhadap pengembangan BP  Rumelhart, Hinton dan Williams (1986) Parker (1982) Werbos (1974)

3 Artificial Neuron with Activation Function
Konfigurasi Networks (BP) Model Neuron Artificial Neuron with Activation Function  F NET OUTET OUT = 1 / ( 1 + e -NET ) NET = O1 W1 + O2 W On Wn =  Oi Wi OUT = F ( NET ) W1 W2 Wn O1 O2 On

4 Sigmoidal Activation Function
Ada beberapa fungsi yang dapat digunakan; Algoritma BP memerlukan fungsi yang bersifat ‘differentiable’ NET OUT OUT = F(NET)1 / ( 1 + e -NET ) F’ (NET) =  OUT = OUT (1-OUT)  NET 0.5

5 Model Multilayer Networks
Model berikut adalah contoh multilayer networks yang sesuai untuk diterapkan dengan algoritma BP

6 Two-Layer Backpropagation Network
INPUT LAYER k TARGET1 TARGET2 TARGETn OUTn OUT2 OUT1 W11 W22 W3m W2m W12 ERROR1 ERROR2 ERRORn HIDDEN j Two-Layer Backpropagation Network

7 Network Training Langkah-langkah Training
Pilih “ training pair “ ( berikutnya ); aplikasikan vektor input ke dalam network Hitung output dari networks. Hitung error antara “ actual output “ dengan ‘target output’. Sesuaikan bobot dengan cara meminimumkan error. Ulangi 1 sampai dengan 4 untuk setiap vektor dalam ‘ training set ’.

8 Forward Pass O = F ( X W ) dimana O adalah vektor output.
dimana O adalah vektor output. Vektor output dari suatu layer merupakan vektor input dari layer berikutnya. Dengan demikian perhitungan output akhir dari networks dilakukan perhitungan dengan rumus di atas pada setiap layer

9 Reverse Pass Penyesuaian bobot pada ‘ output layer ’ :
 = OUT (1-OUT) (Target-OUT)  Wpq,k =  q,k OUTp,j Wpq,k (n+1) = Wpq,k (n) +  Wpq,k

10 dimana Wpq,k (n) = nilai bobot dari neuron p pada ‘hidden layer’ ke neuron q pada ‘output layer’ pada langkah ke-n; subscript k menunjukkan bahwa bobot berkaitan dengan ‘destination layer’ Wpq,k (n+1) = nilai bobot pada langkah ke n+1 q,k = nilai  untuk neuron q pada ‘output layer’ ke k OUTp,,j = nilai OUT untuk neuron p pada ‘hidden layer’ j Catatan: Penyesuaian bobot pada hidden layer p,,j = OUTp,,j (1- OUTp,,j) (q,k Wpq,k)