Back-Propagation Pertemuan 5 Matakuliah : T0293/Neuro Computing Tahun : 2005 Back-Propagation Pertemuan 5

Konsep Dasar BP Solusi dari keterbatasan single-layer network Penemuan algoritma BP merupakan kebangkitan kembali paradigma “ neural computing “. Nama-nama scientist yang memberi kontribusi terhadap pengembangan BP  Rumelhart, Hinton dan Williams (1986) Parker (1982) Werbos (1974)

Artificial Neuron with Activation Function Konfigurasi Networks (BP) Model Neuron Artificial Neuron with Activation Function  F NET OUTET OUT = 1 / ( 1 + e -NET ) NET = O1 W1 + O2 W2 + ... + On Wn =  Oi Wi OUT = F ( NET ) W1 W2 Wn O1 O2 On

Sigmoidal Activation Function Ada beberapa fungsi yang dapat digunakan; Algoritma BP memerlukan fungsi yang bersifat ‘differentiable’ NET OUT OUT = F(NET)1 / ( 1 + e -NET ) F’ (NET) =  OUT = OUT (1-OUT)  NET 0.5

Model Multilayer Networks Model berikut adalah contoh multilayer networks yang sesuai untuk diterapkan dengan algoritma BP

Two-Layer Backpropagation Network INPUT LAYER k TARGET1 TARGET2 TARGETn OUTn OUT2 OUT1 W11 W22 W3m W2m W12 ERROR1 ERROR2 ERRORn HIDDEN j Two-Layer Backpropagation Network

Network Training Langkah-langkah Training   Pilih “ training pair “ ( berikutnya ); aplikasikan vektor input ke dalam network Hitung output dari networks. Hitung error antara “ actual output “ dengan ‘target output’. Sesuaikan bobot dengan cara meminimumkan error. Ulangi 1 sampai dengan 4 untuk setiap vektor dalam ‘ training set ’.

Forward Pass O = F ( X W ) dimana O adalah vektor output.   dimana O adalah vektor output. Vektor output dari suatu layer merupakan vektor input dari layer berikutnya. Dengan demikian perhitungan output akhir dari networks dilakukan perhitungan dengan rumus di atas pada setiap layer

Reverse Pass Penyesuaian bobot pada ‘ output layer ’ :  = OUT (1-OUT) (Target-OUT)  Wpq,k =  q,k OUTp,j Wpq,k (n+1) = Wpq,k (n) +  Wpq,k

dimana Wpq,k (n) = nilai bobot dari neuron p pada ‘hidden layer’ ke neuron q pada ‘output layer’ pada langkah ke-n; subscript k menunjukkan bahwa bobot berkaitan dengan ‘destination layer’ Wpq,k (n+1) = nilai bobot pada langkah ke n+1 q,k = nilai  untuk neuron q pada ‘output layer’ ke k OUTp,,j = nilai OUT untuk neuron p pada ‘hidden layer’ j   Catatan: Penyesuaian bobot pada hidden layer p,,j = OUTp,,j (1- OUTp,,j) (q,k Wpq,k)