Ir. Endang Sri Rahayu, M.Kom. BACKPROPAGATION Ir. Endang Sri Rahayu, M.Kom.

Kelemahan NN dg Layer Tunggal : Terbatas dalam pengenalan pola SOLUSI : Menambahkan 1 atau lebih hidden layer Kelemahan Solusi ini : Pelatihan memerlukan waktu lama, jadi : Tambahkan 1 hidden layer terlebih dulu Gunanya Proses Pelatihan Untuk mendapatkan keseimbangan antara kemampuan jaringan untuk mengenali pola yang digunakan selama pelatihan Agar jaringan mampu memberikan respon yang benar terhadap pola masukan serupa dg pola yang dipakai selama pelatihan

Arsitektur Backpropagation n unit input, dg 1 bias 1 hidden layer dg p unit, dan 1 bias m unit output Setiap garis penghubung memiliki bobot Y1 Yk Ym 1 Zp Z1 Zj 1 Xi Xn X1

Fungsi Aktivasi 1 f(x)= 1+ e-x Dg turunan : f’(x) = f(x) (1-f(x)) Syarat : Kontinu Terdiferensial dg mudah Merupakan fungsi yang tidak turun  FUNGSI SIGMOID BINER dg range (0,1) 1 f(x)= 1 1+ e-x f(x) 0,5 Dg turunan : f’(x) = f(x) (1-f(x))

Pelatihan Standar Backpropagation Fase I : Propagasi maju Pola masukan dihitung maju mulai dari input layer hingga output layer menggunakan fungsi aktivasi yang ditentukan Fase II : Propagasi mundur Selisih antara keluaran jaringan dg target yang diinginkan merupakan kesalahan. Kesalahan tersebut dipropagasikan mundur. Fase III : Perubahan Bobot Modifikasi bobot untuk menurunkan kesalahan yang terjadi Iterasi akan dihentikan jika jumlah iterasi melebihi jumlah maksimum iterasi yang ditetapkan, atau jika kesalahan sudah lebih kecil dari batas toleransi yang diijinkan.

Optimasi Arsitektur Backpropagation Masalah utama : Lamanya iterasi yg dilakukan, parameter yang diperhatikan agar iterasi relatih lebih sedikit : Pemilihan bobot dan bias awal Jumlah Unit tersembunyi Jumlah Pola Pelatihan Lama Iterasi

Pemilihan Bobot dan Bias Awal metode : Nguyen Widrow n = jml input unit p = jml hidden unit β = faktor skala = 0,7 √p Algoritma : Inisialisasi bobot vji (lama) dg bil acak antara [-0,5, 0,5) ||vj|| = √ v2j1+v2j2+ … Bobot vji= β vji(lama) / ||vj|| Bias = vjo = bilangan acak antar -β dan β Contoh : Buatlah bobot awal ke hidden unit menggunakan modifikasi bobot Nguyen Widrow z1 z2 z3 x1 0,2 0,3 -0,1 x2 0,3 0,1 -0,1 1 -0,3 0,3 0,3

Penyelesaian β = 0,7 √3 = 1,21 ||v1|| = √ v211 + v212 = √ 0,22 + 0,32 = 0,36 ||v2|| = √ v221 + v222 = √ 0,32 + 0,12 = 0,32 ||v3|| = √ v231 + v232 = √ -0,12 + -0,12 = 0,14 z1 z2 z3 x1 (1,21*0,2)/0,36 (1,21*0,3)/0,32 (1,21*(-0,1))/0,14 =0,67 = 1,13 =0,86 x2 (1,21*0,3)/0,36 (1,21*0,1)/0,32 (1,21*(-0,1))/0,14 =1 =0,38 =0,86 Bias yang dipakai adalah bilangan acak antara -1,21 hingga 1,21

Variasi Backpropagation Momentum Modifikasi dg melakukan perubahan bobot yg didasarkan atas gradien pola terakhir dan sebelumnya Delta – Bar – Delta Modifikasi dg memberikan learning rate (α) berbeda dalam setiap bobot (bahkan bisa dalam tiap iterasi) Perubahan Bobot Berkelompok Mengubah bobot sekaligus setealah semua pola dimasukkan

Aplikasi Backpropagation dalam Peramalan (forecasting) Contoh kasus : Dalam penjualan barang diketahui record data penjualan suatu produk pada beberapa bulan/tahun terakhir : Masalah : Memperkirakan berapa produk terjual dalam bulan/tahun mendatang