Week 3 BackPropagation (Eka Rahayu S., M. Kom.)

Presentasi berjudul: "Week 3 BackPropagation (Eka Rahayu S., M. Kom.)"— Transcript presentasi:

1 Week 3 BackPropagation (Eka Rahayu S., M. Kom.)
Machine Learning Week 3 BackPropagation (Eka Rahayu S., M. Kom.) © Sekolah Tinggi Teknik Surabaya

2 Minggu Lalu... Hebbian Perceptron Hebbian ataupun Perceptron
Input Biner  Input Bipolar Tidak bisa menangani SEMUA permasalahan Linear Separable Perceptron Hebbian ataupun Perceptron Sama-sama merupakan cara belajar, bukan arsitektur Sama-sama menggunakan arsitektur 1 layer (tanpa hidden layer) Sama-sama tidak bisa menyelesaikan Non Linear Separable Saat gagal dengan representasi input biner, gunakan representasi input bipolar © Sekolah Tinggi Teknik Surabaya

3 Minggu Lalu... Perbedaan Hebbian Perceptron Learning Rate Tidak Ada
Epoch Single Epoch Multi Epoch Fungsi Aktivasi 2 respon {0,1} atau {-1,+1} 3 respon {-1,0,+1} Output Biner atau Bipolar Hanya Bipolar Mekanisme Perubahan Bobot Tanpa Syarat Bersyarat: Jika output yang dihasilkan beda dengan target © Sekolah Tinggi Teknik Surabaya

4 Backpropagation Supervised Learning 2 Tahap:
Training Testing Dapat mengatasi permasalahan Non Linear Separable Arsitektur 2 Layer [atau lebih] Mulai adanya hidden layer Supervised Learning Unsupervised Learning © Sekolah Tinggi Teknik Surabaya

5 Fungsi Aktivasi [1] Binary Sigmoid Function
Berbeda dengan Hebbian dan Perceptron, fungsi aktivasi yang digunakan dalam backpropagation sedikit berbeda. Fungsi aktivasinya dihitung melalui persamaan diatas untuk permasalahan yang memiliki target output antara 0-1 © Sekolah Tinggi Teknik Surabaya

6 Fungsi Aktivasi [2] Bipolar Sigmoid Function
Fungsi aktivasinya dihitung melalui persamaan diatas untuk permasalahan yang memiliki target output antara © Sekolah Tinggi Teknik Surabaya

7 Contoh Arsitektur Backpropagation
Laurene Fausett, Fundamentals of Neural Networks: Architecture, Algorithms, and Applications © Sekolah Tinggi Teknik Surabaya

8 3 Langkah : Data dimasukkan ke input jaringan (feedforward)
Perhitungan propagasi balik dari error yang bersangkutan Pembaharuan (adjustment) bobot dan bias © Sekolah Tinggi Teknik Surabaya

9 Simbol-Simbol [1] x Data training untuk input x = (x1 , ..., xi , ...., xn)  i -- n t Data training untuk output (target) t = (t1 , ..., tk , ...., tm)  k-- m α Learning Rate (biasanya antara 0-1) z Hidden Unit z = (z1 , ..., zj , ...., zp)  j -- p v Bobot untuk unit hidden dinyatakan dalam vij dimana i : index input; j: index hidden sehingga v13 artinya bobot dari input 1 yang mengarah ke hidden yang ke 3 © Sekolah Tinggi Teknik Surabaya

10 Simbol-Simbol [2] Y Unit output Y = (Y1 , ..., Yk , ...., Ym)  k– m w Bobot untuk unit output dinyatakan dalam wjk dimana j : index hidden; k: index output sehingga w21 artinya bobot dari hidden ke-2 yang mengarah ke output yang ke 1 Bias dinyatakan sebagai node yang ke-0 sehingga w02 artinya bobot bias hidden layer ke output yang ke-2. (begitu juga untuk v) δk Faktor koreksi error untuk bobot wjk δj Faktor koreksi error untuk bobot vij © Sekolah Tinggi Teknik Surabaya

11 Letak Simbol (feedforward)
. x1 xi xn 1 z1 zj zp v01 v11 v1j vnp vij Y1 Yk Ym w01 w11 w1k wjk wpm © Sekolah Tinggi Teknik Surabaya

12 Letak Simbol (feedforward)
. x1 xi xn 1 z1 zj zp v01 v11 Y1 Yk Ym w01 w11 Zin1 Yin1 vj1 vn1 © Sekolah Tinggi Teknik Surabaya

13 Letak Simbol (backprop)
. x1 xi xn 1 z1 zj zp v01 v11 Y1 Yk Ym w01 w11 δ1 δin1 w1k δ2 w1m δ3 © Sekolah Tinggi Teknik Surabaya

14 Algoritma 0. Inisialisasi semua nilai bobot dan bias
WHILE NOT stoping condition, lakukan step 2 - 8 Untuk setiap data training, lakukan step 3 – 8 FEEDFORWARD: Isi nilai x Hitung z_inj dan zj Hitung y_ink dan yk PROPAGATION ERROR: Hitung δk dan Δwjk Hitung δ_inj dan Δvij PERBARUAN BOBOT dan BIAS: Menghitung w dan v baru © Sekolah Tinggi Teknik Surabaya

15 Nilai bobot adalah bilangan random
Step 0 0. Inisialisasi semua nilai bobot dan bias WHILE NOT stoping condition, lakukan step 2 - 9 Untuk setiap data training, lakukan step 3 – 8 FEEDFORWARD: Isi nilai x Hitung z_inj dan zj Hitung y_ink dan yk PROPAGATION ERROR: Hitung δk dan Δwjk Hitung δ_inj dan Δvij PERBARUAN BOBOT dan BIAS: Menghitung w dan v baru Memeriksa stoping condition Nilai bobot adalah bilangan random antara 0 s/d 1 atau -1 s/d 1 © Sekolah Tinggi Teknik Surabaya

16 Step 1 Stoping condition:
0. Inisialisasi semua nilai bobot dan bias WHILE NOT stoping condition, lakukan step 2 - 8 Untuk setiap data training, lakukan step 3 – 8 FEEDFORWARD: Isi nilai x Hitung z_inj dan zj Hitung y_ink dan yk PROPAGATION ERROR: Hitung δk dan Δwjk Hitung δ_inj dan Δvij PERBARUAN BOBOT dan BIAS: Menghitung w dan v baru Memeriksa stoping condition Stoping condition: Dengan melakukan pembatasan jumlah iterasi (epoch) Dengan memberikan batasan error Bisa dengan mean square error (error rata-rata) © Sekolah Tinggi Teknik Surabaya

17 Step 4  Fungsi Aktivasi 0. Inisialisasi semua nilai bobot dan bias
WHILE NOT stoping condition, lakukan step 2 - 8 Untuk setiap data training, lakukan step 3 – 8 FEEDFORWARD: Isi nilai x Hitung z_inj dan zj Hitung y_ink dan yk PROPAGATION ERROR: Hitung δk dan Δwjk Hitung δ_inj dan Δvij PERBARUAN BOBOT dan BIAS: Menghitung w dan v baru Memeriksa stoping condition  Fungsi Aktivasi © Sekolah Tinggi Teknik Surabaya

18 Step 5 Fungsi Aktivasi yang sama dengan step 4
0. Inisialisasi semua nilai bobot dan bias WHILE NOT stoping condition, lakukan step 2 - 8 Untuk setiap data training, lakukan step 3 – 8 FEEDFORWARD: Isi nilai x Hitung z_inj dan zj Hitung y_ink dan yk PROPAGATION ERROR: Hitung δk dan Δwjk Hitung δ_inj dan Δvij PERBARUAN BOBOT dan BIAS: Menghitung w dan v baru Memeriksa stoping condition Fungsi Aktivasi yang sama dengan step 4 © Sekolah Tinggi Teknik Surabaya

19 Step 6 0. Inisialisasi semua nilai bobot dan bias
WHILE NOT stoping condition, lakukan step 2 - 8 Untuk setiap data training, lakukan step 3 – 8 FEEDFORWARD: Isi nilai x Hitung z_inj dan zj Hitung y_ink dan yk PROPAGATION ERROR: Hitung δk dan Δwjk Hitung δ_inj dan Δvij PERBARUAN BOBOT dan BIAS: Menghitung w dan v baru Memeriksa stoping condition © Sekolah Tinggi Teknik Surabaya

20 Step 7 0. Inisialisasi semua nilai bobot dan bias
WHILE NOT stoping condition, lakukan step 2 - 9 Untuk setiap data training, lakukan step 3 – 8 FEEDFORWARD: Isi nilai x Hitung z_inj dan zj Hitung y_ink dan yk PROPAGATION ERROR: Hitung δk dan Δwjk Hitung δ_inj dan Δvij PERBARUAN BOBOT dan BIAS: Menghitung w dan v baru Memeriksa stoping condition © Sekolah Tinggi Teknik Surabaya

21 Step 8 0. Inisialisasi semua nilai bobot dan bias
WHILE NOT stoping condition, lakukan step 2 - 9 Untuk setiap data training, lakukan step 3 – 8 FEEDFORWARD: Isi nilai x Hitung z_inj dan zj Hitung y_ink dan yk PROPAGATION ERROR: Hitung δk dan Δwjk Hitung δ_inj dan Δvij PERBARUAN BOBOT dan BIAS: Menghitung w dan v baru Memeriksa stoping condition © Sekolah Tinggi Teknik Surabaya

22 Contoh Aplikasi  XOR Input 1 Input 2 output 1 v01 = 1.718946
1 v01 = v11 = v21 = α = 0.01 E = 0.41 w01 = w11 = 1 x1 x2 z1 Y1 v01 v11 v21 w01 w11 © Sekolah Tinggi Teknik Surabaya

23 Algoritma Sejenis Algoritma sejenis: Boltzmann Machine Hopfield Net
Gaussian Machine Cauchy Machine etc. © Sekolah Tinggi Teknik Surabaya