Week 2 Hebbian & Perceptron (Eka Rahayu S., M. Kom.)

Presentasi berjudul: "Week 2 Hebbian & Perceptron (Eka Rahayu S., M. Kom.)"— Transcript presentasi:

1 Week 2 Hebbian & Perceptron (Eka Rahayu S., M. Kom.)
Machine Learning Week 2 Hebbian & Perceptron (Eka Rahayu S., M. Kom.) © Sekolah Tinggi Teknik Surabaya

2 Sebelumnya... Linear Separable Non Linear Separable Perbedaan:
Arsitektur (jumlah layer) Gambar dalam diagram (Linear/ Non Linear) © Sekolah Tinggi Teknik Surabaya

3 Sebelumnya... Arsitektur [Umum Secara] Lengkap b W0 = bobot node bias
b = node bias Nilai node bias = 1 Yang perlu dicari adalah W untuk setiap node termasuk node bias ϴ tidak berubah. Yang berubah adalah bobotnya. X1 X2 X3 Xn Y1 W3 W2 W1 Wn . 1 W0 ϴ ditetapkan diawal dan tidak berubah © Sekolah Tinggi Teknik Surabaya

4 Sebelumnya... Σ Bagian Y dapat digambarkan sebagai berikut:
© Sekolah Tinggi Teknik Surabaya

5 Hard Threshold Peran Theta dalam Fungsi Aktivasi Misal ϴ=0.5 1 -1 f(x)
© Sekolah Tinggi Teknik Surabaya

6 Hebbian Initialisasi semua nilai bobot repeat for i=1 to n wi  0 b  0 Untuk setiap pasang input vektor training dan output target, lakukan step 3 – 6 Pengaturan setiap aktivasi untuk unit-unit input repeat for i=1 to n xi  si Pengaturan aktivasi untuk untuk unit output y  t Perbaikan semua nilai bobot repeat for i=1 to n wi(baru)  wi(lama) + xi * y Perbaikan nilai bobot bias W0(baru)  W0(lama) + (b * y) Selesai Δwi © Sekolah Tinggi Teknik Surabaya

7 Tracing Algorithm Kasus AND + * = = INPUT Target Perubahan Bobot Bobot
X1 X2 1 Y ΔW1 ΔW2 ΔW0 W1 W2 W0 Untuk satu set input  disebut 1 epoch 1 epoch, terdiri atas n iterasi + * = Initialisasi ----- = Output © Sekolah Tinggi Teknik Surabaya

8 Pembuktian Yin = (W0 * b) + (w1 * x1)+ (w2 * x2) = 1 * b + 1 * x1 + 1 * x2 = 1 + x1 + x2 x1 + x2+ 1 >= 0 x1 + x2+ 1 = 0 x1 = 0 atau x1 = -1 x2 = -1 x2 = 0 © Sekolah Tinggi Teknik Surabaya

9 Tetapi... x1 1 -1 x2 Ternyata: Garis yang terbentuk tidak berhasil memisahan nilai output 0 dan 1 © Sekolah Tinggi Teknik Surabaya

10 AND NOT ... Cobalah buat untuk menyelesaikan kasus yang AND NOT
© Sekolah Tinggi Teknik Surabaya

11 Jawaban INPUT Target Perubahan Bobot Bobot X1 X2 1 Y ΔW1 ΔW2 Δb W1 W2
© Sekolah Tinggi Teknik Surabaya

12 Pembuktian Yin = (1 * b) + (w1 * x1)+ (w2 * x2) = b + 1 * x1 + 0 * x2 = 1 + x1 x1 + 1 >= 0 x1 + 1 = 0 x1 = -1 x2 = 0 © Sekolah Tinggi Teknik Surabaya

13 Grafik x1 1 -1 x2 Ternyata: Garis yang terbentuk tidak berhasil memisahan nilai output 0 dan 1 © Sekolah Tinggi Teknik Surabaya

14 Representasi Input-Output
Binary: TRUE = 1 FALSE = 0 Bipolar: TRUE = +1 FALSE = -1 © Sekolah Tinggi Teknik Surabaya

15 AND dengan Bipolar INPUT Target Perubahan Bobot Bobot X1 X2 1 Y ΔW1
-1 2 -2 Bipolar hanya digunakan untuk representasi input-output saja © Sekolah Tinggi Teknik Surabaya

16 Pembuktian [Bipolar AND]
Yin = (1 * b) + (w1 * x1)+ (w2 * x2) = * x * x2 * x1 + 2 * x2 >= 0 * x1 + 2 * x2 = 0 x1 = atau x1 = 1 x2 = 1 x2 = 0 © Sekolah Tinggi Teknik Surabaya

17 Grafik ? x1 -1 1 +1 x2 -1 1 -1 Kalo ada yang tanya bagaimana hitung tetha-nya? Maka: lakukan pengecekan manual untuk setiap pasang input. Hal ini untuk membuktikan, yang paling penting adalah menentukan W. Sementara menentukan tetha jauh lebih mudah. Misal dari data diperoleh tadi bahwa: W1 : 2 W2 : 2 W0 : -2 Untuk   (-1*2)+(1*2)+(1*-2) = -2 Untuk   (1*2)+(-1*2)+(1*-2) = -2 Untuk   (1*2)+(1*2)+(1*-2) =  satu-satunya yang positive Untuk   (-1*2)+(-1*2)+(1*-2) = -6 -1 -1 © Sekolah Tinggi Teknik Surabaya

18 Perceptron Hebbian maupun Perceptron merupakan CARA BELAJAR, bukan arsitektur Arsitekturnya sama seperti Hebbian  [masih] satu layer Tujuan Perceptron: > Memperbaiki kegagalan Hebbian Learning > Mempersiapkan backpropagation © Sekolah Tinggi Teknik Surabaya

19 Contoh Kegagalan Hebbian
1 © Sekolah Tinggi Teknik Surabaya

20 Perbedaan Perbedaan Hebbian Perceptron Learning Rate Tidak Ada Ada
Epoch Single Epoch Multi Epoch Fungsi Aktivasi 2 respon {0,1} atau {-1,+1} 3 respon {-1,0,+1} Output Biner atau Bipolar Hanya Bipolar Mekanisme Perubahan Bobot Tanpa Syarat Bersyarat: Jika output yang dihasilkan beda dengan target Learning Rate: Mempengaruhi perubahan bobot Jika terlalu besar: perubahan bobot akan terlalu drastis Jika terlalu kecil, misal: 0 maka tidak terjadi perubahan bobot © Sekolah Tinggi Teknik Surabaya

21 Perceptron [1] Initialisasi semua nilai bobot dan bias repeat for i=1 to n wi  0 b  0 Pengaturan nilai Learning Rate α (0 < α <= 1) α  1 Selama belum mencapai kondisi berhenti, lakukan step 4 – 8 Untuk setiap pasang input vektor training dan output target, lakukan step 5 – 7 Pengaturan setiap aktivasi untuk unit-unit input repeat for i=1 to n xi  si © Sekolah Tinggi Teknik Surabaya

22 Perceptron [2] Perhitungan respon dari unit outputnya Yin  b + (Σ xi * wi) Y = Memperbaiki nilai-nilai bobot dan biasnya, jika terjadi error pada pola ini: IF y <> t THEN wi(baru)  wi(lama) + α t xi b(baru)  b(lama) + α t Periksa apakah kondisi berhenti telah tercapai Kondisi Berhenti = dalam 1 epoch tidak ada bobot yang berubah SELESAI +1, jika y_in > +ϴ 0, jika -ϴ < y_in < +ϴ -1, jika y_in < -ϴ © Sekolah Tinggi Teknik Surabaya

23 Contoh Perceptron AND dengan Perceptron Misal: α = 1 ϴ = 0,2
+1, jika y_in > +ϴ 0, jika -ϴ < y_in < +ϴ -1, jika y_in < -ϴ f(Y_in) α = 1 ϴ = 0,2 © Sekolah Tinggi Teknik Surabaya

24 Table Perhitungan Epoch 1 INPUT [Σ] Y_in [ ʃ ] f(Y_in) Target
Perubahan Bobot Bobot X1 X2 1 Y ΔW1 ΔW2 Δb W1 W2 b 2 -1 © Sekolah Tinggi Teknik Surabaya

25 Table Perhitungan Epoch 2 INPUT [Σ] Y_in [ ʃ ] f(Y_in) Target
Perubahan Bobot Bobot X1 X2 1 Y ΔW1 ΔW2 Δb W1 W2 b -1 -2 © Sekolah Tinggi Teknik Surabaya

26 Table Perhitungan Epoch 10 INPUT [Σ] Y_in [ ʃ ] f(Y_in) Target
Perubahan Bobot Bobot X1 X2 1 Y ΔW1 ΔW2 Δb W1 W2 b 2 3 -4 -2 -1 © Sekolah Tinggi Teknik Surabaya

27 Pembuktian Yin = (1 * b) + (w1 * x1)+ (w2 * x2) = -4 + 2 * x1 + 3 * x2
x1 = atau x1 = 2,1 x2 = 1,4 x2 = 0 * x1 + 3 * x2 < -ϴ * x1 + 3 * x2 < -0,2 -3,8 + 2 * x1 + 3 * x2 = 0 x1 = atau x1 = 1,9 x2 = 1,266 x2 = 0 © Sekolah Tinggi Teknik Surabaya

28 Kesimpulan Hebbian Learning ternyata tidak dapat menyelesaikan semua masalah Linear Separable Arsitektur dengan 1 layer tidak akan mungkin menyelesaikan masalah NON Linear Separable Perceptron dengan input bipolar akan lebih cepat Ketika menggunakan biner gagal, gunakanlah bipolar © Sekolah Tinggi Teknik Surabaya