Week 2 Hebbian & Perceptron (Eka Rahayu S., M. Kom.) Machine Learning Week 2 Hebbian & Perceptron (Eka Rahayu S., M. Kom.) © Sekolah Tinggi Teknik Surabaya

Sebelumnya... Linear Separable Non Linear Separable Perbedaan: Arsitektur (jumlah layer) Gambar dalam diagram (Linear/ Non Linear) © Sekolah Tinggi Teknik Surabaya

Sebelumnya... Arsitektur [Umum Secara] Lengkap b W0 = bobot node bias b = node bias Nilai node bias = 1 Yang perlu dicari adalah W untuk setiap node termasuk node bias ϴ tidak berubah. Yang berubah adalah bobotnya. X1 X2 X3 Xn Y1 W3 W2 W1 Wn . 1 W0 ϴ ditetapkan diawal dan tidak berubah © Sekolah Tinggi Teknik Surabaya

Sebelumnya... Σ Bagian Y dapat digambarkan sebagai berikut: © Sekolah Tinggi Teknik Surabaya

Hard Threshold Peran Theta dalam Fungsi Aktivasi Misal ϴ=0.5 1 -1 f(x) © Sekolah Tinggi Teknik Surabaya

Hebbian Initialisasi semua nilai bobot repeat for i=1 to n wi  0 b  0 Untuk setiap pasang input vektor training dan output target, lakukan step 3 – 6 Pengaturan setiap aktivasi untuk unit-unit input repeat for i=1 to n xi  si Pengaturan aktivasi untuk untuk unit output y  t Perbaikan semua nilai bobot repeat for i=1 to n wi(baru)  wi(lama) + xi * y Perbaikan nilai bobot bias W0(baru)  W0(lama) + (b * y) Selesai Δwi © Sekolah Tinggi Teknik Surabaya

Tracing Algorithm Kasus AND + * = = INPUT Target Perubahan Bobot Bobot X1 X2 1 Y ΔW1 ΔW2 ΔW0 W1 W2 W0 Untuk satu set input  disebut 1 epoch 1 epoch, terdiri atas n iterasi + * = Initialisasi ----- = Output © Sekolah Tinggi Teknik Surabaya

Pembuktian Yin = (W0 * b) + (w1 * x1)+ (w2 * x2) = 1 * b + 1 * x1 + 1 * x2 = 1 + x1 + x2 x1 + x2+ 1 >= 0 x1 + x2+ 1 = 0 x1 = 0 atau x1 = -1 x2 = -1 x2 = 0 © Sekolah Tinggi Teknik Surabaya

Tetapi... x1 1 -1 x2 Ternyata: Garis yang terbentuk tidak berhasil memisahan nilai output 0 dan 1 © Sekolah Tinggi Teknik Surabaya

AND NOT ... Cobalah buat untuk menyelesaikan kasus yang AND NOT © Sekolah Tinggi Teknik Surabaya

Jawaban INPUT Target Perubahan Bobot Bobot X1 X2 1 Y ΔW1 ΔW2 Δb W1 W2 © Sekolah Tinggi Teknik Surabaya

Pembuktian Yin = (1 * b) + (w1 * x1)+ (w2 * x2) = b + 1 * x1 + 0 * x2 = 1 + x1 x1 + 1 >= 0 x1 + 1 = 0 x1 = -1 x2 = 0 © Sekolah Tinggi Teknik Surabaya

Grafik x1 1 -1 x2 Ternyata: Garis yang terbentuk tidak berhasil memisahan nilai output 0 dan 1 © Sekolah Tinggi Teknik Surabaya

Representasi Input-Output Binary: TRUE = 1 FALSE = 0 Bipolar: TRUE = +1 FALSE = -1 © Sekolah Tinggi Teknik Surabaya

AND dengan Bipolar INPUT Target Perubahan Bobot Bobot X1 X2 1 Y ΔW1 -1 2 -2 Bipolar hanya digunakan untuk representasi input-output saja © Sekolah Tinggi Teknik Surabaya

Pembuktian [Bipolar AND] Yin = (1 * b) + (w1 * x1)+ (w2 * x2) = -2 + 2 * x1 + 2 * x2 -2 + 2 * x1 + 2 * x2 >= 0 -2 + 2 * x1 + 2 * x2 = 0 x1 = 0 atau x1 = 1 x2 = 1 x2 = 0 © Sekolah Tinggi Teknik Surabaya

Grafik ? x1 -1 1 +1 x2 -1 1 -1 Kalo ada yang tanya bagaimana hitung tetha-nya? Maka: lakukan pengecekan manual untuk setiap pasang input. Hal ini untuk membuktikan, yang paling penting adalah menentukan W. Sementara menentukan tetha jauh lebih mudah. Misal dari data diperoleh tadi bahwa: W1 : 2 W2 : 2 W0 : -2 Untuk 0 1  -1 1  (-1*2)+(1*2)+(1*-2) = -2 Untuk 1 0  1 -1  (1*2)+(-1*2)+(1*-2) = -2 Untuk 1 1  1 1  (1*2)+(1*2)+(1*-2) = 2  satu-satunya yang positive Untuk 0 0  -1 -1  (-1*2)+(-1*2)+(1*-2) = -6 -1 -1 © Sekolah Tinggi Teknik Surabaya

Perceptron Hebbian maupun Perceptron merupakan CARA BELAJAR, bukan arsitektur Arsitekturnya sama seperti Hebbian  [masih] satu layer Tujuan Perceptron: > Memperbaiki kegagalan Hebbian Learning > Mempersiapkan backpropagation © Sekolah Tinggi Teknik Surabaya

Contoh Kegagalan Hebbian 1 © Sekolah Tinggi Teknik Surabaya

Perbedaan Perbedaan Hebbian Perceptron Learning Rate Tidak Ada Ada Epoch Single Epoch Multi Epoch Fungsi Aktivasi 2 respon {0,1} atau {-1,+1} 3 respon {-1,0,+1} Output Biner atau Bipolar Hanya Bipolar Mekanisme Perubahan Bobot Tanpa Syarat Bersyarat: Jika output yang dihasilkan beda dengan target Learning Rate: Mempengaruhi perubahan bobot Jika terlalu besar: perubahan bobot akan terlalu drastis Jika terlalu kecil, misal: 0 maka tidak terjadi perubahan bobot © Sekolah Tinggi Teknik Surabaya

Perceptron [1] Initialisasi semua nilai bobot dan bias repeat for i=1 to n wi  0 b  0 Pengaturan nilai Learning Rate α (0 < α <= 1) α  1 Selama belum mencapai kondisi berhenti, lakukan step 4 – 8 Untuk setiap pasang input vektor training dan output target, lakukan step 5 – 7 Pengaturan setiap aktivasi untuk unit-unit input repeat for i=1 to n xi  si © Sekolah Tinggi Teknik Surabaya

Perceptron [2] Perhitungan respon dari unit outputnya Yin  b + (Σ xi * wi) Y = Memperbaiki nilai-nilai bobot dan biasnya, jika terjadi error pada pola ini: IF y <> t THEN wi(baru)  wi(lama) + α t xi b(baru)  b(lama) + α t Periksa apakah kondisi berhenti telah tercapai Kondisi Berhenti = dalam 1 epoch tidak ada bobot yang berubah SELESAI +1, jika y_in > +ϴ 0, jika -ϴ < y_in < +ϴ -1, jika y_in < -ϴ © Sekolah Tinggi Teknik Surabaya

Contoh Perceptron AND dengan Perceptron Misal: α = 1 ϴ = 0,2 +1, jika y_in > +ϴ 0, jika -ϴ < y_in < +ϴ -1, jika y_in < -ϴ f(Y_in) α = 1 ϴ = 0,2 © Sekolah Tinggi Teknik Surabaya

Table Perhitungan Epoch 1 INPUT [Σ] Y_in [ ʃ ] f(Y_in) Target Perubahan Bobot Bobot X1 X2 1 Y ΔW1 ΔW2 Δb W1 W2 b 2 -1 © Sekolah Tinggi Teknik Surabaya

Table Perhitungan Epoch 2 INPUT [Σ] Y_in [ ʃ ] f(Y_in) Target Perubahan Bobot Bobot X1 X2 1 Y ΔW1 ΔW2 Δb W1 W2 b -1 -2 © Sekolah Tinggi Teknik Surabaya

Table Perhitungan Epoch 10 INPUT [Σ] Y_in [ ʃ ] f(Y_in) Target Perubahan Bobot Bobot X1 X2 1 Y ΔW1 ΔW2 Δb W1 W2 b 2 3 -4 -2 -1 © Sekolah Tinggi Teknik Surabaya

Pembuktian Yin = (1 * b) + (w1 * x1)+ (w2 * x2) = -4 + 2 * x1 + 3 * x2 x1 = 0 atau x1 = 2,1 x2 = 1,4 x2 = 0 -4 + 2 * x1 + 3 * x2 < -ϴ -4 + 2 * x1 + 3 * x2 < -0,2 -3,8 + 2 * x1 + 3 * x2 = 0 x1 = 0 atau x1 = 1,9 x2 = 1,266 x2 = 0 © Sekolah Tinggi Teknik Surabaya

Kesimpulan Hebbian Learning ternyata tidak dapat menyelesaikan semua masalah Linear Separable Arsitektur dengan 1 layer tidak akan mungkin menyelesaikan masalah NON Linear Separable Perceptron dengan input bipolar akan lebih cepat Ketika menggunakan biner gagal, gunakanlah bipolar © Sekolah Tinggi Teknik Surabaya