Arsitektur Neural Network Pertemuan 2 Matakuliah : T0293/Neuro Computing Tahun : 2005 Arsitektur Neural Network Pertemuan 2

Single-Layered Networks Walaupun sebuah neuron (tunggal) mampu melakukan fungsi deteksi pola sederhana, kemampuan komputasi berasal dari koneksi sejumlah neuron menjadi satu kesatuan jaringan (neural networks)  Y1 Y2 Yn X2 Xn X1 W

Weight-weight pada neural networks dapat dipandang sebagai elemen-elemen suatu matriks W Dimensi adalah m x n, dimana m adalah sejumlah input dan n jumlah neuron Sebagai contoh, bobot yang menghubungkan input ketiga dengan neuron yang kedua adalah W3.2. Dengan demikian, untuk melakukan perhitungan output suatu jaringan merupakan perkalian matrik N = X W, dimana N dan X adalah vector baris

Nonlinear Activation Function Multilayer Networks Nonlinear Activation Function Multilayer networks tidak akan lebih meningkat kemampuan komputasinya dibendingkan dengan ‘Single layer network’, kecuali jika ada ’Non-linear Activation Function’ diantara layer- layer. Menghitung output dari sebuah layer yaitu dengan mengalikan vektor input dengan matrik bobot yang pertama. Kemudian, jika tidak ada ‘Non-linear Activation Function’, mengalikan hasilnya (vektor) dengan matrik bobot yahng kedua.

Perhitungan diatas dapat diekspresi-kan sebagai berikut :   (X W1) W2 Karena perkalian matrik bersifat associative, maka perhitungan diatas dapat ditulis sebagai berikut: X(W1 W1) 

Hal ini menunjukkan bahwa ‘Two-layer linear network’ persis sama / ekivalen dengan ‘single layer network’ yang memiliki matrik bobot yang merupakan perkalian dua buah matrik bobot. Dengan demikian, setiap ‘multi-layer network’ dapat dirubah / digantikan fungsinya oleh ‘single-layer network’.  Dalam kuliah selanjutnya akan dibahas bahwa ‘single-layer network’ memiliki kemampuan komputasi yang sangat terbatas. Dengan demikian, ’non-linear activation function’ merupakan sesuatu yang sangat vital terhadap perkembangan kemampuan komputasi dari neural networks.

 X1 X2 Xm W1n W11 W12 W22 W2n Wm1 Wm2 Wmn K11 K12 Kmn Y1 Y2 Yp Contoh Two Layer Neural Network  X1 X2 Xm W1n W11 W12 W21 W22 W2n Wm1 Wm2 Wmn K11 K12 Kmn Y1 Y2 Yp  Weight array W Weight array K

Recurrent Networks Networks yang telah dibahas sebelumnya tidak terdapat koneksi timbal balik, yaitu koneksi yang melalui output suatu layer menuju ke input da-ri layer yang sama atau sebelumnya, dan disebut non recurrent atau feed forward network. Secara umum network yang memiliki koneksi timbal-balik disebut ‘recurrent network’. Non recurrent network tidak memiliki memory, dimana outputnya ditentukan oleh input dan nilai-nilai da-ri bobot. Dalam beberapa konfigurasi, recurrent networks memutar kembali outputnya menjadi input.

Dengan demikian output dari recurrent network ditentukan oleh input dari output sebelumnya. Dengan alasan ini, recurrent network memiliki sifat-sifat serupa dengan ‘short-turn memory’.

KONSEP DASAR NEURAL NETWORKS Prototipe Biologis Perkiraan Jumlah Neuron = 10 11 Perkiraan Jumlah Koneksi untuk setiap neuron = 10 4 Perkiraan Jumlah Koneksi untuk setiap neuron = 10 15 Artificial Neuron Artificial neuron dirancang berdasarkan sifat-sifat / karakteristik Biologikal neuron. Gambar berikut adalah model yang mengimplementasikan ide tersebut

 Artificial Neuron X1, X2, … , Xn adalah input dari neuron W W1 W2 Wn  NET = XW NET = X1 W1 + X2 W2 + … + Xn Wn Artificial Neuron X1, X2, … , Xn adalah input dari neuron W1, W2, … , Wn adalah bobot (weight)   NET = X W

Activation Functions Signal NET biasanya diproses lebih lanjut dengan activation functions F untuk menghasilkan output OUT linear: OUT = F(NET)   OUT = 1 jika NET > T OUT = 0 selainnya dimana T adalah nilai threshold Sigmoid: OUT = 1 . (1 + e -NET)

Artificial Neuron with Activation Function  NET OUT = F (NET) F ARTIFICIAL NEURON X1 X2 Xn W1 W2 Wn Artificial Neuron with Activation Function

Fungsi Logistik Sigmoid Fungsi Tangen Hiperbolik OUT = 1 / ( 1 + e -NET ) = F (NET) OUT 1 5 NET 1 - 1 OUT NET