Jaringan Syaraf Tiruan

Presentasi berjudul: "Jaringan Syaraf Tiruan"— Transcript presentasi:

1 Jaringan Syaraf Tiruan
Oleh : Yusuf Nurrachman, ST,MMSI

2 Intro Jaringan Syaraf Tiruan merupakan salah satu satu upaya manusia untuk memodelkan cara kerja atau sistem syaraf manusia dalam melaksanakan tugas tertentu. Hal ini didasari oleh sel – sel penyusunnya yang disebut dengan neuron, sehingga mampu melaksanakan tugas – tugas tertentu.

3 Sejarah tahap-tahap perkembangan JST
Pada Tahun 1940-an, para ilmuwan menemukan bahwa psikologi dari otak sama dengan metode pemrosesan pada komputer. Tahun 1943,Mcciulloch dan Pitts merancang model formal untuk perhitungan dasar neuron. Tahun 1949,Hebb menyatakan bahawa informasi dapat disimpan dalam koneksi- koneksi dan mengusulkan adanya skema pembelajaran untuk memperbaiki koneksi-koneksi antar neuron. Tahun 1954,Farley dan Clark mensetup model-model untuk relasi adaptif stimulus respon dalam jaringan random. Tahun 1987,Kosko mengembangkan jaringan Adaptif Bidirectional Associative Memory(BAM). Pada Tahun 1988, mulai dikembangkan fungsi radial basis.

4 Komponen JST bobot Output Struktur neuron Jaringan Syaraf
Jaringan syaraf terdiri dari neuron – neuron yang saling berhubungan, dan neuron – neuron tersebut akan mentransformasikan ke informasi yang diterima melalui sambungan keluarnya menuju neuron – neuron lain, hubungan ini dikenal dengan nama bobot. Keterangan Gambar : Input dikirimkan ke neuron dengan bobot tertentu. Input akan diproses dengan suatu fungsi yang akan menjumlahkan semua bobot yang datang kemudian dibandingkan dengan suatu nilai ambang(Treshold) tertentu melalui fungsi aktivasi Output melalui bobot – bobot outputnya kesemua neuron yang berhubungan dengannya. bobot bobot Fungsi Aktivasi Output ke Neuron - Neuron lain Input dari neuron Neuron lain Output Struktur neuron Jaringan Syaraf

5 Jaringan Syaraf dengan 3 Lapisan
Pada jaringan syaraf, neuron – neuron akan dikumpulkan dalam lapisan – lapisan (layer) yg disebut dengan lapisan neuron(Neuron Layer). Biasanya neuron – neuron pada satu lapisan akan dihubungkan dengan lapisan – lapisan sebelum dan sesudahnya(kecuali lapisan input dan output). Lapisan input ke output informasi dirambatkan melalui lapisan tersembunyi/hidden layer. Nilai input Neuron-neuron Pd lapisan input Neuron-neuron Pd lapisan tersembunyi Neuron-neuron Pd lapisan Output Nilai Output

6 Arsitektur Jaringan (Single Layer net)
Jaringan dengan lapisan tunggal hanya memiliki satu lapisan dengan bobot terhubung. Proses jaringan ini tidak melalui lapisan tersembunyi untuk menghasilkan output Nilai input Neuron-neuron Pd lapisan input X1 X2 X3 w21 w22 w11 w12 w31 w32 Matriks bobot Neuron-neuron Pd lapisan Output Y1 Y2 Nilai Output

7 Arsitektur Jaringan (Multilayer net )
Jaringan dengan lapisan tunggal hanya memiliki satu lapisan dengan bobot terhubung. Proses jaringan ini tidak melalui lapisan tersembunyi untuk menghasilkan output Nilai input X1 X2 X3 Lapisan input V21 V22 V11 V12 V31 V32 Matriks bobot 1 Z1 Z2 Lapisan Tersembunyi w1 w2 Matriks bobot 2 Y Lapisan Output Nilai Output

8 Arsitektur Jaringan (competitive layer net )
1 - A1 Am 1 Hubungan dengan metode ini tidak digambarkan dalam suatu diagram arsitektur. Salah satu contoh arsitektur jaringan dengan lapisan kompetitif yang memiliki bobot - - - - 1 - Ai Aj 1 -

9 Fungsi aktivasi Y 1 Jika x 0 Y= 1 Jika x> 0 x Y 1 Jika x<  Y=
Fungsi undak biner(Hard Limit) Jaringan dengan lapisan tunggal sering menggunakan fungsi undak (Step Function) untuk mengkonversi input dari suatu variabel yang bernilai kontinu ke suatu output biner(0 atau 1) 1 Jika x 0 Y= 1 Jika x> 0 x Y 1 Jika x<  Fungsi undak biner(Threshold) Fungsi nilai ambang atau Threshold atau fungsi Heaviside ,dirumuskan sbb) Y= 1 Jika x   x

10 Fungsi aktivasi Bipolar
y Fungsi Bipolar (Symetric Hard Limit) Fungsi Bipolar hampir sama dengan fungsi undak biner, tetapi output yang dihasilkan berupa 1, 0 atau -1 1 1,Jika x> 0 x y= 0,Jika x= 0 -1 -1,Jika x< 0 y 1 1, Jika x   Fungsi Bipolar dengan (Threshold) Fungsi Bipolar hampir sama dengan fungsi undak biner, tetapi output yang dihasilkan berupa 1, 0 atau -1 y=  x -1, Jika x< -1

11 Fungsi aktivasi Linear
y Fungsi Linear(Identitas) Fungsi Linear mempunyai nilai output yang sama dengan nilai inputnya. 1 y=x -1 1 x -1 y 1 Fungsi Saturating Linear Fungsi ini akan bernilai 0 , jika inputnya kurang dari -0,5, dan akan bernilai 1 jika inputnya lebih dari 0,5, sedangkan jika nilai input terletak antara -0,5 dan 0,5 , maka outputnya akan bernilai sama dengan nilai input ditambah 0,5. 0,5 x -0,5 1, Jika x  0,5 X+0,5, Jika -0,5 x  0,5 y= 0, Jika x -0,5

12 Fungsi aktivasi Symetric Linear
1 Fungsi Simetric Saturating Linear Fungsi ini akan bernilai -1, jika inputnya kurang dari -1, dan akan bernilai 1 jika inputnya lebih dari 1, sedangkan jika nilai input terletak antara -1 dan 1 , maka outputnya akan bernilai sama dengan nilai inputnya. 1 x -1 -1 1, Jika x  1 x, Jika -1 x  1 y= -1, Jika x -1

13 Definisi Proses Belajar
Definisi belajar dalam konteks JST adalah sbb: Belajar adalah suatu proses dimana parameter – parameter bebas JST diadaptasikan melalui suatu proses perangsangan berkelanjutan oleh lingkungan dimana jaringan berada. Jenis belajar ditentukan oleh pola dimana pengubahan parameter dilakukan, sehingga dalam proses belajar terdapat kejadian – kejadian sbb: JST dirangsang oleh lingkungan. JST mengubah dirinya sebagai rangsangan ini. JST memberikan respon dengan cara yang baru kepada lingkungan, disebabkan perubahan yang terjadi dalam struktur internalnya sendiri.

14 Proses Belajar JST Supervised Learning(Belajar dengan Pengawasan)
Adalah proses belajar yang membutuhkan guru.Guru direpresentasikan sebagai sekumpulan sample input – output.Sehingga JST diharapkan mempunyai kemampuan yang mirip dengan gurunya. Unsupervised Learning(Belajar Tanpa Pengawasan) Metode ini tidak memerlukan target output, pada metode ini , tidak dapat ditentukan hasil yang seperti apakah yang diharapkan selama proses pembelajaran.

15 Pembelajaran terawasi(Supervised Learning)
Hebb Rule. Hebb Rule merupakan metode pembelajaran yang paling sederhana. Pada metode ini pembelajaran dilakukan dengan cara memperbaiki nilai bobot sedemikian rupa sehingga jika ada 2 neuron yang terhubung, dan keduanya (on) pada saat yang sama maka bobot antara keduanya dinaikkan. Apabila data direpresentasikan secara bipolar, maka perbaikan bobotnya adalah: wi(baru)=wi(lama) + xi*y dengan wi : bobot data input ke-i; xi : input data ke-i; y : output data.

16 Contoh Misal kita ingin membuat jaringan syaraf untuk melakukan pembelajaran terhadap fungsi OR dengan input dan target bipolar, sbb : Input Bias Target Bobot awal dan bobot bias kita set = 0

17 Arsitektur jaringan utk contoh soal;
x1 x2 1 b xw +b F(y_in) y Y_in x = -1 -1 -1 1 1 -1 1 1 Bobot Awal : w = b = 0 Lakukan Tes dengan memasukkan Data yang ada, misal kita ambil x=[-1 -1]. y= 2 + (-1*2) + (-1*2) = -2 Karena nilai y-1n=-2, maka kita Dapat menentukan nilai y=f(y-1n)=f(-2)=-1, nilai (-1) Cocok dengan output yang diberikan Perubahan bobot: Data ke -1 w1= = 1 w2= = 1 b = = -1 Data ke-2 w1= 1 – 1 = 0 w2= 1+1 =2 b= -1+1 = 0 Data ke-3 w1= = 1 w2= 2 – 1 = 1 b = = 1 Data ke-4 w1= =2 w2= = 2 b = =2 T = -1 1

18 Perceptron Perceptron termasuk dalam dalam jaringan syaraf, biasanya digunakan untuk pengklasifikasian suatu tipe pola tertentu yang sering dikenal dengan pemisahan secara linear. Pada dasarnya perceptron pada jaringan syaraf dengan satu lapisan memiliki bobot yang bisa diatur dari suatu nilai ambang(Threshold). Algoritma yang digunakan untuk aturan perceptron ini akan mengatur parameter- parameter bebasnya melalui proses pembelajaran. Nilai Threshold () pada fungsi aktivasi adalah non negatif. Fungsi aktifasi ini dibuat sedemikian rupa sehingga terjadi pembatasan antara daerah positif dan negatif

19 Perceptron x2 Garsi pemisah antara daerah positif dan daerah nol memiliki pertidaksamaan : w1x1 + w2x2 + b >  Sedangkan garis pemisah antara daerah negatif dengan daerah nol memiliki pertidaksamaan : w1x1 + w2x2 + b < - Daerah positif + Daerah Nol Daerah negatif - x1

20 Algoritma 1, jika y_in> 0, jika - y_in  Y= -1, jika y_in<
Inisialisasi semua bobot dan bias : Untuk sederhananya set semua bobot dan bobot bias sama dengan nol. Set learning rate: (0<  1) (Untuk sederhananya set sama dengan 1) Selama kondisi berhenti bernilai false, lakukan langkah – langkah berikut: Untuk setiap pembelajaran s-t, kerjakan: Set input nilai sama dengan vektor input: xi = si; Hitung respon untuk unit output: y_in=b+ xiwi Perbaiki bobot dan bias jika terjadi error: Jika y t maka : wi(baru) = wi(lama) + *t*xi b(baru) = b(lama) + *t Jika tidak, maka : wi(baru) = wi(lama) b(baru) = b(lama) Tes kondisi berhenti, jika tidak terjadi perubahan bobot pada (i) maka kondisi berhenti TRUE, namun jika masih terjadi perubahan maka kondisi berhenti false i Y= 1, jika y_in> 0, jika - y_in  -1, jika y_in<

21 Contoh Soal Misalkan ingin menyelesaikan suatu jaringan syaraf untuk melakukan pembelajaran terhadapfungsi AND dengan input biner dan target bipolar sbb: Input : Bias Target x1 x2 1 b xw +b F(y_in) y Y_in

22 Data ke-2 Y_in = 0,8 + 0,8 + 0,0 = 1,6,(bias+alfa+aktifasi) Hasil aktivasi = 1 (y_in>0,5) Target = -1 Bobot baru: w1 = 0,8 + 0,8 * -1,0 * 1,0 = 0,0 (bias + alfa*target*x1) w2 = 0,8 + 0,8 * -1,0 * 0,0 = 0,8 (bias + alfa*target*x2) Bobot bias baru: b=0,8 + 0,8 * -1,0 = 0,0 Data ke-3 Y_in = 0,0 + 0,0 + 0,8 = 0,8(bias+x1*w1+x2*w2) w1 = 0,0 + 0,8 * -1,0 * 0,0 = 0,0 (bias + alfa*target*x1) w2 = 0,8 + 0,8 * -1,0 * 1,0 = 0,0 (bias + alfa*target*x2) b=0,0 + 0,8 *-1,0 = -0,8 (bias+alfa*target) Data ke-4 Y_in = -0,8 + 0,0 + 0,0 = -0,8(bias+x1*w1+x1*w1) Hasil aktivasi = -1 (y_in<0,5) Penyelesaian Bobot Awal : w = [0,0,0,0] Bobot bias awal : b = [0,0] Learning rate(alfa) : 0,8 Threshold(Tetha) : 0,5 EPOH1 Data ke-1 Y_in = 0,0 + 0,0 + 0,0 = 0,0 Hasil aktivasi = 0 (-0,5 <y_in<0,5) Target = 1 Bobot baru: w1 = 0,0 + 0,8 * 1,0 * 1,0 = 0,8 (bias + alfa*target*x1) w2 = 0,0 + 0,8 * 1,0 * 1,0 = 0,8 (bias + alfa*target*x2) Bobot bias baru: b=0,0 + 0,8 * 1,0 = 0,8

23 Penjelasan Pada soal diselesaikan sampai dengan epoh ke-10 dimana tidak terjadi perubahan bobot. Sehingga proses pembelajaran dihentikan. Hasil akhir diperoleh: Nilai bobot,w1=1,6; dan w2=2,4. Bobot bias,b=-3,2 Garis yg membatasi daerah positif dgn daerah nol memnuhi pertidaksamaan : 1,6x1+2,4x2-3,2>05 Sedangkan garis yang membatasi daerah negatif dengan daerah no; memnuhi pertidak samaan: 1,6x1+2,4x2-3,2<-0,5

24 Delta Rule Pada Delta Rule , mengubah bobot yang menghubungkan antara jaringan input ke unit output (y_in) dengan nilai target (t),hal ini dilakukan untuk meminimalkan error selama pelatihan pola. Delta Rule untuk memperbaiki bobot ke – I (untuk setiap pola) adalah:  wi= (t-y_in)*xi; Dengan: x = vektor input. y_in = input jaringan ke unit output Y. y_in=  xi * wi t = target output Nilai w baru diperoleh dari w lama ditambah dengan  w, wi=wi +  wi n i = 1