Pertemuan 12 ARTIFICIAL NEURAL NETWORKS (ANN) - JARINGAN SYARAF TIRUAN - Betha Nurina Sari, M.Kom

JARINGAN SYARAF TIRUAN (JST) Definisi JST Istilah dalam JST Komponen JST Arsitektur Jaringan Fungsi Aktivasi Proses Pembelajaran Macam-macam JST

Jaringan Syaraf Tiruan Salah satu representasi buatan dari otak manusia yang selalu mencoba untuk mensimulasikan proses pembelajaran pada otak manusia tersebut.

Jaringan Syaraf Tiruan

Istilah dalam JST Neuron: sel syaraf tiruan yang merupakan elemen pengolah JST Jaringan: bentuk arsitektur JST, kumpulan neuron yang saling berhubungan dan membentuk lapisan Input: sebuah nilai input yang akan diproses menjadi nilai output Output: solusi dari nilai input Hidden layer: lapisan yang tidak terkoneksi secara langsung dengan lapisan input atau output, memperluas kemampuan JST

Istilah dalam JST Bobot: nilai matematis dari sebuah koneksi antar neuron Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilai bobot per-iterasi dari semua nilai input. Fungsi aktivasi sederhana adalah mengalikan input dengan bobotnya dan kemudian menjumlahkannya (disebut penjumlahan sigma) Berbentuk linier atau tidak linier, dan sigmoid Paradigma pembelajaran: bentuk pembelajaran, supervised learning atau unsupervised learning

KOMPONEN JARINGAN SYARAF Neuron/sel syaraf yang akan mentransformasikan informasi yang diterima melalui sambungan keluarnya menuju neuron-neuron yang lain. Pada jaringan syaraf, hubungan antar neuron-neuron dikenal dengan nama bobot.

KOMPONEN JARINGAN SYARAF Pada jaringan syaraf, neuron-neuron akan dikumpulkan dalam lapisan-lapisan (layer) yang disebut dengan lapisan neuron (neuron layers) Faktor terpenting untuk menentukan kelakuan suatu neuron adalah fungsi aktivasi dan pola bobotnya.

KOMPONEN JARINGAN SYARAF Informasi yang diberikan pada jaringan syaraf akan dirambatkan lapisan ke lapisan, mulai dari input sampai ke lapisan output melalui lapisan yang lainnya, yang dikenal dengan lapisan tersembunyi (hidden layer), tergantung pada algoritma pembelajarannya, bisa jadi informasi tersebut akan dirambatkan secara mundur pada jaringan.

ARSITEKTUR JARINGAN Jaringan dengan lapisan tunggal (single layer net) Jaringan dengan banyak lapisan (multilayer net) Jaringan dengan lapisan kompetitif (compotitive layer net)

Jaringan dengan lapisan tunggal (single layer net) – Hanya memiliki satu lapisan dengan bobot-bobot terhubung – Jaringan ini hanya menerima input kemudian secara langsung akan mengolahnya menjadi output tanpa harus melalui lapisan tersembunyi.

Jaringan dengan banyak lapisan (multilayer net) Memiliki 1 atau lebih lapisan yang terletak diantara lapisan input dan lapisan output Ada lapisan yang berbobot yang terletak antara 2 lapisan yang bersebelahan

Jaringan dengan lapisan kompetitif (compotitive layer net) Hubungan antar neuron pada lapisan kompetitif tidak diperlihatkan pada diagram arsitektur

FUNGSI AKTIVASI Fungsi aktivasi merupakan fungsi yang digunakan pada jaringan syaraf untuk mengaktifkan atau tidak mengaktifkan neuron. Seperti terlihat pad gambar sebuah neuron akan mengolah N input (x1, x2, ..,xN) yang masing-masing memiliki bobot w1, w2, w3, ..,wN) dan bobot bias b.

Fungsi Aktivasi Fungsi Undak Biner (Hard Limit) Jaringan dengan lapisan tunggal sering menggunakan fungsi undak untuk menkonversi input dari suatu variabel yang bernilai kontinu ke suatu output biner. Fungsi hard limit dirumuskan

Fungsi Aktivasi Fungsi Undak Biner (Threshold) Fungsi undak biner dengan menggunakan nilai ambang sering disebut fungsi nilai ambang atau fungsi Heaviside. Dirumuskan:

Fungsi Aktivasi Fungsi Bipolar Hampir sama dengan fungsi undak biner, hanya saja output yang dihasilkan berupa1, 0 atau-1

Fungsi Aktivasi Fungsi Bipolar (dengan Threshold) Fungsi yang menghasilkan output berupa 1, 0 atau -1

Fungsi Aktivasi FungsiLinear (identitas) Fungsi linear memiliki nilai output yang sama dengan nilai input Dirumuskan: y= x

Fungsi Aktivasi Fungsi SturatingLinear Fungsi ini akan bernilai 0 jika inputnya kurang dari -½, dan akan bernilai 1 jika inputnya lebih dari ½. Sedangkan jika nilai input terletak antara-½ dan ½, maka outputnya akan bernilai sama dengan nilai input ditambah ½.

Fungsi Aktivasi Fungsi Symetric Saturating Linear Fungsi ini akan bernilai -1 jika inputnya kurang dari-1. Sedangkan jika nilai input terletak antara -1 dan 1, maka outputnya akan bernilai sama dengan nilai inputnya.

Fungsi Aktivasi Fungsi Sigmoid Biner Digunakan untuk jaringan syaraf yang dilatih dengan menggunakan metode backpropagation. Memiliki nilai pada range 0 sampai 1

Fungsi Aktivasi Fungsi Sigmoid Bipolar Output dari fungsi ini memiliki range antara 1 sampai -1 Fungsinya dirumuskan:

Proses Pembelajaran Belajar adalah suatu proses dimana parameter-parameter bebas JST diadaptasikan melalui suatu proses perangsangan berkelanjutan oleh lingkungan di mana jaringan berada. Metode belajar, yaitu: Supervised learning (belajar dengan pengawasan) Unsupervised learning (belajar tanpa pengawasan) Hibrida learning (Gabungan Supervised dan Unsupervised)

Proses Pembelajaran Pembelajaran Terawasi (supervised learning) Metode pembelajaran pada jaringan syaraf disebut terawasi jika output yang diharapkan telah diketahui sebelumnya. Pembelajaran Tak Terawasi(unsupervised learning) Pada metode pembelajaran tak terawasi ini tidak memerlukan target output. Tujuan metode ini adalah pengelompokan unit-unit yang hampir sama dalam suatu area tertentu.

Pembelajaran Terawasi (supervised learning)

Hebb Rule Metode pembelajaran yang paling sederhana, pembelajaran dilakukan dengan cara memperbaiki nilai bobot sedemikian rupa sehingga jika ada 2 neuron yang terhubung dan keduanya dalam kondisi “on” pada saat yang sama, maka bobot antara keduanya dinaikkan

PERCEPTION Biasanya digunakan untuk mengklasifikasikan suatu tipe pola tertentu yang sering dikenal dengan pemisahan secara linear. Algoritma yang digunakanakan mengatur parameter-parameter bebasnya melalui proses pembelajaran

Delta Rule Mengubah bobot yang menghubungkan antara jaringan input ke unit output dengan nilai target.

Backpropagation Algoritma ini biasanya digunakan oleh perception dengan banyak lapisan untuk mengubah bobot-bobot yang terhubung dengan neuron-neuron yang ada pada lapisan tersembunyi

Hetro associative Memory Jaringan yang bobot-bobotnya ditentukan sedemikian rupa sehingga jaringan tersebut dapat menyimpan kumpulan pola.

Bidirectional Associative Memory Model jaringan syaraf yang memiliki 2 lapisan dan terhubung penuh dari satu lapisan ke lapisan lainnya. Pada jaringan ini dimungkinkan adanya hubungan timbal balik antara lapisan input dan lapisan output.

Learning vector Quantization Suatu metode untuk melakukan pembelajaran pada lapisan kompetitif yang terawasi. Suatu lapisan kompetitif akan secara otomatis belajar untuk mengklasifikasikan vektor-vektor input. Kelas-kelas yang didapatkan sebagai hasil hanya tergantung pada jarak antara vektor-vektor input.

Pembelajaran Tak Terawasi (unsupervised learning)

Pembelajaran Tak Terawasi (Jaringan Kohonen) Jaringan kohonen pertama kali diperkenalkan oleh Prf. Teuvo Kohonen tahun1982. Pada jaringan ini, suatu lapisan yang berisi neuron-neuron akan menyusun dirinya sendiri berdasarkan input nilai tertentu dalam suatu kelompok yang dikenal dengan istilah cluster. Selama proses penyusunan diri, cluster yang memiliki vektor bobot paling cocok dengan pola input akan terpilih sebagai pemenang.

Contoh latihan - hebb rule -

Hebb Net Hebb mengusulkan pembelajaran dengan memodifikasi bobot sedemikian shg dua hubungan neuron “on” dalam waktu yang bersamaan, kemudian bobot diantara kedua neuron tersebut bertambah. keterangan : Wi : bobot data input ke-i xi : input data ke-i y : output data

Algoritma Hebb Net

Hebb Net Contoh pengenalan pola dengan algoritma Hebb Diketahui dua buah pola seperti huruf “T” dan “U” seperti gambar . Gunakan jaringan Hebb untuk mengenali pola tersebut :

Inisialisasi Pola 1 dan 2

Algoritma pelatihan Hebb Inisialisasi bobot dan bias : w1 = w2 =w3=w4=w5=w5=w6=w7=w8=w9= 0 dan bias b= 0 Pola ke 1 : Perubahan bobot dan bias untuk pola ke 1 w1(baru) = w1(lama) + x1*y = 0+1*1 = 1 w2(baru) = w2(lama) + x2*y = 0+1*1 = 1 w3(baru) = w3(lama) + x3*y = 0+1*1 = 1 w4(baru) = w4(lama) + x4*y = 0+(-1)*1 = -1 w5(baru) = w5(lama) + x5*y = 0+1*1 = 1 w6(baru) = w6(lama) + x6*y = 0+(-1)*1 = -1 w7(baru) = w7(lama) + x7*y = 0+(-1)*1 = -1 w8(baru) = w8(lama) + x8*y = 0+1*1 = 1 w9(baru) = w9(lama) + x9*y = 0+(-1)*1 = -1 b(baru) = b(lama) + y = 0+1=1

Algoritma pelatihan Hebb Pola ke- 2 Perubahan bobot dan bias untuk pola ke 2 w1(baru) = w1(lama) + x1*y = 1+1*(-1) = 0 w2(baru) = w2(lama) + x2*y = 1+(-1)*(-1) = 2 w3(baru) = w3(lama) + x3*y = 1+1*1 = 1 w4(baru) = w4(lama) + x4*y = (-1)+1*(-1) = -2 w5(baru) = w5(lama) + x5*y = 1+(-1)*(-1) = 2 w6(baru) = w6(lama) + x6*y = (-1)+1*(-1) = -2 w7(baru) = w7(lama) + x7*y = (-1)+ 1*(-1) = -2 w8(baru) = w8(lama) + x8*y = 1+1*(-1) = 0 w9(baru) = w9(lama) + x9*y = (-1)+1 * (-1) = -2 b(baru) = b(lama) + y = 1+ (-1)=0

Algoritma pelatihan Hebb Diperoleh nilai Pola 1 w1 =1 w2 =1 w3=1 w4=-1 w5=1 w6=-1 w7=-1 w8=1 w9= -1 dan bias b= 1 diperoleh nilai Pola 2: w1 =0 w2 = 2 w3= 1 w4= -2 w5= 2 w6= -2 w7= -2 w8=0 w9= -2 dan bias b= 0

Pengenalan Pola

Pengenalan Pola Pola 1 𝑁𝑒𝑡= 𝑖=1 𝑛 𝑥 𝑖 𝑤 𝑖 +𝑏 𝑁𝑒𝑡= 𝑖=1 𝑛 𝑥 𝑖 𝑤 𝑖 +𝑏 =1∙1+1∙1+ 1∙1+-1∙−1+ 1∙1+ -1∙−1+ -1∙−1+ 1∙1+-1∙−1+1 = 10 Y= f(net) = f(10) = 1 Y = 1 (sesuai target) : mengenali pola

Pengenalan Pola Pola 2 𝑁𝑒𝑡= 𝑖=1 𝑛 𝑥 𝑖 𝑤 𝑖 +𝑏 𝑁𝑒𝑡= 𝑖=1 𝑛 𝑥 𝑖 𝑤 𝑖 +𝑏 =1∙0+−1∙2+ 1∙1+1∙−2+ -1∙2+ 1∙−2+ 1∙2+ 1∙0+-1∙−2+0 = -11 Y= f(net) = f(-11) = -1 Y = -1 (sesuai target) : mengenali pola

LATIHAN Buatlah manual atau implementasi dari pengenalan kedua pola berikut:

Hebb Net Untuk merepresentasikan kasus tersebut dalam jaringan Hebb, tiap karakter pola dianggap sebagai sebuah unit masukan. Misalkan karakter “#” dalam pola bernilai = 1, dan karakter “.” dalam pola benilai = 0

NEXT Algoritma genetika