Artificial Intelligence Oleh Melania SM Jaringan Syaraf Tiruan Artificial Intelligence Oleh Melania SM @ 2011
PENDAHULUAN Jaringan Syaraf Manusia Terdiri 1000 milyar neuron Koneksi neuron (sinapsis) ± 6.1018 koneksi oleh jutaan sel Mampu membentuk sendiri aturan-atuan/pola berdasarkan pengalaman yang diterima 2 tahun pertama umur manusia dapat terbentuk 1 juta sinapsis/detik
Representasi Struktur biologis Jaringan Syaraf Soma inti dari sel neuron Dendrite ada dlm tubuh sel tempat soma berada penghubung neuron satu dgn yg lain Axon penghubung neuron satu dg yg lain melalui koneksi output neuron
Fault Tolerant dalam 2 hal Manusia dapat mengenali sinyal input yang agak berbeda dari yang pernah diterima sebelumnya Otak manusia mampu bekerja walaupun beberapa neuronnya tidak mampu bekerja dengan baik
Jaringan Syaraf Tiruan Algoritma yang mempunyai kemampuan yang sama dengan sel syaraf manusia yaitu dapat beradaptasi dengan respon input yang diberikan sebelumnya dan dengan respon ini dapat melakukan pembelajaran Sistem pemroses informasi yang memiliki karakteristik mirip dengan jaringan syaraf biologi Dibentuk sebagai generalisasi model matematika darijaringan syaraf biologi
Asumsi pembentukan model : Pemrosesan informasi terjadi pada banyak elemen sederhana (neuron) Sinyal dikirimkan diantara neuron2 melalui penghubung-penghubung. Penghubung antar neuron memiliki bobot yang akan memperkuat atau memperlemah sinyal Untuk menentukan output setiap neuron menggunakan fungsi aktivasi.
JST ditentukan oleh 3 hal : Pola hubungan antar neuron Metode menentukan bobot penghubung (disebut metoda training/learning/algoritma) Fungsi aktivasi
Model Neuron dalam JST
Sejarah JST 1943, McCulloch dan Pitts. kombinasi beberapa neuron sederhana menjadi sebuah sistem neural akan meningkatkan kemampuan komputasinya Bobot jaringan yg diusulkan fungsi logika sederhana Fungsi aktivasi fungsi threshold 1958, Rosnblatt: mengembangkan model jaringan yg disebut perceptron. Metode pelatihan diperkenalkan untuk mengoptimalkan hasil iterasi
Beberapa nama pengembang JST 1960, Widrow dan Hoff mengembangkan perceptron dengan memperkenalkan aturan pelatiha jaringan. Mengubah bobot apabila keluaran yang dihasilkan tidak sesuai dengan target yang diinginkan 1986, Rumelhart mengembangkan perceptron menjadi backpropagation, yang memungkinkan jaringan diproses melalui beberapa layer Beberapa nama pengembang JST 1972 Kohonen 1982 Hopfield
APLIKASI JST Pengenalan Pola (Pattern Recognition) Signal Processing dll
Dasar-dasar matematika Vektor Perkalian vektor dengan skalar Penjumlahan 2 buah vektor Hasil kali titik 2 vektor Norma vektor Ketergantungan linier Matrik Jenis-jenis matrik Operasi pada matrik
Model Neuron Neuron adalah unit pemroses informasi yang menjadi dasar dalam pengoperasian JST Neuron terdiri dari 3 elemen pembentuk: Himpunan unit-unit yg dihubungkan dengan jalur koneksi. Jumlah, struktur dan pola hubunan antar unit2 tsb akan menentukan arsitektur jaringan Unit penjumlah yang akan menjumlahkan input-input sinyal yang sudah dikalikan dengan bobotnya. Fungsi aktivasi yang akan menentukan apakah sinyal dari input neuron akan diteruskan ke neuron lain atau tidak.
Jaringan Layar Tunggal (Single Layer Network) ARSITEKTUR JARINGAN Jaringan Layar Tunggal (Single Layer Network) Jaringan Layar Jamak (Multi Layer Network) Jaringan Reccurent Ik(n) Wj21 Y(n) Xj(n) Sj(n) Wjk10 Wj11 Wj1b z(n)
STRUKTUR JARINGAN SARAF TIRUAN Layer Bias Fungsi Aktifasi Layer Bias Keluaran Layer Masukan Layar Layar Tersembunyi Pembobot Jaringan
Fungsi Aktivasi Beberapa Fungsi Aktivasi : Digunakan untuk menentukan keluaran suatu neuron Beberapa Fungsi Aktivasi : Fungsi Threshold (batas ambang) Fungsi sigmoid Fungsi identitas
Bias dan Thresold Nilainya selalu = 1 Berfungsi untuk mengubah threshold menjadi = 0 (bukan a)
Model2 Perceptron klasifikasi & pengenalan pola (8) Adaline regresi(2) Multi Layer Perceptron (MLP)pendekatan fungsi (7) Radial Basis Function (RBF) Interpolasi, Regresi & klasifikasi Hopfieldoptimasi &CAM ((6) Adaptive resonance klaster&klasifikasi Boltmann machine optimasi (1) Suport vektor machine klasifikasi & regresi
Pelatihan Pelatihan ada 2 macam yaitu : Supervisi sejumlah pasangan data (input – output) yang dipakai untuk melatih jaringan hingga mendapatkan bobot yang diinginkan Tanpa Supervisi tak ada pasangan data untuk latihan. Dalam pelatihannya perubahan jaringan dilakukan berdasarkan parameter tertentu dan jaringan dimodifikasi menurut parameter tersebut
ALGORITMA BACKPROPAGATION
Cara kerja jaringan propagasi balik (1) mula-mula jaringan diinisialisasikan dengan bobot yang diset dengan bilangan acak. contoh-contoh pelatihan dimasukkan ke dalam jaringan. Alur kerja jaringan propagasi balik dapat dilihat pada Gambar 2.7. C ontoh pelatihan terdiri dari pasangan vektor input dan vektor output target. Keluaran dari jaringan berupa sebuah vektor output aktual. Selanjutnya vektor output aktual jaringan dibandingkan dengan vektor output target untuk mengetahui apakah output jaringan sudah sesuai dengan harapan (output aktual sudah sama dengan output target) (Puspitaningrum, 2006). Error yang timbul akibat perbedaan antara output aktual dengan output target tersebut kemudian dihitung dan digunakan untuk meng-update bobot-bobot yang relevan dengan jalan mempropagasikan kembali error. Setiap perubahan bobot yang terjadi diharapkan dapat mengurangi besar error.
Cara kerja jaringan propagasi balik (2) Epoch (siklus setiap pola pelatihan) seperti ini dilakukan pada semua set pelatihan sampai untuk kerja jaringan mencapai tingkat yang diinginkan atau sampai kondisi berhenti terpenuhi. Setelah proses pelatihan selesai, barulah diterapkan algoritma aplikasi. Biasanya sebelum digunakan untuk aplikasi yang sebenarnya, pengujian untuk kerja jaringan dilakukan dengan cara memasukkan set pengujian (set tes) ke dalam jaringan. Karena bersifat untuk menguji, set pengujian hanya berupa input saja. Dari respon jaringan dapat dinilai kemampuan memorisasi dan generalisasi jaringan dalam menebak output berdasarkan pada apa yang telah dipelajarinya selama ini.
Fungsi Aktivasi Fungsi Linier Suatu fungsi linier menggunakan konsep superposisi, memiliki nilai output yang sama dengan nilai inputnya. Persamaan matematika fungsi linier dapat dituliskan sebagai berikut Kemiringan (slope) fungsi linier y = f(x) dengan simbol α. Jika Slope α =1, maka fungsi aktivasi linier dinamakan fungsi identity. Fungsi keluaran sama dengan fungsi masukannya.. Fungsi Sigmoid biner Sigmoid Biner sering dipakai karena nilai fungsinya yang terletak antara 0 dan 1, dan didefinisikan sebagai dengan turunan : 2.17
Taksonomi Jaringan Syaraf Tiruan Hingga kini sangat lebih dari 20 model JST. JST berdasarkan pembelajaran,aplikasi, dan jenis arsitektur : Pengenalan pola: ART (Adaaptive Resonance Theory) Backpropagation Peramalan Backpr Adaline Optimasi BP
Neuron McCulloch-Pitts Karakter Neuron McCulloch-Pitts : Fungsi aktivasi biner Semua garis yg memperkuat sinyal (bobot positif) kearah suatu neuron memiliki kekuatan(besar bobot) yang sama. Hal yang sama untuk garis yg memperlmah sinyal Setiap neuron memiliki batas ambang (threshold) yang sama. Jika total inputke neuron tsb memiliki threshold, maka neuron akan meneruskan sinyal
Wi(baru) = Wi(lama) +xiy Model Hebb Dasar algoritma Hebb: Jika 2 neuron yang dihubungkan dengan sinapsis secara serentak menjadi aktif (sama2 bernilai + atau -), maka kekuatan sinapsisnya meningkat. Persamaan bobot : Wi(baru) = Wi(lama) +xiy
Algoritma pelatihan Hebb Inisialisasi semua bobot wi = 0 (i = 1…n) Untuk semua vektor input s dan unit target t, lakukan Set aktivasi unit masukan xi =si Set aktivasi unit keluaran y=t Perbaiki bobot menurut Wi(baru) = wi (lama) + dw dw = xi y Perbaiki bias menurut persamaan b(baru) = b(lama) +y Kendala jaringan Hebb: Tidak semua model dapat direpresentasikan dengan fungsi aktivasi threshold Dalam Menentukan menentukan representasi data I/O untuk fungsi aktivasi threshold
Fungsi Logika ‘dan’ dengan 2 masukan x1 dan x2 akan memiliki keluaran y=1 bila dan hanya bila kedua masukannya = 1 Buatlah model neuron McCulloch-Pitts untuk menyatakan fungsi logika ‘dan’