Presentasi sedang didownload. Silahkan tunggu

Presentasi sedang didownload. Silahkan tunggu

Pengenalan Pola Berbasis Neural Network - EL 424 Budi Rahardjo Jurusan Teknik Elektro ITB.

Presentasi serupa


Presentasi berjudul: "Pengenalan Pola Berbasis Neural Network - EL 424 Budi Rahardjo Jurusan Teknik Elektro ITB."— Transcript presentasi:

1 Pengenalan Pola Berbasis Neural Network - EL 424 Budi Rahardjo Jurusan Teknik Elektro ITB

2 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo2 Intro zKuliah ini merupakan bagian dari kuliah pengenalan pola (pattern recognition) secara utuh. Bagian ini hanya membahas Artificial Neural Network (ANN) - Jaringan Syaraf Tiruan zDikarenakan banyak yang belum mengenal neural nets, maka kuliah akan dimulai dengan introduction

3 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo3 Pentingnya Neural Computing zJenis komputasi baru yang diharapkan dapat mengatasi kelemahan sistem komputasi konvensional yang berbasis von Neumann machine.

4 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo4 John Louis von Neumann z zMencetuskan “von Neumann architecture” yang menjadi basis dari sisten komputer modern (saat ini)

5 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo5 Von Neumann architecture Arithmetic unit (ALU) Contol unit Input/output unit (I/O unit) Intenal (main) memory Secondary memory (magnetic wire) Teletype (keyboard/printer) CRT graphics display Central Processing Unit (CPU) Internal bus External bus

6 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo6 Kelebihan von Neumann machines zFast arithmetic zDoing precise what the programmers programm them to do

7 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo7 Kelemahan von Neumann machines zPeka terhadap noise. zData struktur harus dalam format yang precise zSulit mengimplementasikan massive parallelism zTidak fault tolerant. (Misal memory rusak, program berantakan.) zSulit beradaptasi dengan keadaan

8 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo8 Latar Belakang Neural Computing zMelihat kemampuan manusia dalam memproses informasi, mengenal wajah, tulisan, dsb. Melihat wajah dari sudut pandang yang belum pernah dialami sebelumnya. zBahkan anak-anak dapat melakukan hal tsb. zMasih belum tahu algoritma yang digunakan. zMelihat analogi biologis. zOtak manusia berisi kira-kira 20 billion (2 10 ) nerve cells.

9 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo9 Latar belakang (2) zDipercayai bahwa kekuatan komputasi otak terletak pada yhubungan antar nerve cells, yhierarchical organization, yfiring characteristics, ybanyaknya jumlah hubugnan

10 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo10 Harapan atas Neural Comp. zMembantu dalam pemecahan masalah yang yAlgoritmanya tidak diketahui secara pasti ymemiliki banyak contoh yingin diketahui strukturnya dari contoh-contoh tsb.

11 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo11 Arsitektur Komputasi Neural zMemiliki beberapa hal yang menarik ykomputasi lokal,adaptive interaction between elements yparalel ysimple processing elements yhigh degree of interconnections ymasalah sering direpresentasikan dalam struktur ymemungkinkan implementasi hardware (VLSI, optical) yBiological computation?

12 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo12 Physical Neuron (1)

13 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo13 Physical Neuron (2)

14 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo14 Physical Neuron (3) zKomponen utama biological neuron ySoma yAxon (output) yDendrites (input) zSynapse: hubungan axonic nerve fiber dengan soma atau dendrite dari neuron lain zSebuah neuron memiliki 1000 s/d synapes

15 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo15 Aplikasi ANN zBusiness applications ypredict movement of stocks ymarketing zOther applications ysignature analysis (implemented in chip) yPen PC, writing -> ASCII ySpeech and vision recognition systems yProcess control

16 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo16 Definisi ANN zA Neural Network is an interconnected assemply of simple procesing elements / units / nodes, whose functionality is loosely based on the animal neuron. The processing ability of the network is stored in the inter- unit connection strengths, or weights, obtained by a process of adaptation to, or learnig from, a set of training patterns. K. -

17 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo17 Konsep Dasar Artificial Neural Computing Processing Unit Linear Threshold Unit input x1x1 x2x2 x3x3 bias w1w1 w2w2 w3w3 wbwb 1 if x 1 *w 1 + x 2 *w 2 + x 3 *w 3 + bias * w b > 0 0 if x 1 *w 1 + x 2 *w 2 + x 3 *w 3 + bias * w b <= 0

18 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo18 Konsep Dasar (2) zContoh sebelumnya: youtput = activation level, umumnya tidak harus begitu (ada processing lagi) yProcessing hanya berbentuk threshold, dimana dalam contoh menggunakan 0 (nol). Threshold bisa  yPerceptron, single layer

19 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo19 Konsep Dasar (3) zANN sederhana dapat digunakan untuk mengklasifikasikan pola ke dalam 2 kelas  Vektor input x, diberikan oleh x 1, x 2, … x n, adalah input stimulus yang mewakili atribut (feature). zFeature: yintensitas cahaya (visual) yspektrum power (gelombang suara) ytemperatur, kelembaban (besaran fisik lainnya) yumur, penghasilan, pengeluaran (pemohon kredit)

20 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo20 Perceptron zLearning rule yChange the weigth by an amount proportional to the difference between the desired output and the actual output   w i = Є * (D-Y) I i Є = learning rate D = desired output Y = actual output

21 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo21 Perceptron (2) zSetelah stabil, (D-Y) = 0 zHasilnya (untuk 2 input): decision surface line zI 1 = (w 0 / w 1 ). I 0 + (w b / w 1 ) I1I1 I0I0

22 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo22 Processing Unit zMenentukan output berdasarkan activation level yThreshold ySigmoid function yGaussian

23 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo23 Processing Unit (2) zSigmoid function dengan berbagai harga k

24 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo24 Multi-Layer x1x1 x2x2 x3x3 bias hidden layeroutput layerinput layer

25 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo25 Learning zHebbian rule yJika dua cells fire pada saat yang bersamaan, hubungan antar keduanya (strength of connection) harus ditingkatkan. yMacam-macam caranya, misalnya meningkatkan bobot hubungan berdasarkan activation level   w ij = Є a i a j

26 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo26 Learning (2) zDelta rule: Ubah weight sesuai sehingga mengurangi kesalahan (perbedaan antara activation level yang diinginkan dan yang diperoleh). Sering juga disebut Widrow-Hoff (1960) learning rule atau Least Mean Square (LMS) rule.   w ij = Є e i a j yerror for unit i: e i = t j - a j

27 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo27 Learning (3) zContoh halaman buku PDP zSolusi dapat terjadi jika ada set dari weights yang memecahkan solusi itu. Syaratnya adalah yang disebut linear predictability constraints

28 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo28 Hidden Units zSebelumnya telah dibahas pattern associator, dan delta rule. zJika output berupa linear threshold unit, maka disebut perceptron. zJika pure linear, disebut Least Mean Square (LMS) associator. zAda theorems: pattern classification. zInput bisa diklasifikasikan menjadi dua kelas.

29 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo29 Hidden Units (2) zPerceptron learning rule:  Net input = sum dari w i i i yJika net > threshold, unit turn on yRespon dibandingkan. Jika kategori betul, no change  Jika output turn on padahal mestinya 0, maka threshold + 1. Jika input i i = 0, tidak ada perubahan w i, tapi jika i i =1, maka w i dikurangi 1. yJika output turn off padahal mestinya 1, maka sebaliknya, threshold dikurangi and weight ditambah.

30 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo30 Hidden Units (3) zMinsky & Papert (1969) membunuh Perceptron dengan contoh bahwa sistem ini tidak dapat memecahkan masalah XOR zInequalities yang harus dipecahkan: pp. 123 zTidak linearly separable di dua dimensi zHarus menggunakan 3 dimensi

31 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo31 Hidden Units zAda unit yg tidak terhubung ke input/output zBagaimana cara belajarnya?

32 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo32 Minimizing Mean Square Error zLMS procedure, latar belakang zError function, must be minimized. zSetelah setiap pattern dipresentasikan, error dari pattern dihitung, dan weigh di “moved down” mengikuti error gradient mendekati harga minimum untuk pattern tersebut.

33 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo33 Minimizing Mean Square Error zGradient Decent: make a change in the weight proportional to the negative dreivative of the error, as measured on the current pattern with respect to each weignt

34 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo34

35 v1.1 EL-424 Pengenalan Pola dengan Neural Nets - Budi Rahardjo35 Referensi zBuku yJames L. McCLelland and David E. Rumelhart, “Explorations in Parallel Distributed Processing,” MIT Press, ISBN: X(pbk.) zIntroduction yhttp://www.cs.stir.ac.uk/~lss/NNIntro/


Download ppt "Pengenalan Pola Berbasis Neural Network - EL 424 Budi Rahardjo Jurusan Teknik Elektro ITB."

Presentasi serupa


Iklan oleh Google