Neural Network 3T Artificial Intelligence Jaringan Saraf Tiruan (Artificial Neural Network)

Presentasi berjudul: "Neural Network 3T Artificial Intelligence Jaringan Saraf Tiruan (Artificial Neural Network)"— Transcript presentasi:

1

2 Neural Network

3 3T0264 - Artificial Intelligence Jaringan Saraf Tiruan (Artificial Neural Network)

4 Jaringan Saraf (Neural Networks) 4T0264 - Artificial Intelligence Jaringan Saraf Tiruan (Artificial Neural Network) Inspirasi dari struktur natural pembuatan keputusan (sistem saraf/nerve dan otak riil)Inspirasi dari struktur natural pembuatan keputusan (sistem saraf/nerve dan otak riil) Jika beberapa pembuatan keputusan sederhana dihubungkan bersama, maka akan terbentuk keputusan yang lebih kompleksJika beberapa pembuatan keputusan sederhana dihubungkan bersama, maka akan terbentuk keputusan yang lebih kompleks –Susun fungsi sederhana menghasilkan fungsi yang kompleks Neural network (jaringan saraf):Neural network (jaringan saraf): –Mengambil multipel variabel input numerik –Menghasilkan multipel nilai output numerik –Biasanya ada ambang batas output untuk merubah ke nilai diskrit –Petakan nilai diskrit ke klas-klas, dan dimiliki klasifikator! –Tapi, waktu penggunannya hanyalah sebagai fungsi aproksimasi

5 Simulasi Neuron - Perseptron Input (a j ) dari perseptron lain dengan bobot (W i,j )Input (a j ) dari perseptron lain dengan bobot (W i,j ) –Learning terjadi dengan pengaturan bobot Perseptron menghitung jumlah bobot dari input (in i )Perseptron menghitung jumlah bobot dari input (in i ) Fungsi ambang batas menghitung output (a i )Fungsi ambang batas menghitung output (a i ) –Fungsi step (jika in i > t maka a i = 1 selain_itu a i = 0) –Sigmoid g(a) = 1/1+e -x Output menjadi input dari lapisan perseptron berikutnyaOutput menjadi input dari lapisan perseptron berikutnya ajajajaj W i,j aiaiaiai Σ W i,j a j = in i a i = g(in i ) 10/12/2018 5T0264 - Artificial Intelligence Jaringan Saraf Tiruan (Artificial Neural Network)

6 Struktur Jaringan Saraf Satu perseptron dpt merepresentasikan AND, OR atau XORSatu perseptron dpt merepresentasikan AND, OR atau XOR –Kombinasi dari perseptron lebih kuat Perseptron biasanya diorganisasikan dalam lapisanPerseptron biasanya diorganisasikan dalam lapisan –Lapisan input: mengambil input eksternal –Lapisan tersembunyi –Lapisan output: output external Feed-forward (umpan ke depan) vs. recurrent (kembali ke saat ini)Feed-forward (umpan ke depan) vs. recurrent (kembali ke saat ini) –Feed-forward (umpan ke depan): output hanya dihubungkan ke lapisan berikutnya Learning lebih mudahLearning lebih mudah –Recurrent (kembali ke saat ini): output dapat dihubungkan ke lapisan sebelumnya atau lapisan yang sama State internalState internal 10/12/2018 6T0264 - Artificial Intelligence Jaringan Saraf Tiruan (Artificial Neural Network)

7 Jaringan Neural utk Guncangan Empat input perseptronEmpat input perseptron –Satu input utk setiap kondisi Empat lapiasan tersembunyi perseptronEmpat lapiasan tersembunyi perseptron –Dihubungkan penuh Lima output perseptronLima output perseptron –Satu output untuk setiap aksi –Pilih aksi dengan output tertinggi –Atau, pemilihan probabilitas aksi Pilih acak dibobot oleh outputPilih acak dibobot oleh outputMusuh Suara Mati Tidak sehat Menyerang Mundur Menyimpang Kejar Membiak 10/12/2018 7T0264 - Artificial Intelligence Jaringan Saraf Tiruan (Artificial Neural Network)

8 Learning Jaringan Neural Learning dari exampleLearning dari example –Example terdiri dari input dan output yang benar Learn jika output jaringan tidak cocok dengan output yang benarLearn jika output jaringan tidak cocok dengan output yang benar –Atur bobot untuk mengurangi perbedaan –Hanya merubah sejumlah kecil bobot (η) Learning perseptron basisLearning perseptron basis –W i,j = W i,j + η(t-o)a j –Jika output terlalu tinggi (t-o) negatif maka W i,j dikurangi –Jika output terlalu rendah (t-o) is positif maka W i,j ditambah –Jika a j negatif hal yang berlawanan terjadi 10/12/2018 8T0264 - Artificial Intelligence Jaringan Saraf Tiruan (Artificial Neural Network)

9 Contoh Jaringan Saraf Satu perseptron merepresentasikan ORSatu perseptron merepresentasikan OR –Dua input –Satu output (1 jika salah satu input 1) –Fungsi step (jika jumlah bobot > 0.5 output 1) State inisial (di bawah) memberikan error pada (1,0) inputState inisial (di bawah) memberikan error pada (1,0) input –Training terjadi 10.1 Σ W j a j = 0.1 g(0.1) = 0 0 0 0.6 10/12/2018 9T0264 - Artificial Intelligence Jaringan Saraf Tiruan (Artificial Neural Network)

10 Contoh Jaringan Saraf Wj = Wj + η(t-o)ajWj = Wj + η(t-o)aj W1 = 0.1 + 0.1(1-0)1 = 0.2W1 = 0.1 + 0.1(1-0)1 = 0.2 W2 = 0.6 + 0.1(1-0)0 = 0.6W2 = 0.6 + 0.1(1-0)0 = 0.6 Sesudah langkah ini, coba (0,1)  1 exampleSesudah langkah ini, coba (0,1)  1 example –Tidak ada error, maka tidak ada training 00.2 Σ W j a j = 0.6 g(0.6) = 0 1 1 0.6 10/12/2018 10T0264 - Artificial Intelligence Jaringan Saraf Tiruan (Artificial Neural Network)

11 Contoh Jaringan Saraf Coba (1,0)  1 exampleCoba (1,0)  1 example –Masih error, maka training terjadi W 1 = 0.2 + 0.1(1-0)1 = 0.3W 1 = 0.2 + 0.1(1-0)1 = 0.3 W 2 = 0.6 + 0.1(1-0)0 = 0.6W 2 = 0.6 + 0.1(1-0)0 = 0.6 Demikian seterusnya…Demikian seterusnya… –Jaringan apa yang bekerja sebagai OR? –Bagaimana dengan AND? –Mengapa tidak XOR? 10.2 Σ W j a j = 0.2 g(0.2) = 0 0 0 0.6 10/12/2018 11T0264 - Artificial Intelligence Jaringan Saraf Tiruan (Artificial Neural Network)

12 Evaluasi Jaringan Saraf KelebihanKelebihan –Menangani error dengan baik –Graceful degradation –Dapat mempelajari solusi novel (pemula) KekuranganKekurangan –“Jaringan neural adalah cara terbaik kedua mengerjakan sesuatu” –Tidak mengerti bagaimana atau mengapa jaringan yang dipelajari bisakerja –Example harus cocok dengan masalah riil –Butuh sebanyak mungkin example –Learning perlu banyak pemrosesan Bertambah sedikit demi sedikit hingga learning selama bemain dimungkinkanBertambah sedikit demi sedikit hingga learning selama bemain dimungkinkan 10/12/2018 12T0264 - Artificial Intelligence Jaringan Saraf Tiruan (Artificial Neural Network)

13 Studi Kasus Jaringan Saraf pengenalan Karakter (Character recognition neural networks) Jaringan Saraf pengenalan Karakter (Character recognition neural networks) Pengenalan baik karakter cetakan dan tulisan tangan adalah tipikal domain dimana jaringan saraf diaplikasi- kan dengan sukses. Sistem Pengenalan Karakter secara Optis (Optical character recognition) adalah aplikasi komersiil pertama dari jaringan sarafSistem Pengenalan Karakter secara Optis (Optical character recognition) adalah aplikasi komersiil pertama dari jaringan saraf 13T0264 - Artificial Intelligence Practical Machine Learning

14 Didemonstrasikan aplikasi dari multilayer jaringan feed forward untuk pengenalan cetakan karakter.Didemonstrasikan aplikasi dari multilayer jaringan feed forward untuk pengenalan cetakan karakter. Secara sederhana, dapat dibatasi tugas pengenalan angka dari 0 hinggs 9. Setiap angka direpresentasikan dengan 5 X 9 bit map.Secara sederhana, dapat dibatasi tugas pengenalan angka dari 0 hinggs 9. Setiap angka direpresentasikan dengan 5 X 9 bit map. Dalam aplikasi komersial, dimana diperlukan resolusi yang lebih baik, paling tidak digunakan 16 X 16 bit map.Dalam aplikasi komersial, dimana diperlukan resolusi yang lebih baik, paling tidak digunakan 16 X 16 bit map. Studi Kasus 14T0264 - Artificial Intelligence Practical Machine Learning

15 Bit map untuk pengenalan angka 15T0264 - Artificial Intelligence Practical Machine Learning

16 Bagaimana memilih arsitektur dari jaringan saraf? Jumlah neuron dalam layer input ditentukan jumlah pixel dalam bit map. Bit map dalam contoh terdiri dari 45 pixel, jadi dibutuhkan 45 neuron input.Jumlah neuron dalam layer input ditentukan jumlah pixel dalam bit map. Bit map dalam contoh terdiri dari 45 pixel, jadi dibutuhkan 45 neuron input. Layer output memiliki 10 neuron – satu neuron untuk setiap angka yang akan dikenali.Layer output memiliki 10 neuron – satu neuron untuk setiap angka yang akan dikenali. 16T0264 - Artificial Intelligence Practical Machine Learning

17 Bagaimana menentukan jumlah optimal neuron yang tersembunyi? Pola yang kompleks tidak bisa dideteksi oleh jumlah yg sedikit dari neuron tersembunyi; namun terlalu banyak secara dramatis dapat menambah beban komputasi.Pola yang kompleks tidak bisa dideteksi oleh jumlah yg sedikit dari neuron tersembunyi; namun terlalu banyak secara dramatis dapat menambah beban komputasi. Masalah lain adalah overfitting (penyesuaian berlebih). Semakin besar jumlah neuron tersembunyi, semakin besar kemampuan jaringan mengenali pola yang ada. Namun, jika jumlah neuron tersembunyi terlalu besar, jaringan hanyalah mememorikan semua training exampel.Masalah lain adalah overfitting (penyesuaian berlebih). Semakin besar jumlah neuron tersembunyi, semakin besar kemampuan jaringan mengenali pola yang ada. Namun, jika jumlah neuron tersembunyi terlalu besar, jaringan hanyalah mememorikan semua training exampel. 17T0264 - Artificial Intelligence Practical Machine Learning

18 Jaringan saraf utk pengenalan cetakan angka 18T0264 - Artificial Intelligence Practical Machine Learning

19 Apakah test exampel untuk pengenalan karakter? Sebuah test set haruslah strictly independen dari training exampel.Sebuah test set haruslah strictly independen dari training exampel. Untuk mentest jaringan pengenalan karakter, ditam- pilkan dengan exampel yang mengikutkan “noise” – distorsi dari pola input.Untuk mentest jaringan pengenalan karakter, ditam- pilkan dengan exampel yang mengikutkan “noise” – distorsi dari pola input. Dievaluasi performansi dari jaringan pengenalan cetakan angka dengan 1000 test exampel (100 untuk setiap angka yang akan dikenali).Dievaluasi performansi dari jaringan pengenalan cetakan angka dengan 1000 test exampel (100 untuk setiap angka yang akan dikenali). 19T0264 - Artificial Intelligence Practical Machine Learning

20 Learning dibutuhkan untuk lingkungan yg tidak diketahui, perancang malasLearning dibutuhkan untuk lingkungan yg tidak diketahui, perancang malas Agen Learning = elemen performansi + elemen learningAgen Learning = elemen performansi + elemen learning Untuk supervisi learning, sasarannya adalah menda- patkan hipotesis sederhana yang perkiraannya konsisten dengan training exampelUntuk supervisi learning, sasarannya adalah menda- patkan hipotesis sederhana yang perkiraannya konsisten dengan training exampel Decision tree learning menggunakan information gainDecision tree learning menggunakan information gain Performansi Learning = prediksi akurasi diukur pada test setPerformansi Learning = prediksi akurasi diukur pada test set 20T0264 - Artificial Intelligence Ringkasan

21 Stuart Russell, Peter Norvig,. 2010. Artificial intelligence : a modern approach. PE. New Jersey. ISBN:9780132071482, Chapter 18 Elaine Rich, Kevin Knight, Shivashankar B. Nair. 2010. Artificial Intelligence. MHE. New York., Chapter 17 Learning System: http://www.myreaders.info/06_Learning_Systems.pdf http://www.myreaders.info/06_Learning_Systems.pdf Machine Learning: http://www.langbein.org/publish/ai/V/AI-18-V_1.pdf 21 Referensi

22 22 T0264 - Artificial Intelligence > > End of Session 18 Good Luck