JST Jaringan Saraf Tiruan.

Presentasi berjudul: "JST Jaringan Saraf Tiruan."— Transcript presentasi:

1 JST Jaringan Saraf Tiruan

2 Tahapan JST Tahap pembelajaran Tahap implementasi / testing

3 Paradigma Pembelajaran
Terawasi (Supervised Learning) input dan output ditentukan, ada contoh untuk pelatihan. Tak Terawasi (Unsupervised Learning) tak ada contoh pelatihan. Gabungan antara Supervised dan Unsupervised (Hybrid)

4 Perceptron Neuron: Sel syaraf biologis Perceptron: Sel syaraf buatan
Fungsi Input Fungsi Aktivasi Output

5 Perceptron

6 Perceptron Perceptron = MODEL SEDERHANA dari neuron
Apa yang bisa dilakukan oleh satu perceptron? Klasifikasi Prediksi Optimasi, …

7 AND x1 x2 y 1 w = 1 x1  y y x2 w = 1 θ = 1,5

8 OR x1 x2 y 1 w = 1 x1  y y x2 θ = 0,5 w = 1

9 XOR y y y y    θ = 0,5 w = -1 x1 w = 1 w = 1 w = 1 θ = 0,5 w = 1 x2
1 θ = 0,5 w = -1  y x1 w = 1 w = 1  y y w = 1 θ = 0,5  y w = 1 x2 w = -1 θ = 0,5

10 Visualisasi 100 dimensi? Bisa dengan Perceptron?

11 Pola Pix 1 2 3 4 5 … 100 E1 F1 G1 O1 .. O5

12 Multi-Layer Perceptron (MLP)

13 Back Propagation (Propagasi balik)

14 Algoritma Belajar Propagasi Balik
Definisikan masalah Matriks pola masukan (P) matriks target (T) Inisialisasi parameter jaringan Arsitektur jaringan (misalkan I-H-O) Bobot acak (atau dengan metode tertentu) Learning rate (lr)  laju belajar Threshold MSE  untuk menghentikan learning

15 Pengenalan Karakter E, F, G, O
Matriks P Matriks T Pola Pix 1 2 3 4 5 … 100 E1 F1 G1 O1 E2 O5 N1 N2 N3 N4 Kelas 1 E F G O …

16 Training W1 W1 W2 W2 A1 A2 T E F2, G2, O2, … dan seterusnya
W1 & W2: Random 0.71 -0.21 0.33 0.97 -0.18 0.62 0.55 -0.12 0.75 W1 -0.54 0.15 -0.49 0.68 -0.24 -0.95 -0.37 0.89 0.34 W1 -0.52 0.91 0.29 0.97 -0.18 0.62 0.55 -0.12 0.68 W2 -0.21 -0.53 0.58 0.32 0.25 -0.17 -0.93 0.45 0.88 0.87 W2 9.5 4.3 8.7 A1 0.9 0.1 0.4 0.3 A2 1 T 0.1 -0.1 -0.4 -0.3 E F2, G2, O2, … dan seterusnya hingga pola O5

17 Testing W1 W2 A2 Kelas W1 & W2: Trained 0.01 -0.83 0.19 0.34 0.22 0.62
0.60 -0.53 -0.38 W1 0.31 -0.38 0.35 0.87 -0.18 0.30 0.03 -0.09 0.98 0.74 W2 0.8 0.2 0.1 A2 1 Kelas

18 Strategi penggunaan ANN
Cara memandang masalah: Klasifikasi Sekuriti Prediksi Optimasi Teknik learning: Supervised/Unsupervised Desain Arsitektur Jumlah layer Jumlah neuron Pemetaan output Strategi learning Penyiapan data: filterisasi data, pembagian data (training, validasi, test) Parameter: inisialisasi (acak atau memakai algoritma), laju belajar, dsb. Penghentian learning

19 Kasus 1 Verifikasi tandatangan
OFFLINE atau ONLINE? Citra: 100 x 100 pixel grayscale Satu juta tandatangan? Input & Output? P dan T? Struktur dan parameter MLP? Perlu preprocessing?

20 Kasus 2: Sistem keamanan
Satu ruangan hanya 10 orang yang boleh masuk Setiap orang yang akan masuk ruangan harus menempelkan ibu jari untuk diverifikasi sidik jarinya Citra: 300 x 300 pixels Input & Output? P dan T? Struktur dan parameter MLP? Perlu preprocessing?

21 Kasus 3: Prediksi pelanggan PSTN
Data riil dari PT Telkom Jumlah pelanggan bulanan selama 7 tahun Error harus < 1 % Input & Output? P dan T? Struktur dan parameter MLP? Perlu preprocessing?

22 Kasus 4: Spam Filtering Email spam
sampah atau yang tidak diperlukan user Contoh: Instant messaging spam Web search engine spam Blogs spam Mobile phone messaging spam, dsb. Jumlahnya mencapai 90 milyar per hari

23 Tujuan Spam Penipuan (lotre, silahkan hubungi kami di alamat ...)
Money laundring (menawarkan transaksi pekerjaan yang berhubungan dengan rekening bank) Promosi produk (seperti produk obat- obatan) Menyebarkan virus, trojan, worm, dsb.

24 From: DOUGLAS M ROBIN douglas_markrobin@yahoo. co
From: DOUGLAS M ROBIN Subject: COMPLETE THE FORM WITH YOUR PASSPORT PHOTO ATTACHED The National Lottery PAYMENT/PROCESSING OFFICE, LONDON, UK RIDGE-WAY,LONDON NW71RN Batch/074/05/ZY3 Ticket/ Serial No / Dear (), l acknowledge the receipt of your mail, as regard your request the reason is that over the years we have had cases of double claim of winnings and with the help of the verification form its earlier to detect the winners in various category. Your information is need to process other vital document before your cash prize can be release to you for claim. l need those vital information alongside passport photo to proceed with the processing of your winnings.l need urgent response in 24 hrs because you have less 2 weeks . Regards, Douglas Robin. (FIDUCIARY OFFICER)

25 Discovery Challenge Merupakan kompetisi tingkat internasional tentang Personalised Spam Filtering yang diselengarakan di Humboldt-Universität zu Berlin, Jerman. Menemukan daftar aturan atau strategi yang dapat membedakan suatu sebagai spam atau bukan.

26 Data 4000 sebagai training set untuk proses pelatihan (learning) spam dan 2000 non-spam. 4000 sebagai tune set (validation set) untuk proses validasi hasil learning spam dan non-spam. 2500 sebagai validation set untuk proses validasi hasil learning. Data ini diambil dari suatu inbox pengguna yang berisi 1250 spam dan 1250 non-spam. 7500 sebagai test set yang belum ada labelnya: spam atau non-spam. Data ini diambil dari 3 inbox, dimana masing-masing inbox berisi

27 Aturan Agar kompetisi berjalan adil, tersebut dikodekan ke dalam angka-angka. Pertama, dibuat daftar semua kata yang pernah muncul pada semua tersebut (sering kita sebut dengan wordlist atau dictionary). Dari semua tersebut, ternyata dihasilkan dictionary yang berisi lebih dari kata. Kedua, setiap akan diparsing dan setiap kata yang ditemukan diganti dengan nomor kata pada dictionary yang sudah dibuat tadi dan dihitung juga frekuensi kemunculan setiap kata dalam tersebut. spam diberi kode 1, non-spam diberi kode -1, dan yang belum diketahui spam atau non-spam diberi kode 0.

28 Misal: Wordlist (Dictionary)
No Kata 1 attached 2 document 3 form 4 lottery 5 national 6 open 7 passport 8 ticket … urgent

29 From: DOUGLAS M ROBIN douglas_markrobin@yahoo. co
From: DOUGLAS M ROBIN Subject: COMPLETE THE FORM WITH YOUR PASSPORT PHOTO ATTACHED The National Lottery PAYMENT/PROCESSING OFFICE, LONDON, UK RIDGE-WAY,LONDON NW71RN Batch/074/05/ZY3 Ticket/ Serial No / Dear (), l acknowledge the receipt of your mail, as regard your request the reason is that over the years we have had cases of double claim of winnings and with the help of the verification form its earlier to detect the winners in various category. Your information is need to process other vital document before your cash prize can be release to you for claim. l need those vital information alongside passport photo to proceed with the processing of your winnings.l need urgent response in 24 hrs because you have less 2 weeks . Regards, Douglas Robin. (FIDUCIARY OFFICER)

30 Contoh: Spam Email 1 35:1 73:1 77:1 206:1 16176:1
1 2058: : :1 1 9:3 94:1 109:1 163:1 405:1 406:1 415:2 416:1 435:3 436:3 437:4 440:4 450:3 456:1 457:1 461:1 466:1 467:1 477:1 478:1 751: :1 1034: :1 1216:1 1226: :1 1666:1 2344:1 2345:1 2505:1 2528: :1 4339:1 4463:1 7480:1 8143: : : : : : : : : : : : : : : : : : : : : : :1

31 Contoh: Non-Spam Email
-1 9:1 82:1 92:1 104:1 231:1 308:1 338:1 351:1 390:1 440:2 693:1 933:1 975:1 984: :1 2404:2 2560:2 2589:2 3361:1 3630: :1 4059:1 6515:1 7851:1 8762: : : : : : : : : : : : :1

32 Contoh: Email Tak Berlabel
0 94:1 204:1 257:1 582:1 4898:1 6371:1

33 Teknik Klasifikasi? ID3 Bayesian Learning Algoritma Genetika
Support Vector Machine ANN: MLP Atau teknik lainnya

34 Training Set Email ke- K1 K2 K3 K4 K5 K6 … K200000 Kelas 1 3 9 2 7 -1
2 7 -1 17 8 4 16 5 6 12 18 4000 23

35 Supervised vs Unsupervised
Klasifikasi Clustering Kelas harus diketahui Kelas tidak harus diketahui Waktu training lambat Waktu training cepat

36 Supervised vs Unsupervised
Supervised  Klasifikasi Jumlah kelas diketahui Tersedia data latih yang VALID Unsupervised  Clustering Jumlah kelas bisa tidak diketahui Tidak tersedia data latih yang VALID User mengajari ANN ANN memberitahu user

37 ANN Klasifikasi atau Clustering Mudah implementasi Akurasi tinggi
Tahan noise Implementasi hardaware (CHIP) Harus tersedia data latih dengan kelas yang jelas Waktu training lama Training ulang Penalarannya tidak bisa dijelaskan (Weights)