Klasifikasi Dokumen Teks Berbahasa Indonesia

Presentasi berjudul: "Klasifikasi Dokumen Teks Berbahasa Indonesia"— Transcript presentasi:

1 Klasifikasi Dokumen Teks Berbahasa Indonesia
Menggunakan Minor Component Analysis Oleh : Indra Juniawan G Dibimbing Oleh : Ahmad Ridha, S.Kom, M.S DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2008

2 PENDAHULUAN

3 Latar Belakang Kebutuhan informasi yang cepat dan tepat.
Perkembangan Informasi yang pesat. Solusi : Pengelompokan dokumen. Minor Component Analysis.

4 Tujuan Implementasi dan analisis kinerja MCA dalam klasifikasi dokumen teks berbahasa Indonesia Analisis pengaruh perlakuan praproses pada hasil akurasi klasifikasi

5 Ruang Lingkup Pendidikan Ekonomi Kriminal Lingkungan Bulutangkis MCA
Klasifikasi dokumen teks Menggunakan MCA pada korpus berita digital berbahasa Indonesia Data terdiri atas 750 dokumen berita dari Media Indonesia Online Terdapat lima kelas dokumen Pendidikan MCA Ekonomi Kriminal Lingkungan Bulutangkis

6 TINJAUAN PUSTAKA

7 Minor Component Analysis
Mendapatkan komponen minor dari data input dengan melakukan update bobot secara adaptive. (Chen & Amari 2001) Komponen minor adalah arah data dengan nilai ragam terkecil. (Peng & Yi 2006)

8 x Algoritme MCA (cont..) Matriks input x(t)
Hitung matriks autokorelasi R= x(t)x(t)T x

9 Algoritme MCA (cont..) Vektor bobot w(0) η > 0 Update bobot
Learning Rate η > 0 Update bobot

10 Tokenisasi Unit pemrosesan token  term Kegagalan tim bulutangkis
Indonesia mencapai target merebut Piala Sudirman 2009 membuat PBSI harus melakukan regenerasi total. Indonesia harus membuat tim yang … Piala regenerasi Sudirman total 2009 Indonesia Indonesia membuat harus harus mencapai PBSI membuat target harus harus tim merebut melakukan yang yang (Manning 2008)

11 Stop Words Kata –kata yang tidak digunakan, terlalu umum, tidak bermakna. Stoplist  daftar kata buang. Contoh : ada adalah memang tapi (Manning 2008)

12 Stemming Cari Stemming  Memotong kata Kata dasar
Mendapatkan makna yang sama Contoh : Mencari Cari Carilah Cari (Manning 2008)

13 Pembobotan tf.idf idf bernilai log N hingga 0
Inverse document frequency (idf) idf bernilai log N hingga 0

14 K- Folds Cross Validation
Membagi data ke sub-sub set data Melakukan k kali pengujian Data Latih Data Uji (Han & Kamber 2005)

15 Uji Cochran Uji Non-Parametrik Uji signifikansi tiga sampel atau lebih
Reaksi hasil bersifat nominal Hipotesis: H0 = Semua perlakuan mempunyai efektivitas sama H1 = Terdapat perbedaan efektivitas antar-perlakuan

16 Uji Cochran (Cont..) Percobaan Perlakuan 1 2 … c X11 X12 X1c R1 X21
Xr1 Xr2 Xrc Rr C1 = 𝚺 Xi1 C2 = 𝚺 Xi2 Cc= 𝚺 Xic N=𝚺Ri

17 Uji Cochran (Cont..) Kriteria Uji : Terima H0 jika Q <
Tolak H0 jika Q >

18 METODOLOGI

19 Implementasi DATA Modul tokensiasi Modul Stopword 750 Dokumen PHP Pendidikan Ekonomi Lingkungan Bulutangkis Kriminal Klasifikasi MCA Matlab 7.01

20 Klasifikasi Perlakuan - 1 Algoritme klasifikasi: Proyeksikan dokumen
terhadap MCA setiap Kelas Hitung norm setiap vektor proyeksi Urutkan nilai norm Nilai norm terkecil  kelas dokumen Tokenisasi minimal 3 karakter White space Koma (,) Titik (.) Titik dua (:) Data Latih Data Uji Perlakuan - 2 Stop Word  263 kata (Ahmad Ridha 2002) 66,67% 33,33% Perlakuan - 3 Stemming Indonesian Stemmer Perlakuan - 4 Stop Word + Stemming

21 HASIL DAN PEMBAHASAN

22 Akurasi perlakuan ke- (%)
Praproses Perlakuan Jumlah Term Pertama 14145 Kedua 13932 Ketiga 10149 Keempat 10046 Jumlah Term Akurasi perlakuan ke- (%) 1 2 3 4 600 93,6 94 93,2 800 95,2 96,4 96 1000 94,4 97,2 1200 96,8 97,6 1400 Top – n term

23 Praproses (Cont…)

24 Praproses (cont..) Perlakuan ke- Waktu Praproses (s) 1 298,33 2
2 545,00 3 8 738,33 4 10 115,33 Vektor 1200 x 1 Pendidikan Ekonomi Lingkungan Bulutangkis Kriminal

25 Pelatihan Rata-rata waktu pelatihan = 25 440,75 detik Vektor 1200 x 1
Pendidikan Ekonomi Lingkungan Bulutangkis Kriminal

26 100% Akurasi Setiap Kelas Lingkungan Ekonomi Pendidikan Bulutangkis
Kriminal 100%

27 Akurasi Setiap Perlakuan
Perlakuan Pertama Kelas Prediksi 1 2 3 4 5 Kelas Aktual 46 50 49 = 96.4% Perlakuan Kedua Kelas Prediksi 1 2 3 4 5 Kelas Aktual 46 50 47 = 96.8%

28 Akurasi Setiap Perlakuan (cont..)
Perlakuan Ketiga Kelas Prediksi 1 2 3 4 5 Kelas Aktual 47 50 = 97.6% Perlakuan Keempat Kelas Prediksi 1 2 3 4 5 Kelas Aktual 46 50 48 = 97.6%

29 Uji Cochran Hipotesis :
𝚺Ri2 = 3859 α = 5% Akurasi Perlakuan ke- 1 2 3 4 96.4% 96.8% 97.6% Hipotesis : H0 : Keempat perlakuan memberikan hasil akurasi yang identik. H1 : Keempat perlakuan berbeda dalam hal akurasi klasifikasi.

30 3 – Folds Cross Validation

31 PENUTUP

32 Kesimpulan Penerapan klasifikasi MCA untuk dokumen teks berhasil dilakukan. Akurasi model klasifikasi yang terbentuk > 90%. Perbedaan perlakuan praroses tidak memberi pengaruh yang signifikan. Algoritme tahan terhadap perubahan data set.

33 Saran Gunakan algoritme MCA yang mampu mengambil lebih dari satu komponen minor Gunakan data yang lebih besar dan kelas data yang lebih banyak untuk melihat konsistensi efektivitas MCA

34 Terima kasih Selesai

35 Perkembangan Informasi World Wide Web
Akhir pertengahan tahun 1996 60 juta dokumen 12 juta host server. Awal tahun 1996 9 juta host server. (Li 1998) 

36 Algoritme Klasifikasi
Naïve Bayes Classifier Nearest Neighbour Single Pass Clustering Principal Component Analysis Minor Component Analysis 

37 Minor Component Analysis (MCA)
Penerapan MCA pada klasifikasi citra dapat mempercepat waktu pencarian dan efisiensi dalam pengelompokan citra. (Jancovic 2006) 

38 Query 

39 Non-Parametrik Tidak perlu sebaran normal Tidak perlu data kuantitatif

40 Non-Parametrik (cont…)
Friedman Test kuantitatif Uji Konkordansi Kendall Ordinal Cochran Test Nominal