TEXT OPERATION Muhammad Yusuf Teknik Multimedia dan Jaringan Universitas Trunojoyo Madura

Knowledge Discovering Technique Knowledge Discovery adalah teknik yang digunakan untuk mengaplikasikan hasil dari data mining dan memberikan pengertian terhadap hasil tersebut. Beberapa tekniknya antara lain : Ontology construction Clustering Text categorization Subtechniques: - information extraction, text analysis

Ontology Construction An ontology adalah suatu konsep hierarki yang terstruktur menggambarkan domain yang spesifik dari pengetahuan, yang dapat digunakan untuk membuat basis pengetahuan. Ontology berisi konsep, a subsumption hierarchy, hubungan yang berubah-ubah diantara konsep, dan aksioma. Hal ini berarti berisi batasan dan fungsi lainnya.

Clustering Clustering adalah metode analisa data, yang sering dimasukkan sebagai salah satu metode Data Mining, yang tujuannya adalah untuk mengelompokkan data dengan karakteristik yang sama ke suatu ‘wilayah’ yang sama dan data dengan karakteristik yang berbeda ke ‘wilayah’ yang lain

Information Extraction The Information Extraction (IE) task: dari masing- masing teks dalam sekumpulan teks natural language yang mengekstraksi informasi tentang predefined Classes dari entitas dan hubungan serta tempat dari informasi ini ke dalam template atau database record.

Text Categorization Text categorization yaitu proses pengelompokan Dokumen yang bisa berupa konten web page, ke dalam beberapa kelas yang telah ditentukan. Jika tidak ada overlap antar kelas, yaitu Setiap dokumen hanya dikelompokan kedalam satu kelas maka text categorization ini disebut single label text categorization . Text categorization bertujuan untuk menemukan model dalam mengkategorisasikan teks natural language. Model tersebut akan digunakan untuk menentukan kelas dari suatu dokumen.

Text Analysis Text analytics menggambarkan tentang kumpulan linguistik, statistikal, dan teknik machine learning yang memodelkan dan menyusun konten informasi dari sumber tekstual untuk business intelligence, exploratory data analysis, research, atau investigasi.

Text Operation Ada 2 yaitu : General Document Preprocessing Query Preprocessing

General Document Preprocessing 1. Lexical analysis/Tokenization (memilah kalimat per kata) 2. Parts-of-speech tagging (menemukan bagian-bagian kalimat) 3. Stopwords (menghapus kata yang tidak perlu) 4. Stemming/lemmatization (menghapus variasi kata untuk mendapatkan kata dasar) 5. Index terms. 6. Thesaurus (daftar kesamaan kata)

Query Preprocessing 1. Phrasing (menggabungkan kata yang memiliki arti khusus) 2. Anti-phrasing (menghilangkan kata-kata yang dapat mengganggu proses pencarian)

General Document Preprocessing

1. Lexical Analysis / Tokenization Memilah Kata perkata berdasar : Angka Tanda penghubung Tanda baca Othographic variation

Contoh Tokenization Saya sedang kuliah di Universitas Trunojoyo Madura. Pemotongan Pertama Saya // Sedang // kuliah // di // Universitas //Trunojoyo // Madura //

2. Parts-of-speech tagging Menemukan bagian-bagian kalimat Saya (s) sedang(ket) kuliah(kk) di(ks) Universitas Trunojoyo Madura (o). Pemakaian POS Menghapus perbedaan yang tidak relevan Menghapus Ambiguities Membantu Steamming Membantu Mencari Kata Benda

3. Stopword menghapus kata sambung Alasan pemakaian stopword Hampir 80% kata dalam suatu dokumen tidak bisa digunakan dalam IR Mengurangi jumlah index (40%)

Contoh Stopword Kata Ganti (kami, kita, mereka, itu) Kata Bilangan (beberapa, banyak, sedikit) Kata Keterangan (sangat, hanya, lebih) Kata Tugas (bagi, dari, dengan, pada) Kata Penghubung (sesudah, selesai,sebelum) dll

4. Stemming menghapus variasi kata untuk mendapatkan kata dasar Contoh Diperdengarkannya = Di per dengar kan nya Memperlakukan = mem per laku kan

Metoda Stemming Succesor Variety N-gram Stemmers Affiks Removal Stemmers - Longest Match - Simple Removal Table Look up

4. Lemmatization Memetakan kata kedalam satu kata yang diterima Contoh - Better => good - Best => good - Writes => write - Written => write

5. Selection of Index Terms All Word Not all words used as index terms - Nouns carry most of the semantics; - Noun group - combination of 2 or 3 nouns (computer science); (Collocations; to be analyzed later)

6. Thesaurus Control vocabulary untuk indexing dan searching Membuat list kata-kata yang penting Mengumpulkan kata lain yang berhubungan dengan kata dalam daftar kata penting

Query Preprocessing

1. Phrasing Beberapa kata kunci diinterpretasikan sebagai kalimat agar menaikkan keakuratan Contoh Information Retrieval => 1.000.000 doc “Information Retrieval” => 6.300 doc New york art museum ”New york” +art +museum +”Art Museum”

2. Anti-phrasing Menghapus kata yang tidak relevan dari sebuah kata kunci Contoh Where can I find the economist The economist

Phrasing vs Anti phrasing Where do I find the New York Phrasing Where do I find the “New York” Anti Phrasing “New York”