Natural Language Processing

Presentasi berjudul: "Natural Language Processing"— Transcript presentasi:

1 Natural Language Processing

2 Definisi Pemroses bahasa alami (Natural Language Processing/NLP) adalah suatu aplikasi (program) dalam bidang AI yang dapat mengartikan suatu bahasa baik bahasa tulisan maupun bahasa lisan atau memproses masukan yang berupa bahasa menjadi suatu informasi atau pengetahuan Yang menjadi pembahasan bukan bagaimana bahasa diinput atau dimasukkan kedalam program, tetapi lebih kepada bagaimana mengartikan suatu bahasa atau mengcopy / mengambil informasi/pengetahuan dari suatu bahasa.

3 NLP adalah proses pembuatan model komputasi dari bahasa sehingga memungkinkan terjadinya interaksi antara manusia dan komputer dengan perantaraan bahasa alami yang dipakai oleh manusia. NLP memodelkan pengetahuan terhadap bahasa, baik dari segi kata, bagaimana kata-kata bergabung menjadi suatu kalimat dan konteks kata dalam kalimat.

4 Pembagian NLP Masalah pemrosesan bahasa alami dibagi menjadi dua
bagian besar, yaitu : Pemrosesan Naskah Tertulis menggunkan pengetahuan tentang leksikal, sintax, dan semantik Pemrosesan Bahasa Lisan menggunakan semua pengetahuan dari pemrosesan naskah tertulis ditambah pengetahuan tentang phonology.

5 Masalah dalam NLP Beberapa masalah yang dihadapi dalam pemrosesan bahasa alami antara lain adalah : Suatu kalimat sering kali tidak lengkap, artinya tidak memberi informasi yang jelas atau lengkap Satu kalimat dapat memiliki lebih dari satu pengertian dalam konteks yang berbeda Tidak ada program pemroses bahasa alami yang cukup lengkap karena bahasa selalu berkembang, kosa kata selalu bertambah. 4. Bisa terdapat lebih dari satu cara (lebih dari satu kalimat) untuk mengungkapkan hal(maksud) yang sama.

6 Tahapan Proses Untuk memproses bahasa alami diperlukan 5 langkah sebagai berikut : Analisis Morpology Pada tahap ini dilakukan analisa untuk setiap kata dan komponen yang dimiliki tiap kata termasuk token non kata seperti spasi, tanda baca, tanda pemisah. Analisis Sintax Pada tahap ini sederetan kata disusun kedalam struktur yang memperlihatkan bagaimana hubungan satu kata dengan kata lainnya. Deretan kata akan ditolak bila tidak memenuhi aturan penyusunan kata yang ada

7 Analisis semantik Pada tahap ini struktur deretan kata yang sudah terbentuk akan diberi arti. Dengan kata lain pemetaan dibuat antara struktur sintax dengan object yang berhubungan. Discourse Knowledge Pada tahap ini arti dari suatu kalimat disesuaikan dengan kalimat-kalimat lain, karena arti dari suatu kalimat biasanya berhubungan dengan kalimat sebelumnya dan kalimat sesudahnya. Analisis Pragmatis Struktur yang terbentuk menghasilkan interpretasi ulang dari apa yang sudah dikatakan atau ditulis sebelumnya dengan arti yang sebenarnya.

8 Morfologi Pengetahuan tentang kata dan bentuknya sehingga bisa dibedakan antara yang satu dengan yang lain. Contoh: membangunkan  bangun (kata dasar)  mem (prefix)  kan (suffix)

9 Sintaktis Pengetahuan tentang urutan kata dalam pembentukan kalimat.
Contoh: Kalimat  Subyek, Predikat Subyek  Determinan, KataBenda Predikat  KataKerja, KataBenda

10 Semantik Mempelajari arti suatu kata dan bagaimana arti kata-arti kata tersebut membentuk suatu arti kata dari kalimat yang utuh. Contoh: - Ayahku datang membawa buah tangan - Saya mau tahu. (tahu = mengerti)-  saya mau tahu. (tahu = makanan)

11 Discourse Knowledge Pengetahuan tentang hubungan antar kalimat.
Melakukan pengenalan apakah suatu kalimat yang telah dikenali mempengaruhi kalimat selanjutnya. Penting untuk identifikasi kata ganti orang, keterangan tempat atau aspek sementara dari informasi. Contoh: Ibu pergi ke pasar. Ia membeli makanan disana.

12 Pragmatik Pengetahuan tentang konteks kata/kalimat yang berhubungan erat keadaan atau situasi kata/kalimat tersebut dipakai. Contoh: Ayah datang (diucapkan dengan nada datar) Ayah datang! (diucapkan dengan nada tinggi) Ayah datang? (diucapkan dengan tempo cepat)

13 World Knowledge Mencakup arti sebuah kata secara umum dan apakah arti khusus bagi suatu kata dalam suatu percakapan dengan konteks tertentu

14 Fonetik / Fonologi Berhubungan dengan suara yang menghasilkan kata yang dapat dikenali. Bidang ini dipakai dalam aplikasi-aplikasi speech based system Contoh Dalam bahasa Inggris ada perbedaan yang nyata antara bunyi tin dan thin, dan antara they dan day

15 Grammar dan Parsers Grammar adalah suatu aturan yang menentukan bagaimana suatu kalimat dalam suatu bahasa dibentuk. Grammar berisi kumpulan sintax yang baku/benar dari suatu bahasa. Contoh : Dalam bahasa Indonesia, suatu kalimat biasanya terdiri dari Subject-Predikat-Object-Keterangan Parsers adalah suatu metode atau suatu program (sering disebut suatu mesin) yang dapat memproduksi/menghasilkan kalimat atau bahasa yang sesuai dengan Grammar yang sudah ditentukan atau diinginkan. Parsers juga dapat memeriksa apakah suatu kalimat yang dimasukkan sesuai dengan Grammar atau tidak.

16 Jenis Parsers Parsers terdiri dari dua jenis, yaitu : Top-Down Parsing
memulai proses parsing dari simbol start dan menggunakan aturan grammar sampai simbol-simbol terminal pada tree terhubung ke komponen kalimat yang di parsing Bottom-Up Parsing memulai proses parsing dari kalimat yang akan di parsing dan menggunakan aturan grammar secara terbalik untuk memproduksi kata menjadi terminal, terminal menjadi kalimat sampai tree/ pohon lengkap dan simbol start tercapai

17 Aplikasi NLP Text-based application Speech-based application

18 Text-based application
Aplikasi yang melakukan memprosesan terhadap teks tertulis Contoh: Mencari topik tertentu dari buku di perpustakaan Mencari isi dari suatu berita atau artikel Mencari isi dari Menterjemahkan dokumen dari suatu bahasa ke bahasa lain

19 Speech-based application
Aplikasi yang melakukan memprosesan dari bahasa lisan atau pengenalan suara. Contoh: Sistem otomatis pelayanan melalui telepon Control suara pada peralatan elektronik Aplikasi peningkatan kemampuan berbahasa

20 Contoh aplikasi NLP ELIZA yang dibekali pengetahuan psikologi, sehingga beberapa orang terdorong untuk mampu merubah sikap dan perilakunya. Jupiter yang mampu memberikan informasi cuaca melalui telepon. ALVIN yang mampu menjawab pertanyaan mengenai DOS. SEXPERT yang dirancang untuk perbincangan mengenai pendidikan seksual. translator Web translator World translator

21 Jupiter

22 translator Alat yang akan menjawab masalah perbedaan bahasa, karena translator mampu menterjemahkan bahasa, seperti yang kita inginkan. Translator akan menterjemahkan kalimat-kalimat di dalam mail box, jika yang kita terima tidak sesuai dengan bahasa kita sehari- hari.

23 Web translator Suatu mesin aplikasi berbasis World Wide Web yang dapat menterjemahkan bahasa dalam suatu web site. Web Translator akan menterjemahkan bahasa di dalam semua link-link, page per page menjadi bahasa seperti yang kita inginkan.

24 World translator Suatu pengembangan dari word translator yang sudah ada. Diharapkan dengan teknik ini hasil terjemahan bahasa akan menjadi lebih sempurna, mengikuti kaidah tata bahasa. Terjemahan akan lebih cepat, akurat bukan lagi dengan sistem menterjemahkan per kata, tapi per kalimat dengan melihat Subjek-Predikat-Objek. Pengembangan ini diharapkan mampu menjawab tantangan dari word translator yang sudah ada di pasaran.

25 Gramatika Suatu aturan yang menentukan apakah suatu kumpulan kata dapat diterima sebagai kalimat dalam suatu bahasa. Context Free Grammar (CFG) adalah representasi grammar dari Chomsky Hierarchy yang mudah dipahami dan diolah dalam bentuk program. CFG merepresentasikan bahwa suatu grammar itu dapat dibentuk dari 4 elemen, yaitu: Simbol awal Aturan penulisan Simbol non terminal Simbol terminal

26 Contoh simbol awal simbol non terminal aturan penulisan Kalimat  KataBenda KataKerja KataBenda  {ayam, kucing, budi} KataKerja  {makan, minum, baca} simbol terminal

27 Parsing Suatu proses menganalisa suatu kumpulan kata dengan memisahkan kata-kata itu dan menentukan struktur sintaktis dari tiap kata tersebut. Mempunyai 2 pendekatan: Top-down parsing Bottom-up parsing

28 Contoh Kalimat KataBenda KataKerja kucing makan Bottom-up parsing

29 Kategori Kata N noun chair, bandwidth, pacing
V verb study, debate, munch ADJ adj purple, tall, ridiculous ADV adverb unfortunately, slowly, P preposition of, by, to PRO pronoun I, me, mine DET determiner the, a, that, those

30 Syntactic Analysis - Grammar
sentence -> noun_phrase, verb_phrase noun_phrase -> proper_noun noun_phrase -> determiner, noun verb_phrase -> verb, noun_phrase proper_noun -> [mary] noun -> [apple] verb -> [ate] determiner -> [the] NLP - Prof. Carolina Ruiz

31 Syntactic Analysis - Parsing
sentence noun_phrase verb_phrase proper_noun verb noun_phrase determiner noun “Mary” “ate” “the” “apple” NLP - Prof. Carolina Ruiz

32 Contoh Parsing S NP VP NN IN NP VBZ NP School of NP CC NP presents JJ
and NN Wonderful Town Theatre Dance

33 Contoh Parsing

34 Contoh Parsing