Natural Language Processing

Presentasi berjudul: "Natural Language Processing"— Transcript presentasi:

1 Natural Language Processing

2 Apa itu NLP? • Proses pembuatan model komputasi dari
bahasa sehingga memungkinkan terjadinya interaksi antara manusia dan komputer dengan perantaraan bahasa alami yang dipakai oleh manusia. • NLP memodelkan pengetahuan terhadap bahasa, baik dari segi kata, bagaimana kata-kata bergabung menjadi suatu kalimat dan konteks kata dalam kalimat.

3 Disiplin ilmu dari NLP • Fonetik I fonologi • Morfologi • Sintaksis
• Semantik • Pragmatik • Discourse knowledge • World knowledge

4 Fonetik I Fonologi • Berhubungan dengan suara yang menghasilkan kata yang dapat dikenali. • Bidang ini dipakai dalam aplikasi-aplikasi speech based system

5 Morfologi • Pengetahuan tentang kata dan bentuknya sehingga bisa dibedakan antara yang satu dengan yang lain. • Contoh: membangunkan � bangun (kata dasar) � mem (prefix) � kan (suffix)

6 Sintaktis • Pengetahuan tentang urutan kata dalam pembentukan kalimat.
• Contoh: Kalimat � Subyek, Predikat Subyek � Determinan, Kata8enda Predikat � KataKerja, Kata8enda

7 Semantik • Mempelajari arti suatu kata dan bagaimana arti kata-arti kata tersebut membentuk suatu arti kata dari kalimat yang utuh. • Contoh: Ayahku datang membawa buah tangan

8 Pragmatik • Pengetahuan tentang konteks kataIkalimat yang berhubungan erat keadaan atau situasi kataIkalimat tersebut dipakai. • Contoh: Ayah datang (diucapkan dengan nada datar) Ayah datang! (diucapkan dengan nada tinggi) Ayah datang? (diucapkan dengan tempo cepat)

9 Discourse Knowledge • Pengetahuan tentang hubungan antar kalimat.
• Melakukan pengenalan apakah suatu kalimat selanjutnya. • Penting untuk identifikasi kata ganti orang, informasi. • Contoh: Ibu pergi ke pasar. Ia membeli makanan disana. yang telah dikenali mempengaruhi kalimat keterangan tempat atau aspek sementara dari

10 World Knowledge • Mencakup arti sebuah kata secara umum dan apakah arti khusus bagi suatu kata dalam suatu percakapan dengan konteks tertentu

11 Aplikasi NLP • Text-based application • Speech-based application

12 Text-based application
• Aplikasi yang melakukan memprosesan terhadap teks tertulis • Contoh: - Mencari topik tertentu dari buku di perpustakaan - Mencari isi dari suatu berita atau artikel - Mencari isi dari - Menterjemahkan dokumen dari suatu bahasa ke bahasa lain

13 Speech-based application
• Aplikasi yang melakukan memprosesan dari bahasa lisan atau pengenalan suara. • Contoh: - Sistem otomatis pelayanan melalui telepon - Control suara pada peralatan elektronik - Aplikasi peningkatan kemampuan berbahasa

14 Contoh aplikasi NLP • ELIZA yang dibekali pengetahuan psikologi, sehingga beberapa orang terdorong untuk mampu merubah sikap dan perilakunya. • Jupiter yang mampu memberikan informasi cuaca melalui telepon. • ALVIN yang mampu menjawab pertanyaan mengenai DOS. • SEXPERT yang dirancang untuk perbincangan mengenai pendidikan seksual. • translator • Web translator • World translator

15 Jupiter 'nfurmation (an ~give you?
,-\ Conversation wi: h Jupiter Vl.: YVi11h: rai n tomottoW1 Jupittt~ To my knaNfedg~ 'dw forecast ci11~for no fa~n ~n Bo~ton t()t'r1otrow~I~there anyth itfg E:tse1 V2.~H<1w about Seattle? Jupiter: To my knowledger the forecast tans fur no rafr\ In "'i(' f,:..~~,"..II,fn(~ r:, J1 !;r)n.I~:r~'~~r ,:,~ () ~,'7,.'~y.',~~'_~'(n~'~_Y;~~f~'l,~~:'~','ti h: ,II:'I:I~',-I~'V,:tOUI ~ -.if? !,H t(j ~hE' ~t.,J);T~J '~y~f~"~l (~.r ~w:! ,'al~_Jr iw'(),I" Ill! lrrr:1r , _luprJ ~,~r~,r'1/,I-ff~em)n~~~cri~ ,I r-!-i~? ~,,-"~"t.:'7'~-i, [Phone ringing] Jupiter! Hi. Weltome to Jupiter, M.LT.Lab for Cotnputt-t Sd~nre Weath~r 1rformstlon System. Thi~rnti j~ l)!in9 record­ ed for system develupn1~tJt. You May hang up 0 r 85k for hefp at any time ..How can 1~elp you? V:tl~Wh at Is th e foreca:St for Bo§ton today7 [Tht!th erne "5(J ng of tne Jeopardy plays d ut­ ing a pause of seven second 5. Ea(~ of iOOl subsequent qoes­ tic ns Is foil owed by a pause of one to three ~econds.] Ju~r: In Boston this ~r.nOOh p~rtly lunny ,and windy. S4attle tomOrroW, r5 t~' SOtt1eti1 ing else you WJjuld fike to Kl\O\vl V:L~ Is ~t5 U nny anywhere in ca rib~a n? Jupl ~ Sorry11 am notwre What you said. Vl.~Isit ~unny~nywherern the carib~nt J upl~ ~am ~~ I may not 'know the (ity you .are asking about. Try asking fdt the state at country. For i!!J<ampler what c~ies do you know about,in Ma~chusettsi Vl~~WJtat is the eem in Montego Say7 J u pier: In Montega Bay today, high 86 and ~ow there Som ething el~ ~ VL:Good·bye, H!gh around SO"Tonight. dea~ 1o\r{$dtt)und 3S.W~t 'nfurmation (an ~give you? oth er

16 translator Alat yang akan menjawab masalah perbedaan bahasa, karena translator mampu menterjemahkan bahasa, seperti yang kita inginkan. • Translator akan menterjemahkan kalimat- kalimat di dalam mail box, jika yang kita terima tidak sesuai dengan bahasa kita sehari- hari.

17 Web translator • Suatu mesin aplikasi berbasis World Wide Web yang dapat menterjemahkan bahasa dalam suatu web site. • Web Translator akan menterjemahkan bahasa di dalam semua link-link, page per page menjadi bahasa seperti yang kita inginkan.

18 World translator • Suatu pengembangan dari word translator yang
terjemahan bahasa akan menjadi lebih • Terjemahan akan lebih cepat, akurat bukan lagi per kalimat dengan melihat Subjek-Predikat- • Pengembangan ini diharapkan mampu sudah ada di pasaran. sudah ada. Diharapkan dengan teknik ini hasil sempurna, mengikuti kaidah tata bahasa. dengan sistem menterjemahkan per kata, Objek. tapi menjawab tantangan dari word translator yang

19 Gramatika • Suatu aturan yang menentukan apakah suatu
dalam suatu bahasa. • Context Free Grammar (CFG) adalah yang mudah dipahami dan diolah dalam • CFG merepresentasikan bahwa suatu yaitu: • Simbol awal • Aturan penulisan • Simbol non terminal • Simbol terminal kumpulan kata dapat diterima sebagai kalimat representasi grammar dari Chomsky Hierarchy bentuk program. grammar itu dapat dibentuk dari 4 elemen,

20 Contoh Kalimat � Kata8enda KataKerja Kata8enda � {ayam, kucing, budi}
simbol awal simbol non terminal aturan penulisan Kalimat � Kata8enda KataKerja Kata8enda � {ayam, kucing, budi} KataKerja � {makan, minum, baca} simbol terminal

21 Parsing • Suatu proses menganalisa suatu kumpulan kata dengan memisahkan kata- kata itu dan menentukan struktur sintaktis dari tiap kata tersebut. • Mempunyai 2 pendekatan: - Top-down parsing - 8ottom-up parsing

22 Contoh kucing makan Kalimat Kata Benda Kata Kerja kucing makan
Bottom·up parsing kucing makan

23 Referensi • Modul Ajar Kecerdasan 8uatan, Entin Martiana, Tessy 8adriyah, Riyanto Sigit, Politeknik Elektronika Negeri Surabaya, 2005. • Artificial Intelligence with Turbo Prolog, Keith Weiskamp and Terry Hengl. • Talking with your computer, Victor Zue, Scientific American, August 1999. • Tuntunan Praktis Pemrograman 8ahasa Prolog, Andrey Andoko, cetakan kedua, Penerbit elex Media Komputindo, 1991.