Natural Language Processing

Presentasi berjudul: "Natural Language Processing"— Transcript presentasi:

1 Natural Language Processing
Ali Ridho Barakbah Kecerdasan Buatan IT-EEPIS

2 Apa itu NLP? Proses pembuatan model komputasi dari bahasa sehingga memungkinkan terjadinya interaksi antara manusia dan komputer dengan perantaraan bahasa alami yang dipakai oleh manusia. NLP memodelkan pengetahuan terhadap bahasa, baik dari segi kata, bagaimana kata-kata bergabung menjadi suatu kalimat dan konteks kata dalam kalimat.

3 Disiplin ilmu dari NLP Fonetik / fonologi Morfologi Sintaksis Semantik
Pragmatik Discourse knowledge World knowledge

4 Fonetik / Fonologi Berhubungan dengan suara yang menghasilkan kata yang dapat dikenali. Bidang ini dipakai dalam aplikasi-aplikasi speech based system Contoh Dalam bahasa Inggris ada perbedaan yang nyata antara bunyi tin dan thin, dan antara they dan day

5 Morfologi Pengetahuan tentang kata dan bentuknya sehingga bisa dibedakan antara yang satu dengan yang lain. Contoh: membangunkan  bangun (kata dasar)  mem (prefix)  kan (suffix)

6 Sintaktis Pengetahuan tentang urutan kata dalam pembentukan kalimat.
Contoh: Kalimat  Subyek, Predikat Subyek  Determinan, KataBenda Subyek  KataBenda Predikat  KataKerja, KataBenda

7 Semantik Mempelajari arti suatu kata dan bagaimana arti kata-arti kata tersebut membentuk suatu arti kata dari kalimat yang utuh. Contoh: - Ayahku datang membawa buah tangan - Saya mau tahu. (tahu = mengerti)-  saya mau tahu. (tahu = makanan)

8 Pragmatik Pengetahuan tentang konteks kata/kalimat yang berhubungan erat keadaan atau situasi kata/kalimat tersebut dipakai. Contoh: Ayah datang (diucapkan dengan nada datar) Ayah datang! (diucapkan dengan nada tinggi) Ayah datang? (diucapkan dengan tempo cepat)

9 Discourse Knowledge Pengetahuan tentang hubungan antar kalimat.
Melakukan pengenalan apakah suatu kalimat yang telah dikenali mempengaruhi kalimat selanjutnya. Penting untuk identifikasi kata ganti orang, keterangan tempat atau aspek sementara dari informasi. Contoh: Ibu pergi ke pasar. Ia membeli makanan disana.

10 World Knowledge Mencakup arti sebuah kata secara umum dan apakah arti khusus bagi suatu kata dalam suatu percakapan dengan konteks tertentu

11 Aplikasi NLP Text-based application Speech-based application

12 Text-based application
Aplikasi yang melakukan memprosesan terhadap teks tertulis Contoh: Mencari topik tertentu dari buku di perpustakaan Mencari isi dari suatu berita atau artikel Mencari isi dari Menterjemahkan dokumen dari suatu bahasa ke bahasa lain

13 Speech-based application
Aplikasi yang melakukan memprosesan dari bahasa lisan atau pengenalan suara. Contoh: Sistem otomatis pelayanan melalui telepon Control suara pada peralatan elektronik Aplikasi peningkatan kemampuan berbahasa

14 Contoh aplikasi NLP ELIZA yang dibekali pengetahuan psikologi, sehingga beberapa orang terdorong untuk mampu merubah sikap dan perilakunya. Jupiter yang mampu memberikan informasi cuaca melalui telepon. ALVIN yang mampu menjawab pertanyaan mengenai DOS. SEXPERT yang dirancang untuk perbincangan mengenai pendidikan seksual. translator Web translator World translator

15 Jupiter

16 translator Alat yang akan menjawab masalah perbedaan bahasa, karena translator mampu menterjemahkan bahasa, seperti yang kita inginkan. Translator akan menterjemahkan kalimat-kalimat di dalam mail box, jika yang kita terima tidak sesuai dengan bahasa kita sehari-hari.

17 Web translator Suatu mesin aplikasi berbasis World Wide Web yang dapat menterjemahkan bahasa dalam suatu web site. Web Translator akan menterjemahkan bahasa di dalam semua link-link, page per page menjadi bahasa seperti yang kita inginkan.

18 World translator Suatu pengembangan dari word translator yang sudah ada. Diharapkan dengan teknik ini hasil terjemahan bahasa akan menjadi lebih sempurna, mengikuti kaidah tata bahasa. Terjemahan akan lebih cepat, akurat bukan lagi dengan sistem menterjemahkan per kata, tapi per kalimat dengan melihat Subjek-Predikat-Objek. Pengembangan ini diharapkan mampu menjawab tantangan dari word translator yang sudah ada di pasaran.

19 Gramatika Suatu aturan yang menentukan apakah suatu kumpulan kata dapat diterima sebagai kalimat dalam suatu bahasa. Context Free Grammar (CFG) adalah representasi grammar dari Chomsky Hierarchy yang mudah dipahami dan diolah dalam bentuk program. CFG merepresentasikan bahwa suatu grammar itu dapat dibentuk dari 4 elemen, yaitu: Simbol awal Aturan penulisan Simbol non terminal Simbol terminal

20 Contoh Kalimat  KataBenda KataKerja KataBenda  {ayam, kucing, budi}
simbol awal simbol non terminal aturan penulisan Kalimat  KataBenda KataKerja KataBenda  {ayam, kucing, budi} KataKerja  {makan, minum, baca} simbol terminal

21 Parsing Suatu proses menganalisa suatu kumpulan kata dengan memisahkan kata-kata itu dan menentukan struktur sintaktis dari tiap kata tersebut. Mempunyai 2 pendekatan: Top-down parsing Bottom-up parsing

22 Contoh kucing makan Kalimat KataBenda KataKerja kucing makan Bottom-up
parsing kucing makan

23 Kategori Kata N noun chair, bandwidth, pacing
V verb study, debate, munch ADJ adj purple, tall, ridiculous ADV adverb unfortunately, slowly, P preposition of, by, to PRO pronoun I, me, mine DET determiner the, a, that, those

24 Syntactic Analysis - Grammar
sentence -> noun_phrase, verb_phrase noun_phrase -> proper_noun noun_phrase -> determiner, noun verb_phrase -> verb, noun_phrase proper_noun -> [mary] noun -> [apple] verb -> [ate] determiner -> [the] NLP - Prof. Carolina Ruiz

25 Contoh Parsing

26 Penn Treebank Tagset

27 Open and Closed Classes
Closed class: a small fixed membership Prepositions: of, in, by, … Auxiliaries: may, can, will had, been, … Pronouns: I, you, she, mine, his, them, … Usually function words (short common words which play a role in grammar) Open class: new ones can be created all the time English has 4: Nouns, Verbs, Adjectives, Adverbs Many languages have these 4, but not all!

28 Open Class Words Nouns Adverbs: tend to modify things Verbs
Proper nouns (Boulder, Granby, Eli Manning) English capitalizes these. Common nouns (the rest). Count nouns and mass nouns Count: have plurals, get counted: goat/goats, one goat, two goats Mass: don’t get counted (snow, salt, communism) (*two snows) Adverbs: tend to modify things Unfortunately, John walked home extremely slowly yesterday Directional/locative adverbs (here,home, downhill) Degree adverbs (extremely, very, somewhat) Manner adverbs (slowly, slinkily, delicately) Verbs In English, have morphological affixes (eat/eats/eaten)

29 Closed Class Words Examples: prepositions: on, under, over, …
particles: up, down, on, off, … determiners: a, an, the, … pronouns: she, who, I, .. conjunctions: and, but, or, … auxiliary verbs: can, may should, … numerals: one, two, three, third, …

30 Syntactic Analysis - Parsing
sentence noun_phrase verb_phrase proper_noun verb noun_phrase determiner noun “Mary” “ate” “the” “apple” NLP - Prof. Carolina Ruiz

31 Contoh Parsing S NP VP NN IN NP VBZ NP School of NP CC NP presents JJ
and NN Wonderful Town Theatre Dance

32 Contoh Parsing

33 Referensi Modul Ajar Kecerdasan Buatan, Entin Martiana, Tessy Badriyah, Riyanto Sigit, Politeknik Elektronika Negeri Surabaya, 2005. Artificial Intelligence with Turbo Prolog, Keith Weiskamp and Terry Hengl. Talking with your computer, Victor Zue, Scientific American, August 1999. Tuntunan Praktis Pemrograman Bahasa Prolog, Andrey Andoko, cetakan kedua, Penerbit elex Media Komputindo, 1991.