1

ComputationaltextLinguistics

social media

translation

text mininginformation extractionessay scoring

text categorizationspam filtering

semanticsentiment analysis

dialogue

syntacticword sensenamed entity

Ayu Purwarianti - NLP

Apa itu Computational Linguistics

Teks Bahasa Alami

Bahasa Pemrograman

???Ok

3

Mengapa Belajar Computational Linguistics?

• Perkembangan internet dengan jutaan dokumen merupakan kesempatan bagi industri dgn spesialisasi bidang CL

• Keinginan manusia untuk menggunakan teknologi yg human-friendly termasuk dalam interaksi dengan menggunakan bahasa sehari-hari

• Perkembangan teknologi CL sangat terkait dengan bahasa dari sebuah negara/daerah tertentu kesempatan bagi industri lokal untuk bersaing dengan dunia global

Ayu Purwarianti - NLP

4

Prospek Industri CL

• Sangat tinggi, tergantung kreativitas

Ayu Purwarianti - NLP

TEXT MINING

Dokumen Teks

Pengetahuan

6

Information Extraction

Ayu Purwarianti - NLP

unstructured text

structured text

7

Text Categorization

Ayu Purwarianti - NLP

spam filteringLabel: spam vs bukan spam

Kategorisasi/klasifikasi teks/dokumen: Pemberian label atau kategori thd teks/dokumen secara otomatis

Sentiment analysisLabel: positif, negatif, netral

Document clusteringLabel: bebas tergantung kata kunci pd dok

Plagiarism detectionLabel: plagiat vs tdk plagiat

Essay scoringLabel: nilai

8

Information Retrieval

Sistem mampu memberi dokumen yang relevan terhadap user input yang berupa query atau kumpulan kata dengan bersumber dari kumpulan dokumen

Ayu Purwarianti - NLP

Kata-kata(dlm bhs sehari-hari)

Kumpulan dokumenyang relevan

9

Question Answering

Sistem mampu memberi jawaban atau potongan teks yg berisi jawaban untuk user input yang berupa pertanyaan secara otomatis dari kumpulan dokumen

Ayu Purwarianti - NLP

pertanyaan(dlm bhs sehari-hari)

jawaban

• Chat Robot• Example:

– Human: can you change how you look?ALICE: Yes the ALICE robot is fully parameterized.Human: how to parameterize it?ALICE: What is it to you. I haven't heard of to parameterize it.Human: I mean, I want to see you with other clothALICE: Oh I get it. Thanks for explaining that. Is it a movie?Human: No of course notALICE: A boot? A TV show? Then what is it?

Alice…

Text Understanding

Machine Translation

Sistem mampu mengubah teks dari suatu bahasa alami ke dalam

bahasa alami lain

12

Tools Dasar pada CL

Ayu Purwarianti - NLP

Pemrosesan Leksikal

Syntactic Analysis

Semantic Analysis

Pemrosesan Pragmatik

TokenisasiPemisahan kalimatStemmingLemmatisasiPOS Tagger

Named Entity TaggerPhrase Tagger

Parser

Word Sense DisambiguationSemantic Analysis

reference resolutionanaphora

13

Permasalahan pada Aplikasi CL (peluang riset)

• OOV (Out of vocabulary)– kata-kata baru yang tidak ada pada kamus

• Ambiguitas– Kata-kata yang memiliki lebih dari satu arti

• Utk bahasa Indonesia: low resource language sedikitnya tools dasar CL yang tersedia

• Keterkaitan antar tools dasar – rendahnya akurasi sebuah tools dasar akan

mempengaruhi tools dasar lain yg menggunakannya– Lamanya waktu eksekusi

Ayu Purwarianti - NLP