Question Answering from the Web UsingKnowledge Annotation and Knowledge Mining Techniques

olehJimmy Lin and Boris Katz

diceritakan kembali oleh:Jan Peter Alexander

Poin Penting Paper

● Sistem Question-Answering● Data dari World Wide Web (WWW)

ARANEA● Teknik

● Knowledge Annotation● Knowledge Minning

STARTparagraf

Permasalahan

● Sistem Temu-Kembali Traditional● Pencarian dengan daftar potensi halaman.

[bikin pusing]

● Factoid!● Pertanyaan mengarah ke Jawaban

– Kapan John Doe Lahir?● Jawaban sederhana

– 1970 [TAHUN]

Konsep

● Hukum Zipf (Zipf’s Law)

“A small fraction of question types accounts for a significant portion of all question instances.”

“Sebagian kecil dari jenis pertanyaan menjawab sebagian besar pertanyaan-

pertanyaan yang ada.”

Konsep (cont'd)

Aranea

WebDatabases

GoogleKnowledgeAnnotation

KnowledgeMining

KnowledgeBoosting

Questions

Answers

KnowledgeAnnotation

CIAWorld Factbook

Biography.com 50states.com...

When was x born?What is the birth date of x?...→ {biography.com, x, birthdate}

KnowledgeMining

Formulasikan Permintaan

Buat N-grams

Pilih (vote)

Saring Kandidat

Kombinasikan Kandidat

Nilai Kandidat

Dapatkan Dukungan

Eksekusi Permintaan

Kuantitas daripada Kualitas

Ada 2 Jenis kueri:

- Tepat (exact) Pattern matching

- Tidak Tepat (inexact) Sekumpulan kata kunci

“When did the Mesozoic period end?”

KnowledgeMining

Formulasikan Permintaan

Buat N-grams

Pilih (vote)

Saring Kandidat

Kombinasikan Kandidat

Nilai Kandidat

Dapatkan Dukungan

Eksekusi Permintaan

“When did the Mesozoic period end?”

KnowledgeMining

Formulasikan Permintaan

Buat N-grams

Pilih (vote)

Saring Kandidat

Kombinasikan Kandidat

Nilai Kandidat

Dapatkan Dukungan

Eksekusi Permintaan Query: When did the Mesozoic period end

Tipe: inexactSkor: 1Snippet yg hendak digali: 100

Query: the Mesozoic period ended

Tipe: inexactSkor: 1Snippet yg hendak digali: 100

Query: the Mesozoic period ended ?x

Type: exactSkor: 2Snippet yg hendak digali: 100Maks. panjang ?x: 50Maks. panjang kata ?x: 5

KnowledgeMining

Formulasikan Permintaan

Buat N-grams

Pilih (vote)

Saring Kandidat

Kombinasikan Kandidat

Nilai Kandidat

Dapatkan Dukungan

Eksekusi Permintaan

Menghasilkan semua kemungkinan N-gram

(Unigram, Bigram, Trigram, dan Tetragram)

dari potongan teks hasil Eksekusi Permintaan.

Lalu diberi skor awal berdasarkan tipe teks (exact vs. inexact) tersebut.

KnowledgeMining

Formulasikan Permintaan

Buat N-grams

Pilih (vote)

Saring Kandidat

Kombinasikan Kandidat

Nilai Kandidat

Dapatkan Dukungan

Eksekusi Permintaan

N-gram diskor ulang berdasarkan

jumlah penemuan kembali n-gram tersebut.

Konsep:Sebuah jawaban yang ditemukan pada beberapa dokumen memiliki kemungkinan sebagai jawaban sahih.

KnowledgeMining

Formulasikan Permintaan

Buat N-grams

Pilih (vote)

Saring Kandidat

Kombinasikan Kandidat

Nilai Kandidat

Dapatkan Dukungan

Eksekusi Permintaan

N-gram dieliminasi berdasarkan kriteria:

✔ Kandidat diawali/diakhiri stop word dibuang

✔ Kandidat yang mengandung pertanyaan asli dibuang. Kecuali yang mengandung focus words.

“How many meters. . . ”

✔ Heuristik untuk menerapkan tipe jawaban

“how far”, “how fast”, “how tall” → Jawaban numerik

✔ Filter-filter tertutup (fixed-list) untuk jawaban bertipe closed- class items.

“what sports...”, “what nationality...”, “what language...”

KnowledgeMining

Formulasikan Permintaan

Buat N-grams

Pilih (vote)

Saring Kandidat

Kombinasikan Kandidat

Nilai Kandidat

Dapatkan Dukungan

Eksekusi Permintaan

Menggabungkan n-gram yang lebih pendek ke n-gram yang panjang

apabila

n-gram pendek terdapat di dalam n-gram yang panjang.

Skor “de Soto” ditambahkan ke

Skor “Hernando de Soto”

KnowledgeMining

Formulasikan Permintaan

Buat N-grams

Pilih (vote)

Saring Kandidat

Kombinasikan Kandidat

Nilai Kandidat

Dapatkan Dukungan

Eksekusi Permintaan

skor=skor∗1

∣A∣∑w∈A

logNwc

KnowledgeMining

Formulasikan Permintaan

Buat N-grams

Pilih (vote)

Saring Kandidat

Kombinasikan Kandidat

Nilai Kandidat

Dapatkan Dukungan

Eksekusi Permintaan

Cek apakah jawaban benar ada di teks snippet asli yang didapat dari web.

KnowledgeBoosting

Pengecekan secara heuristik:

Sekumpulan prosedur untuk mengenali lokasi geografis, tahun.

KnowledgeAnnotation

KnowledgeMining

Hasil# of q. %

Knowledge Annotation

Benar 30 6.0

Tidak tepat 2 0.4

Salah 10 2.0

Total 42 8.4

Knowledge Mining

Benar 153 30.6

Tidak tepat 43 8.6

Salah 262 52.4

Total 458 91.6

Total Benar 183 36.6

Tidak tepat 45 9.0

Salah 272 54.4

Total 500 100.0

Performa

Knowledge Annotation

Benar 71.4

Tidak tepat 4.7

Salah 23.9

Knowledge Mining

Benar 33.4

Tidak Tepat 9.4

Salah 57.2

● Unsupported (AQUAINT)

● inexact

Hasil (cont'd)

● Sekitar 16% (30/183) jawaban tepat didapat dari knowledge annotation.● 28 basisdata access schemata● 7 knowledge source● Hanya data beberapa hari kerja

● Butuh pemahaman tentang natural language.● Human error (Machine Learning);● Pertanyaan temporal (“Gubernur tahun 1950”);● Nilai Semantik (“orang kedua”);

Kesimpulan

● Aranea menggunakan 2 jenis teknik:● Knowledge Annotation● Knowledge Mining

Contoh Hasil Kueri

● When is Gerald Ford’s birthday?● July 14, 1913● (extracted using knowledge annotation techniques from biography.com)

● Who founded Taoism?● Lao Tzu● (extracted using knowledge mining techniques)

● What was the name of the first child of English parents to be born in America?● Virginia Dare● (extracted using knowledge mining techniques)

Mining Problem

● (1) Wilt Chamberlain scored 100 points on March 2, 1962 against the New Yorks Knicks.

● (2) On December 8, 1961, Wilt Chamberlain scored 78 points in a triple overtime game. It was a new NBA record, but Warriors coach Frank McGuire didn’t expect it to last long, saying, “He’ll get 100 points someday.” McGuire’s prediction came true just a few months later in a game against the New York Knicks on March 2.