TỔNG QUAN VỀ MẠNG TỪ &

VIỆC XÂY DỰNG MẠNG TỪ TIẾNG VIỆT

Phạm Văn Lamphamvanlam1999@gmail.com

0985.905.985

• Sơ lược về Mạng từ• Xây dựng Mạng từ tiếng Việt • Các quan hệ ngữ nghĩa chính trong

Mạng từ tiếng Việt

Mạng từ là gì?

• Mạng từ là một sản phẩm liên ngành của ngôn ngữ học, tâm lí học và khoa học máy tính.

• Ba giả thuyết ban đầu: – giả thiết về tính khả tách – giả thiết về tính toàn cục– giả thiết về tính mô hình

• Mạng từ là một cơ sở ngữ liệu lớn, được thiết kế cho một hay nhiều ngôn ngữ, trong đó các từ được nhóm lại thành các loạt đồng nghĩa (synset), mỗi loạt đồng nghĩa này thể hiện một khái niệm riêng biệt; các loạt đồng nghĩa khác nhau có liên quan với nhau nhờ vào các quan hệ ngữ nghĩa.

• Các quan hệ chính: quan hệ bao thuộc, quan hệ tổng phân, quan hệ đồng nghĩa, quan hệ trái nghĩa.

Ứng dụng của Mạng từ

• Tra cứu, truy vấn thông tin ngôn ngữ• Xử lí ngôn ngữ tự nhiên (phân tích tự động

văn bản, tính độ tương tự, dịch máy,…)• Xây dựng mạng từ thứ cấp• Giáo dục ngôn ngữ

Mạng từ tiếng Anh (của Princeton).

• Phòng thí nghiệm Khoa học Tri nhận, dưới sự lãnh đạo của Geoge. A. Miller, phát triển

• Hiện nay là phiên bản 3.1: gồm gần 200 000 từ, với hơn 155 000 loạt đồng nghĩa và trên 200 000 cặp nghĩa từ, tồn tại dưới dạng nén với kích thước 12MB

Mạng từ Châu Âu

• Bắt đầu năm 1996 và kết thúc 1999• Dự định ban đầu: các tiếng Hà Lan, Tây Ban

Nha và Ý• Năm 1997: Đức, thêm các tiếng Pháp, tiếng

Séc, Esonia • Phát triển dựa vào Mạng từ tiếng Anh, phiên

bản 1.5• Không cho phép truy cập tự do

Mạng từ Châu Á

• Mạng từ Châu Á cũng là một mạng từ đa ngữ, được thiết kế chủ yếu dựa trên Mạng từ tiếng Anh đơn ngữ, và các nguồn từ điển song ngữ bản ngữ với tiếng Anh.

• Hiện có trên 10 ngôn ngữ trong Mạng từ Châu Á, như Nhật, Thái, Hàn, Hán, Indonesnia. Các ngôn ngữ được phát triển trong Mạng từ Châu Á có tỉ lệ như sau: Bengali (0.90%) Indonesian (8.17%), Nhật (30.35%), Korean (35.93%), Lào (33.05%), Mông Cổ (1.38%), Myanma (16.95%), Napali (0.03%), Sinhala (0.23%), Sundanese (0.06%), Thái (40.27%), and Việt (10.40%)

Xây dựng Mạng từ tiếng Việt • Mục tiêu:

– 30.000 loạt đồng nghĩa, với 50.000 từ trong đó có 30.000 từ thông dụng

• Cách xây dựng– Tiếp cận dịch – Chỉnh sửa

• Hai giai đoạn xây dựng– Giai đoạn một: dựa vào tiếng Anh– Giai đoạn hai: làm việc độc lập với tiếng Việt

• Khó khăn:– Tiếng Việt– Sự kế thừa từ Việt ngữ học– Nhân lực

Đặc điểm Mạng từ tiếng Việt

• Duy trì các khái niệm và quan hệ gốc của Mạng từ tiếng Anh

• Ghi nhận các hiện tượng đặc hữu của tiếng Việt:– Về mặt ngôn ngữ: • Ranh giới từ• Ghép, láy, loại từ• Đồng nghĩa, trái nghĩa, tương tự• Từ Hán-Việt

– Về mặt văn hóa, lịch sử:• Bao thuộc• Tổng phân

Các quan hệ ngữ nghĩa trong Mạng từ tiếng Việt

– Quan hệ đồng nghĩa (synonymy)– Quan hệ trái nghĩa (antonymy)– Quan hệ bao thuộc (hyponymy)– Quan hệ tổng phân (meronymy)– Quan hệ suy ra (entailment)– Quan hệ cách (troponymy)– Quan hệ nhân quả (cause relation)– Quan hệ thuộc tính (attribute relation)–…

Phương châm và nguyên lí nhận diện các quan hệ ngữ nghĩa

• Phương châm: – Phụ thuộc ngữ cảnh– Đặt trong hệ thống– Sử dụng các tiêu chí có tính hình thức

• Nguyên lí:– Nguyên lí giả định– Nguyên lí nhiều quan hệ– Nguyên lí tiết kiệm– Nguyên lí tương thích

Quan hệ đồng nghĩa• Định nghĩa:– Leibniz: Hai biểu thức là đồng nghĩa với nhau

nếu thay thế biểu thức này bằng biểu thức kia mà không bao giờ làm thay đổi chân trị của câu nói (trong đó phép thay thế được thực hiện).

–Miller và Fellbaum: Hai biểu thức là đồng nghĩa với nhau trong một ngữ cảnh ngôn ngữ C nếu như việc thay biểu thức này cho biểu thức kia trong C không làm thay đổi chân trị.

Quan điểm tri nhận về từ đồng nghĩa

–đồng nhất với nhau về phạm vi quy chiếu–đồng nhất với nhau về nét nghĩa tri nhận– cùng biểu thị một khái niệm– có thể khác nhau về phạm vi kết hợp– có thể khác nhau về phong cách, lối nói– có thể khác nhau về hàm nghĩa sắc thái– có thể thuộc về các phương ngữ khác nhau

Nhận diện quan hệ đồng nghĩa

• Phép thử khả thế: (1). X là T1, vì thế X là T2. • Tính đối xứng:– X là danh từ1, vì thế X là danh từ2; X là danh từ2, vì thế X

là danh từ1.– X là vị từ1, vì thế X là vị từ2; X là vị từ2, vì thế X là vị từ1.

• Diễn dịch khác :– X là danh từ1, vì thế X là danh từ2 khả chấp; X là danh

từ2, vì thế X là danh từ1 cũng khả chấp. – X là vị từ1, vì thế X là vị từ2 khả chấp, X là vị từ2, vì thế

X là vị từ1 cũng khả chấp.

Phép thử đồng nhất: (2a). A là B• & B là A.

(2b). A có nghĩa là/ tức là B. • & B có nghĩa/ tức là A.

(3a). A (cũng) là B nhưng P.& B (cũng) là A nhưng P.

(3b). A (cũng) có nghĩa là/ tức là B nhưng P. • & B (cũng) nghĩa là/ tức là A nhưng P.

(4). A là B nhưng mang nghĩa khái quát/ chung chung

• & B là A nhưng mang nghĩa cụ thể/ chính xác.

Nhận diện quan hệ trái nghĩa

• Tiêu chí lô gích• Tiêu chí ngữ nghĩa• Tiêu chí ngữ âm• Tiêu chí ngữ pháp

Phép thử lô gích

– (5). Cả X và Y là một loại (của) Z, nhưng X đối lập/ ngược với Y.

– (5a). Cả X và Y là một loại (của) Z, nhưng X đối lập/ trái ngược với Y

– (5b). Cả X và Y là một loại (của) Z, nhưng Y đối lập/ trái ngược với X.

– (6). X trái nghĩa với Y, nếu: X => Z & Y => Z.

Phép thử kết cấu• Kết cấu lựa chọn: A hoặc B, thay A vì B, A chứ không B, A

hay B (hoặc có hoặc là không, mua chứ không bán)• Kết cấu đồng nhất: A cũng như B, A cũng giống B, khi A

cũng như khi B (bạn cũng như thù, trên cũng như dưới, người mua cũng như người bán, khi mưa cũng như khi nắng);

• Kết cấu chuyển dịch: hết A lại B, từ A đến B, từ A tới B, từ A sang B, từ A vào B, từ A ra B, từ A xuống B, từ A lên B (từ trong ra ngoài, từ ngoài vào trong, từ trên xuống dưới, từ dưới lên trên)

• Kết cấu tương hỗ: AB với nhau, X là A của Y và Y là B của X, X và Y là AB của nhau (vợ chồng với nhau, X và Y là vợ chồng của nhau); (v.v.).

Quan hệ bao thuộc• Khái niệm • Gọi X và Y là hai yếu tố có quan hệ bao thuộc. Ta đọc

như sau: X có nghĩa bao là Y; Y có nghĩa thuộc là X. Hoặc: X thuộc nghĩa Y; Y bao nghĩa X

• Phép thử tính khả thế:– (1a). X là danh từ1, vì thế X là danh từ2.– (1b). X là vị từ1, vì thế X là vị từ2.– X là danh từ1, vì thế X là danh từ2 khả chấp,– nhưng X là danh từ2, vì thế X là danh từ1 không khả

chấp. – X là vị từ1, vì thế X là vị từ2 khả chấp, – nhưng X là vị từ2, vì thế X là vị từ1 không khả chấp.

• Mở rộng phép thử tính khả thế: Nếu một cặp từ T1 và T2 vận hành được trong khung (chẩn đoán) thay thế thì sẽ tiềm tại ít nhất một từ T3 nào đó mà nó vận hành tốt trong khung thay thế có quan hệ với từ T2; lúc này T1 và T3 được gọi là những cùng nghĩa thuộc của T2.

• Phép thử quy loại:• (7). X(X1, X2, X3, …Xn) là một loài/

loại/kiểu của Y• Y gồm có/ bao gồm X(X1, X2, X3, …

Xn)• Y là một loài/ loại/kiểu của X(X1, X2,

X3, …Xn)*• (8). X là Y+P• Nếu A là X thì A là Y• Nếu A là Y thì A là X*

Quan hệ tổng phân

• Khái niệm • Giả sử X và Y là hai yếu tố có quan hệ tổng

phân. Ta đọc như sau:– X có nghĩa tổng là Y; Y có nghĩa phân là X– Hoặc:X phân nghĩa Y; Y tổng nghĩa X

• Phép thử quy thuộc:• (9). X là một bộ phận (phần)/ tạo thành Y• Y có một bộ phận (phần) là/ gồm có X

• (10). X là thành viên của Y• Y có thành viên là X• (11a). X làm nên Y• Y được làm từ (bằng)/ cấu tạo từ

X• (11b). X là chất liệu của Y• Y được làm từ (bằng)/ cấu tạo từ

X • (12). X nằm ở Y• Y có/ chứa X

Xin trân trọng cảm ơn!