ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN ĐỨC...

ĐẠI HỌC HUẾ

TRƯỜNG ĐẠI HỌC KHOA HỌC

NGUYỄN ĐỨC HIỂN

XÂY DỰNG MÔ HÌNH LAI

CHO BÀI TOÁN DỰ BÁO

THEO TIẾP CẬN MỜ HƯỚNG DỮ LIỆU

CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH

MÃ SỐ: 9480101

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

HUẾ - NĂM 2019

Công trình được hoàn thành tại:

Trường Đại học Khoa học, Đại học Huế

Người hướng dẫn khoa học:

PGS.TS. Lê Mạnh Thạnh

Phản biện 1:

Phản biện 2:

Phản biện 3:

Luận án sẽ được bảo vệ tại Hội đồng chấm luận án cấp Đại

học Huế, họp tại Đại học Huế vào lúc ……. giờ ……

ngày……tháng……năm 2019

Có thể tìm hiểu luận án tại:

- Thư viện Quốc gia Việt Nam

- Thư viện Trường Đại học Khoa học, Đại học Huế

1

MỞ ĐẦU

1. Tính cấp thiết của đề tài

Dự báo là một khoa học và nghệ thuật tiên đoán những sự việc sẽ

xảy ra trong tương lai, trên cơ sở phân tích khoa học về các dữ liệu đã

thu thập được. Thuật ngữ dự báo (forecasting) thường được sử dụng

trong ngữ cảnh là quá trình đưa ra dự đoán (prediction) về tương lai

dựa trên dữ liệu trong quá khứ và hiện tại, tuy nhiên các nguyên tắc

của nó cũng hoàn toàn có thể ứng dụng để dự đoán các biến chéo. Có

hai loại cơ bản của kỹ thuật dự báo: kỹ thuật dự báo định tính và kỹ

thuật dự báo định lượng.

Kỹ thuật dự báo định lượng sẽ dựa trên việc phân tích dữ liệu lịch

sử để vẽ ra và mô hình hóa chiều hướng vận động của đối tượng phù

hợp với một mô hình toán học nào đó, đồng thời sử dụng mô hình này

cho việc dự báo xu hướng tương lai. Các kỹ thuật phân tích hồi quy

cho phép xây dựng các mô hình hồi quy mô tả mối quan hệ giữa biến

cần dự báo Y với các biến độc lập X. Các mô hình máy học thống kê

như máy học véc-tơ hỗ trợ, mạng nơ-ron nhân tạo, … cũng được nhiều

nhà khoa học nghiên cứu áp dụng với hy vọng xây dựng mô hình dự

báo có độ chính xác cao hơn.

Những nghiên cứu xây dựng mô hình dựa trên luật mờ (fuzzy rule-

based models) là một trong những hướng tiếp cận để xây dựng các hệ

thống hỗ trợ dự báo, dự báo điều khiển. Thành phần cốt lõi, cơ bản

của một mô hình mờ là cơ sở tri thức của mô hình đó, mà cụ thể đó là

tập luật mờ và lập luận hay suy diễn.

Về cơ bản có hai cách xây dựng cơ sở tri thức của mô hình mờ:

Thứ nhất, thu thập tri thức dựa trên kinh nghiệm của các chuyên gia,

được phát biểu dưới dạng các luật, các quy tắc, gọi chung là tri thức

2

chuyên gia; Thứ hai là tích lũy, tổng hợp và hoàn thiện cơ sở tri thức

dựa trên việc khám phá tri thức từ dữ liệu thực tế, gọi là tri thức dữ

liệu.

Những mô hình mờ được xây dựng theo hướng tiếp cận khám phá

tri thức từ dữ liệu gọi là mô hình mờ hướng dữ liệu (data driven fuzzy

models). Nhiều nghiên cứu đã được công bố chứng tỏ rằng những mô

hình mờ hướng dữ liệu đã mang lại hiệu quả trong việc giải quyết các

bài toán nhận dạng, điều khiển, phân tích dự đoán, … dựa vào các kỹ

thuật phân cụm, phân lớp, hay hồi quy.

Qua tổng hợp và đánh giá những kết quả nghiên cứu về mô hình

mờ hướng dữ liệu, giải pháp tích hợp các kiểu khác nhau của tri thức

tiên nghiệm để cải thiện mô hình, và vấn đề xây dựng mô hình mờ

hướng dữ liệu dựa trên máy học véc-tơ hỗ trợ, cho thấy: cần thiết phải

nghiên cứu giải pháp tích hợp các kiểu khác nhau của tri thức tiên

nghiệm vào mô hình mờ hướng dữ liệu trích xuất từ SVM, đồng thời

nghiên cứu xây dựng một mô hình lai ghép dựa trên mô hình mờ

hướng dữ liệu để giải quyết bài toán dự báo thực tế.

2. Mục tiêu và đối tượng nghiên cứu

Mục tiêu nghiên cứu của luận án là: Xây dựng mô hình mờ hướng

dữ liệu lai ghép dựa trên việc tích hợp tri thức tiên nghiệm với mô hình

mờ hướng dữ liệu cho bài toán dự báo hồi quy. Cụ thể, nghiên cứu

những nội dung chủ yếu sau:

- Nghiên cứu phương pháp xây dựng mô hình mờ từ dữ liệu, và cụ

thể là xây dựng mô hình mờ dựa trên máy học véc-tơ hỗ trợ.

- Nghiên cứu phương thức cho phép tích hợp các kiểu khác nhau

của tri thức tiên nghiệm trong mô hình mờ hướng dữ liệu dựa trên máy

học véc-tơ hỗ trợ.

3

- Đề xuất mô hình lai ghép trên cơ sở mô hình mờ hướng dữ liệu

trích xuất từ máy học véc-tơ hỗ trợ cho bài toán dự báo hồi quy và áp

dụng để giải quyết bài toán dự báo dữ liệu chuỗi thời gian tài chính.

3. Cách tiếp cận và phương pháp nghiên cứu

Luận án tập trung tiếp cận trên 3 phương pháp chính: Phương pháp

tổng hợp và phân tích; Phương pháp mô hình hóa; Phương pháp thực

nghiệm, đánh giá kết quả và rút ra kết luận.

4. Phạm vi và đối tượng nghiên cứu

Luận án xác định phạm vi và những đối tượng nghiên cứu sau:

- Nghiên cứu về các phương pháp xây dựng mô hình mờ từ dữ liệu.

o Các mô hình dựa trên luật mờ (Fuzzy rule-based models):

Mamdani, TSK;

o Trích xuất mô hình mờ TSK từ dữ liệu dựa vào máy học véc-

tơ hỗ trợ - thuật toán f-SVM (SVM-based fuzzy models);

o Tối ưu hóa các tham số của mô hình mờ hướng dữ liệu: thuật

toán di truyền, thuật toán Gradient descent;

o Triển khai thực nghiệm và đánh giá mô hình.

- Nghiên cứu giải pháp cải thiện hiệu quả của mô hình mờ hướng

dữ liệu bằng cách tích hợp tri thức tiên nghiệm.

o Các kịch bản tích hợp tri thức có trước vào mô hình máy học

cho phép cải thiện hiệu quả mô hình: Explanation-based

learning (EBL), Relevance-based learning (RBL),

Knowledge-based inductive learning (KBIL);

o Xác định các tri thức tiên nghiệm cụ thể để tích hợp vào mô

hình mờ dựa trên máy học véc-tơ hỗ trợ;

o Đề xuất và triển khai thực nghiệm thuật toán trích xuất mô

hình mờ dựa trên máy học véc-tơ hỗ trợ có tích hợp tri thức

tiên nghiệm – SVM-IF.

4

- Nghiên cứu giải pháp lai ghép kỹ thuật phân cụm (SOM, k-

Means) với mô hình mờ hướng dữ liệu dựa trên máy học véc-tơ hỗ trợ

để giải quyết bài toán dự báo dữ liệu chuỗi thời gian

o Nghiên cứu xây dựng mô hình mờ dự báo hồi quy cho bài toán

dự báo dữ liệu chuỗi thời gian;

o Đề xuất mô hình mờ lai ghép kỹ thuật phân cụm với mô hình

mờ hướng dữ liệu để giải quyết bài toán dự báo dữ liệu chuỗi

thời gian;

o Áp dụng mô hình lai ghép đề xuất để giải quyết bài toán dự

báo dữ liệu chuỗi thời gian tài chính.

5. Đóng góp của luận án

Thứ nhất, đề xuất thuật toán f-SVM để trích xuất tập luật mờ từ dữ

liệu huấn luyện dựa vào máy học vé-tơ hỗ trợ hồi quy. Quy trình trích

xuất tập luật mờ có cho phép lựa chọn giá trị tham số epsilon phù hợp

thông qua thực nghiệm bằng cách sử dụng tập dữ liệu xác thực.

Thứ hai, đề xuất thuật toán SVM-IF cho phép trích xuất tập luật

mờ từ dữ liệu huấn luyện dựa vào máy học véc-tơ hỗ tợ hồi quy có

tích hợp tri thức tiên nghiệm. Thuật toán là giải pháp tích hợp tri thức

tiên nghiệm vào quá trình trích xuất tập luật mờ từ dữ liệu để đảm bảo

tính có thể diễn dịch được của tập luật.

Thứ ba, đề xuất mô hình lai ghép kỹ thuật phân cụm với mô hình

mờ hướng dữ liệu dựa trên máy học véc-tơ hỗ trợ hồi quy để giải quyết

bài toán dự báo dữ liệu chuỗi thời gian. Mô hình đề xuất được áp dụng

để giải quyết bài toán dự báo dữ liệu chuỗi thời gian tài chính.

6. Bố cục của luận án

Phần mở đầu của luận án trình bày tổng quan những nội dung

nghiên cứu của luận án, bao gồm cả những nghiên cứu liên quan và

những thách thức đặt ra trong vấn đề nghiên cứu.

5

Chương 1 trình bày kết quả nghiên cứu xây dựng thuật toán trích

xuất tập luật mờ từ dữ liệu dựa trên máy học véc-tơ hỗ trợ hồi quy

(thuật toán f-SVM), trong đó có đề xuất giải pháp lựa chọn giá trị tham

số epsilon tối bằng cách sử dụng tập dữ liệu xác thực.

Nội dung của Chương 2 liên quan đến kết quả nghiên cứu về giải

pháp tích hợp tri thức tiên nghiệm để cải thiện mô hình mờ hướng dữ

liệu và đề xuất thuật toán SVM-IF

Chương 3 trình bày mô hình lai ghép kỹ thuật phân cụm với mô

hình mờ trích xuất từ dữ liệu dựa vào máy học véc-tơ hỗ trợ để giải

quyết bài toán dự báo dữ liệu chuỗi thời gian.

Phần kết luận trình bày tóm tắt những đóng góp chính của luận án

về ý nghĩa khoa học và thực tiễn. Đồng thời chỉ ra những điểm tồn tại

trong vấn đề nghiên cứu và một số định hướng nghiên cứu tiếp theo.

Chương 1. TRÍCH XUẤT MÔ HÌNH MỜ HƯỚNG DỮ LIỆU

DỰA TRÊN MÁY HỌC VÉC-TƠ HỖ TRỢ

1.1. Cơ bản về logic mờ

Lý thuyết tập mờ lần đầu tiên được Lotfi A. Zadeh giới thiệu trong

một công trình nghiên cứu vào năm 1965. Luật mờ “IF-THEN” được

phát triển dựa trên lý thuyết tập mờ và đã được ứng dụng thành công

trong khá nhiều lĩnh vực.

1.2. Mô hình mờ hướng dữ liệu

Mô hình mờ được được xây dựng với phần cốt lõi là cơ sở tri thức

gồm tập các luật mờ và cơ chế suy luận mờ. Có thể phân mô hình mờ

thành 2 kiểu cơ bản là mô hình mờ Mandani và mô hình mờ TSK.

Mô hình mờ TSK gồm tập các luật mờ “IF–THEN” dạng TSK, là

cơ sở của phép suy luận mờ. Luật mờ TSK được biểu diễn như sau:

𝑅𝑗: 𝐼𝐹 𝑥1 𝑖𝑠 𝐴1𝑗 𝑎𝑛𝑑 𝑥2 𝑖𝑠 𝐴2

𝑗 𝑎𝑛𝑑 … 𝑎𝑛𝑑 𝑥𝑝 𝑖𝑠 𝐴𝑝

𝑗

6

𝑇𝐻𝐸𝑁 𝑦 = 𝑔𝑗(𝑥1, 𝑥2, … , 𝑥𝑝) , 𝑣ớ𝑖 𝑗 = 1, 2, … , 𝑚

Trong đó 𝑥𝑖(𝑖 = 1,2, … 𝑝) là các biến điều kiện đầu vào của luật

mờ 𝑅𝑗; 𝑦 là biến quyết định đầu ra, và được xác định bởi hàm không

mờ 𝑔𝑗(. ) của các biến 𝑥𝑖; 𝐴𝑖𝑗 là những giá trị ngôn ngữ (những tập

mờ) được xác định bởi các hàm thành viên tương ứng 𝜇𝐴𝑖

𝑗(𝑥𝑖).

Quá trình suy luận theo mô hình mờ TSK được thực hiện như sau:

Bước 1. Kích hoạt các giá trị thành viên. Giá trị thành viên của các

biến đầu vào được tính toán theo công thức nhân sau:

∏ 𝜇𝐴𝑖

𝑗(𝑥𝑖) 𝑝

𝑖=1 . (1.15)

Bước 2. Tính kết quả đầu ra của hàm suy luận mờ theo công thức

sau:

𝑓(𝑥) = ∑ 𝑧

𝑗(∏ 𝜇

𝐴𝑖𝑗(𝑥𝑖)𝑝

𝑖=1 )𝑚𝑗=1

∑ ∏ 𝜇𝐴𝑖

𝑗(𝑥𝑖)𝑝𝑖=1

𝑚𝑗=1

. (1.16)

Trong đó, 𝑧𝑗 là giá trị đầu ra của hàm 𝑔𝑗(. ) tương ứng với mỗi luật

mờ. 𝑓(𝑥) được gọi là hàm quyết định đầu ra của mô hình mờ TSK.

1.3. Sinh luật mờ từ dữ liệu

Có nhiều giải pháp sinh luật mờ từ dữ liệu được nghiên cứu, trong

đó kỹ thuật sử dụng máy học véc-tơ hỗ trợ đã được nhiều tác giả đề

xuất và chứng minh tính hiệu quả, đặc biệt là hiệu quả ở tốc độ học

của máy học véc-tơ hỗ trợ. Tuy nhiên, vấn đề đảm bảo “tính có thể

diễn dịch được” của tập luật vẫn là thách thức chưa được giải quyết.

1.4. Máy học véc-tơ hỗ trợ

Máy học véc-tơ hỗ trợ lần đầu tiên được giới thiệu giải quyết bài

toán phân lớp. Sau đó được phát triển mở rộng cho bài toán dự báo hồi

quy. Trong trường hợp giải quyết bài toán dự báo hồi quy, lý thuyết

máy học véc-tơ hỗ trợ có thể tóm tắt nhưu sau:

7

Cho một tập dữ liệu huấn luyện {(𝑥1, 𝑦1), … , (𝑥𝑙 , 𝑦𝑙)} ⊂ 𝑅𝑛 × 𝑅,

trong đó 𝑅𝑛 xác định miền dữ liệu đầu vào. Mục tiêu của máy học véc-

tơ hỗ trợ hồi quy ε-SVR (ε-Support Vector Regression) là tìm một hàm

quyết định siêu phẳng 𝑓(𝑥) tối ưu sao cho độ sai lệch trên tất cả các

𝑦𝑖 của tập dữ liệu huấn luyện phải nhỏ hơn giá trị sai số 휀. Trong

trường hợp hồi phi tuyến tính, với hàm nhân kernel 𝐾(𝑥𝑖 , 𝑥𝑗) =

⟨𝛷(𝑥𝑖), 𝛷(𝑥𝑗)⟩, hàm quyết định 𝑓(𝑥) của máy học véc-tơ hỗ trợ hồi

quy có dạng:

𝑓(𝑥) = ∑(𝛼𝑖 − 𝛼𝑖∗). 𝐾(𝑥𝑖, 𝑥)

𝑙

𝑖=1

+ 𝑏 (1.35)

Begin

Input: - Tập dữ liệu huấn luyện H

- Tham số lỗi ɛ

Khởi tạo các tham số của SVM: C, ɛ, σ

Huấn luyện SVM để trích xuất ra các véc-tơ hỗ trợ:

Centers: ci , i=1,2,..,m

Variances: σi , i=1,2,…,m

Trích xuất các luật mờ dựa vào các véc-tơ hỗ trợ:

IF x is Gaussmf(ci ,σi) THEN y is B

Tối ưu hóa tham số các hàm thành viên

Output: Mô hình mờ TSK

End

Hình 1.6. Sơ đồ khối của thuật toán trích xuất mô hình mờ TSK từ

máy học véc-tơ hỗ trợ

8

1.5. Trích xuất mô hình mờ TSK từ máy học véc-tơ hỗ trợ

Các bước thực hiện trích xuất tập luật mờ từ tập dữ liệu huấn luyện

đầu vào được thể hiện ở Hình 1.6.

1.6. Lựa chọn các tham số

Tham số các hàm thành viên mờ được tối ưu hóa bằng phương pháp

Gradient descent. Giá trị tham số ε có thể được điều chỉnh để nhận

được mô hình tối ưu. Việc lựa chọn giá trị tham số ε tối ưu được thực

hiện thông qua thực nghiệm trên tập dữ liệu xác thực.

Luận án đề xuât thuật toán f-SVM cho phép trích xuất mô hình mờ

TSK từ máy học véc-tơ hỗ trợ, như thể hiện ở Hình 1.8.

Thuật toán f-SVM

Input: - Tập dữ liệu huấn luyện H, Tham số lỗi 휀.

Output: Mô hình mờ với hàm đầu ra 𝑓(𝑥) .

1. Khởi tạo các giá trị tham số: 𝐶, 휀, 𝜎;

2. Huấn luyện SVM: 𝑓(𝑥) = ∑ (𝛼𝑖 − 𝛼𝑖∗)𝑙

𝑖=1 𝐾(𝑥𝑖 , 𝑥) + 𝑏 ;

3. Trích xuất các 𝑆𝑉 = {(𝛼𝑖 − 𝛼𝑖∗): (𝛼𝑖 − 𝛼𝑖

∗) ≠ 0, 𝑖 ∈ {0, … , 𝑙}};

4. Điều chỉnh ma trận kernel: 𝐻′ = [𝐷′ −𝐷′

−𝐷′ 𝐷′ ] ;

với 𝐷𝑖𝑗′ =

⟨𝜑(𝑥𝑖),𝜑(𝑥𝑗)⟩

∑ ⟨𝜑(𝑥𝑖),𝜑(𝑥𝑗)⟩𝑗 ;

5. Sinh ra tập luật mờ từ tập SV với hàm nhân Gauss;

6. Tối ưu hóa tham số các hàm thành viên :

𝜎𝑖(𝑡 + 1) = 𝜎𝑖(𝑡) + 𝛿휀1,𝑖 [(𝑥−𝑐)2

𝜎3 𝑒𝑥𝑝 (−(𝑥−𝑐)2

2𝜎2 )] ,

𝑐𝑖(𝑡 + 1) = 𝑐𝑖(𝑡) + 𝛿휀1,𝑖 [−(𝑥−𝑐)


2𝜎2 )] ;

7. return 𝑓(𝑥) =∑ (𝛼𝑖−𝛼𝑖

∗)𝐾(𝑥𝑖,𝑥)𝑙𝑖=1

∑ 𝐾(𝑥𝑖,𝑥)𝑙𝑖=1

Hình 1.8. Thuật toán f-SVM

9

Các bước thực hiện trích xuất tập luật mờ từ dữ liệu huấn luyện đầu

vào, có tối ưu hóa các tham số của hàm thành viên lựa chọn giá trị

tham số 휀 tối ưu được thể hiện ở Hình 1.9.

Begin



Centers: ci , i=1,2,..m

Variances: σi , i=1,2,...m




Output: Mô hình mờ TSK với các tham số tối ưu

End

error>tol

Dự đoán trên tập dữ liệu xác thực

và tính giá trị sai số error

Thay đổi giá trị tham số ɛ

True

False


- Tham số lỗi ɛ - Ngưỡng sai số tol

Hình 1.9. Thuật toán trích xuất mô hình mờ TSK từ máy học véc-tơ

hỗ trợ có lựa chọn giá trị tham số tối ưu

1.7. Tổ chức thực nghiệm

1.7.1. Mô tả thực nghiệm

Xây dựng hệ thống thực nghiệm dựa trên công cụ Matlab cho 2 bài

toán ví dụ cụ thể.

10

1.7.2. Bài toán hồi quy phi tuyến

(a) (b)

Hình 1.10. Phân bố các hàm thành viên mờ: (a) trường hợp 50 luật

ứng với 휀 = 0.0 và (b) trường hợp 6 luật ứng với 휀 = 0.1

Bảng 1.1. Tập 6 luật trích xuất được

Luật Chi tiết

R1 IF x is Gaussmf(0.66,-2.48) THEN y is 0.33

R2 IF x is Gaussmf(0.71,-1.32) THEN y is -0.36


R4 IF x is Gaussmf(0.78,0.02) THEN y is 1.32

R5 IF x is Gaussmf(0.71,1.32) THEN y is -0.36


Bảng 1.2. Giá trị sai số RMSE trong các trường hợp thử nghiệm

Tham số ε Số luật RMSE

0.0 50 < 10−10

0.0001 30 < 10−10

0.001 10 0.0015

0.01 8 0.0013

0.1 6 0.0197

0.5 4 0.0553

11

1.7.3. Bài toán dự báo dữ liệu chuỗi thời gian Mackey-Glass

Kết quả dự đoán dựa trên tập luật trích xuất được trong các trường

hợp thể hiện ở Bảng 1.4.

Bảng 1.4. Kết quả dự đoán trên 200 mẫu dữ liệu xác thực trong cho

các trường hợp thực nghiệm của ví dụ 1.7.3

Số véc-tơ

hỗ trợ/ Số

luật mờ

Mô hình áp dụng

ANFIS SVM

Mô hình f-SVM

Chưa tối ưu hóa

tham số hàm

thành viên

Mô hình

f-SVM

170 <10-10 0.0540 0.0512 <10-10

36 0.0034 0.0509 0.0511 0.0086

25 0.0041 0.0635 0.0630 0.0092

16 0.0050 0.0748 0.0755 0.0095

9 0.0074 0.1466 0.1501 0.0098

4 0.0087 0.1955 0.1895 0.0102

1.8. Tiểu kết Chương 1

Chương này đề xuất thuật toán f-SVM không những cho phép trích

xuất mô hình mờ TSK từ máy học véc-tơ hỗ trợ hồi quy, mà còn cho

phép tối ưu hóa các tham số của các hàm thành viên mờ, điều chỉnh

và lựa chọn giá trị tham số ε tối ưu; để từ đó trích xuất được mô hình

mờ TSK tối ưu cho từng bài.

Kết quả thực nghiệm cho thấy giải pháp đề xuất thật sự mang lại

hiệu quả dự đoán tốt trong sự so sánh với các mô hình như ANFIS,

SVM nguyên thủy và mô hình mờ trích xuất từ SVM nhưng chưa tối

ưu hóa các tham số. Mặt khác, với mô hình mờ trích xuất được có số

luật hạn chế, một trong những hiệu quả mang lại là các chuyên gia

12

trong lĩnh vực dự báo có thể phân tích được tập luật này một cách dễ

dàng, từ đó có thể đánh giá tập luật mờ và qua đó có giải pháp để tối

ưu hóa tập luật.

Chương 2. TÍCH HỢP TRI THỨC TIÊN NGHIỆM VÀO

MÔ HÌNH MỜ HƯỚNG DỮ LIỆU

2.1. Tri thức tiên nghiệm

Tri thức tiên nghiệm được hiểu là tri thức có được trước khi học.

Đối với vấn đề xây dựng mô hình mờ từ dữ liệu thì tri thức tiên nghiệm

thường liên quan đến các vấn đề như: tầm quan trọng của dữ liệu, hành

vi của máy học và mục tiêu của các máy học.

2.2. Vai trò của tri thức tiên nghiệm trong việc học một mô

hình mờ

Theo lý thuyết học máy thì vai trò của tri thức tiên nghiệm trong

quá tình học máy được thể hiện theo 3 kịch bản, bao gồm: EBL, RBL

và KBIL.

2.3. Xác định tri thức tiên nghiệm để tích hợp vào mô hình mờ

trích xuất từ máy học véc-tơ hỗ trợ

Trong vấn đề học mô hình mờ dựa trên máy học véc-tơ hỗ trợ, có

thể tích hợp các tri thức liên quan về cấu trúc mô hình để cải thiện tính

“có thể diễn dịch được” của mô hình.

2.4. Tích hợp tri thức tiên nghiệm vào mô hình mờ trích xuất

từ máy học véc-tơ hỗ trợ

Thuật toán SVM-IF(H, sim, 휀, tol)

Input: Tập dữ liệu huấn luyện H, Ngưỡng độ đo tương tự giữa 2

hàm thành viên sim, Tham số lỗi 휀;

Output: Mô hình mờ với hàm quyết định đầu ra là 𝑓(𝑥);

1. Khởi tạo các giá trị tham số: 𝐶, 휀, 𝜎, 𝑠𝑡𝑒𝑝;

2. Huấn luyện SVM: 𝑓(𝑥) = ∑ (𝛼𝑖 − 𝛼𝑖∗)𝑙

𝑖=1 𝐾(𝑥𝑖 , 𝑥) + 𝑏 ;

13

3. Trích xuất các 𝑆𝑉 = {(𝛼𝑖 − 𝛼𝑖∗): (𝛼𝑖 − 𝛼𝑖

∗) ≠ 0, 𝑖 ∈ {0, … , 𝑙}};

4. InterpretabilityTest(c, σ, sim);

5. Điều chỉnh ma trận kernel: 𝐻′ = [𝐷′ −𝐷′

−𝐷′ 𝐷′ ],

với 𝐷𝑖𝑗′ =


∑ ⟨𝜑(𝑥𝑖),𝜑(𝑥𝑗)⟩𝑗 ;

6. Sinh ra tập luật mờ từ tập SV với hàm nhân Gauss;

7. Tối ưu hóa tham số các hàm thành viên :

𝜎𝑖(𝑡 + 1) = 𝜎𝑖(𝑡) + 𝛿휀1,𝑖 [(𝑥−𝑐)2


2𝜎2 )]

𝑐𝑖(𝑡 + 1) = 𝑐𝑖(𝑡) + 𝛿휀1,𝑖 [−(𝑥−𝑐)


2𝜎2 )]



∑ (𝛼𝑖−𝛼𝑖∗)𝑙

𝑖=1

Hình 2.4. Thuật toán SVM-IF

Thuật toán InterpretabilityTest

Input: Tập các véc-tơ hỗ trợ 𝑐, Tham số xác định độ lệch chuẩn 𝜎,

Tham số ngưỡng độ tương tự cho trước sim;

Output: Tập các véc-tơ hỗ trợ đã được rút gọn;

1. repeat

2. Tính độ đo sự tương tự giữa các cặp tập mờ 𝐴𝑖, 𝐴𝑗:

𝑆𝐺(𝐴𝑖, 𝐴𝑗) =𝑒

−𝑑2

𝜎2

2−𝑒−

𝑑2

𝜎2

𝑣ớ𝑖 𝑑 = √(𝑐𝑖 − 𝑐𝑗)2

+(𝜎𝑖 − 𝜎𝑗)2

3. Lựa chọn một cặp tập mờ 𝐴𝑖∗ và 𝐴𝑗

∗ sao cho:

𝑆𝐺(𝐴𝑖∗, 𝐴𝑗

∗) = 𝑚𝑎𝑥𝑖,𝑗{𝑆𝐺(𝐴𝑖, 𝐴𝑗)}

4. if 𝑆𝐺(𝐴𝑖∗, 𝐴𝑗

∗) > 𝑠𝑖𝑚 then

5. Gộp cặp tập mờ 𝐴𝑖∗ và 𝐴𝑗

∗ thành một tập mờ mới 𝐴𝑘;

6. end if

14

7. until không còn căp tập mờ nào có 𝑆𝐺(𝐴𝑖, 𝐴𝑗) > 𝑠𝑖𝑚;

8. Return

Hình 2.5. Thuật toán InterpretabilityTest

Các tham số 𝜺 , tol và sim được chọn lựa dựa vào thực nghiệm trên

tập dữ liệu xác thực theo Qui trình ở Hình 2.6.

Begin



Centers: ci , i=1,2,..m

Variances: σi , i=1,2,...m




Output: Mô hình mờ TSK với các tham số tối ưu

End

error>tol

Dự đoán trên tập dữ liệu xác thực

và tính giá trị sai số error

Thay đổi giá trị tham số ɛ

True

False


- Tham số lỗi ɛ - Ngưỡng sai số tol, k

Kiểm tra và gộp các hàm thành viên có độ tương tự

lớn hơn ngưỡng k

Hình 2.6. Quy trình trích xuất mô hình mờ TSK từ máy học véc-tơ

hỗ trợ có tích hợp tri thức tiên nghiệm

15

2.5. Tổ chức thực nghiệm

2.5.1. Mô tả thực nghiệm

Hệ thống thực nghiệm được triển khai dựa trên công cụ Matlab.

2.5.2. Bài toán hồi quy phi tuyến

Hình 2.7. Kết quả mô hình đã tối ưu hóa (RMSE = 0.0183)

Bảng 2.2. So sánh kết quả các mô hình qua thông số RMSE

Số luật mờ/Số

véc-tơ hỗ trợ


ANFIS SVM Mô hình f-

SVM

Mô hình

SVM-IF

50 <10-10 0.0074 < 10−10 ---

30 <10-10 0.0572 < 10−10 ---

10 0.0017 0.0697 0.0015 0.0011

8 0.0018 0.0711 0.0013 0.0010

6 0.0248 0.2292 0.0197 0.0183

4 0.1894 0.2851 0.0553 0.0553

Bảng 2.3. Diễn dịch ngôn ngữ cho các luật ở Bảng 2.1

Thứ tự Luật

R1 IF x xấp xỉ -2.99 THEN y = 0.418

R2 IF x xấp xỉ -1.813 THEN y = -1.741

R3 IF x xấp xỉ -0.572 THEN y = 1.32

16

R4 IF x xấp xỉ 0,572 THEN y = 1.32

R5 IF x xấp xỉ 1.813 THEN y = -1.741

R6 IF x xấp xỉ 2.99 THEN y = 0.418

2.5.3. Bài toán dự báo dữ liệu chuỗi thời gian hỗn loạn Mackey-

Glass


Số luật

mờ


ANFIS SVM Mô hình

f-SVM

Mô hình

SVM-IF

170 <10-10 0.0540 <10-10 <10-10

36 0.0034 0.0509 0.0086 0.0076

25 0.0041 0.0635 0.0092 0.0090

14 0.0050 0.0748 0.0095 0.0091

9 0.0074 0.1466 0.0098 0.0092

4 0.0087 0.1955 0.0102 0.0088

2.5.4. Hệ thống Lorenz


Số luật mờ / Số

véc-tơ hỗ trợ


ANFIS Mô hình

f-SVM

Mô hình

SVM-IF

150 --- 0.0110 <10-10

144 --- 0.9966 2.05*10-8

142 --- 1.9970 2.10*10-8

139 --- 2.9837 4.74*10-8

134 --- 3.9431 3.55*10-8

127 --- 4.8669 4.64*10-8

89 --- 5.6453 5.70*10-8

17

72 --- 6.2638 1.47*10-5

56 --- 6.7905 8.57*10-5

44 --- 7.2302 9.44*10-5

27 0.0033 7.5741 1.32*10-5

8 0.0515 7.7502 0.0043

7 --- 7.7857 0.3603


Trong chương này, luận án đề xuất thuật toán SVM-IF cho phép

trích xuất mô hình mờ TSK từ máy học véc-tơ hỗ trợ hồi quy, các tri

thức tiên nghiệm về cấu trúc mô đã được tích hợp trong quá trình học

mô hình thông qua thuật toán.

Với tập luật mờ có số lượng hạn chế trích xuất được từ dữ liệu bằng

cách sử dụng thuật toán SVM-IF đã được tối ưu hóa phân bố, đảm bảo

tính “có thể diễn dịch được”, những chuyên gia trong lĩnh vực ứng

dụng cụ thể sẽ dễ dàng diễn dịch ngôn ngữ cho các luật này và qua đó

có thể điều chỉnh, bổ sung các luật chuyên gia để tăng hiệu quả dự báo

của mô hình.

Chương 3. LAI GHÉP KỸ THUẬT PHÂN CỤM VỚI

MÔ HÌNH MỜ HƯỚNG DỮ LIỆU

3.1. Bài toán dự báo

Các phương pháp dự báo có thể chia thành 3 nhóm: dự báo theo

phương pháp chuyên gia, dự báo theo phương pháp hồi quy và dự báo

dựa vào dữ liệu dãy thời gian.

3.2. Dự báo dữ liệu chuỗi thời gian

Mục tiêu của dự báo dữ liệu chuỗi thời gian là để ước tính một số

giá trị trong tương lai dựa vào mẫu dữ liệu hiện tại và trong quá khứ.

18

Hiệu quả của mô hình được đánh giá qua các sai số dự báo, như: Sai

số tuyệt đối trung bình – MAE, Sai số phần trăm tuyệt đối trung bình

– MAPE, Sai số bình phương trung bình – MSE, Sai số bình phương

trung bình chuẩn hóa – NMSE.

3.3. Đề xuất mô hình mờ dự báo dữ liệu chuỗi thời gian

Hình 3.1. Mô hình nhiều giai đoạn cho bài toán dự báo dữ liệu chuỗi

thời gian

3.4. Phân cụm dữ liệu đầu vào

Kỹ thuật phân cụm phổ biến như k-Means, SOM được sử dụng để

chuyển bài toán với kích thước dữ liệu lớn thành các bài toán với kích

thước dữ liệu nhỏ hơn. Trong đó, SOM được đánh giá là ít phụ thuộc

vào việc chọn số lượng, vị trí các nơ-ron ban đầu hơn so với việc chọn

số cụm ban đầu trong k-Means, hiệu quả phân cụm là tốt hơn trong

trường hợp dữ liệu bị nhiễu và ít bị tối ưu cục bộ.

Luận án chọn SOM để phân cụm dữ liệu chuỗi thời gian đầu vào.

3.5. Mô hình thực nghiệm cho bài toán dự báo giá giá cổ phiếu

Quá trình thực hiện thực nghiệm dự báo giá cổ phiếu theo mô hình

đề xuất được thể hiện qua hai đoạn như sau:

➢ Giai đoạn 1: Huấn luyện mô hình bằng tập dữ liệu huấn luyện

Bước 1. Lựa chọn thuộc tính dữ liệu đầu vào và đầu ra

Bước 2. Phân cụm tập dữ liệu huấn luyện bằng SOM

Bước 3. Sử dụng thuật toán f-SVM hoặc SVM-IF để trích xuất ra các

mô hình mờ TSK cho mỗi phân cụm dữ liệu

Thu thập

dữ liệu

Lựa chọn

thuộc tính

Phân

cụm dữ

liệu

Trích xuất mô hình mờ bằng thuật toán f-SVM/ SVM-IF

Áp

dụng

dự báo

19

Bước 4. Thực nghiệm dự doán trên tập dữ liệu xác thực để chọn giá trị

tối ưu cho các tham số 휀 , số phân cụm 𝑛

Bước 5. Trích xuất ra các mô hình mờ cho các phân cụm

➢ Giai đoạn 2: Thực hiện dự đoán trên tập dữ liệu testing

Bước 1. Xác định phân cụm tương ứng với từng mẫu dữ liệu của tập

thử nghiệm

Bước 2 Thực hiện dự đoán trên tập dữ liệu thử nghiệm

Bước 3. Tính toán các sai số trên kết quả dự đoán để đánh giá mô hình

Lựa chọn

thuộc tính dữ

liệu vào

Phân cụm

dữ liệu

bằng

SOM

f-SVM/SVM-IF 1

f-SVM/SVM-IF 2

f-SVM/SVM-IF n

f-SVM/SVM-IF n-1

Part 1

Part 2

Part n-1

Part n

Dữ liệu

vào

Các tập

Huấn luyện

luật mờ

Dự báo

Xác định

phân cụm

phù hợp

Suy luận trên các tập

luật mờ

Part n

Part 1

Giá trị

dự báo

Hình 3.3. Mô hình dự báo giá cổ phiếu kết hợp SOM và f-SVM hoặc

SVM-IF

3.5.1. Lựa chọn dữ liệu đầu vào

Bảng 3.1. Thể hiện các thuộc tính lựa chọn và công thức tính của

chúng.

Ký hiệu Thuộc tính Công thức tính

𝑥1 EMA100 𝑃𝑖 − 𝐸𝑀𝐴100(𝑖)̅̅ ̅̅ ̅̅ ̅̅ ̅̅ ̅̅ ̅̅

𝑥2 RDP-5 (𝑃(𝑖) − 𝑃(𝑖 − 5))/𝑃(𝑖 − 5) ∗ 100

𝑥3 RDP-10 (𝑃(𝑖) − 𝑃(𝑖 − 10))/𝑃(𝑖 − 10) ∗ 100

20

𝑥4 RDP-15 (𝑃(𝑖) − 𝑃(𝑖 − 15))/𝑃(𝑖 − 15) ∗ 100

𝑥5 RDP-20 (𝑃(𝑖) − 𝑃(𝑖 − 20))/𝑃(𝑖 − 20) ∗ 100

𝑦 RDP+5 (𝑃(𝑖 + 5)̅̅ ̅̅ ̅̅ ̅̅ ̅̅ ̅ − 𝑃(𝑖)̅̅ ̅̅ ̅̅ )/𝑃(𝑖)̅̅ ̅̅ ̅̅ ∗ 100

𝑣ớ𝑖 𝑃(𝑖)̅̅ ̅̅ ̅̅ = 𝐸𝑀𝐴3(𝑖)̅̅ ̅̅ ̅̅ ̅̅ ̅̅ ̅

Trong đó, 𝑃(𝑖) là chỉ số giá đóng phiên của ngày thứ i, và 𝐸𝑀𝐴𝑚(𝑖)

là m-day exponential moving average của giá đóng phiên ngày thứ i.

3.5.2. Lựa chọn các thông số đánh giá hiệu quả mô hình

Các thông số NMSE, MAE và DS (Directional Symmetry) được

lựa chọn để đánh giá hiệu quả dự báo của mô hình đề xuất.

3.6. Triển khai thực nghiệm

3.6.1. Dữ liệu thực nghiệm

Bảng 3.2. Nguồn dữ liệu thực nghiệm

Mã cổ

phiếu

Thời gian Tập dữ

liệu huấn

luyện

Tập dữ

liệu xác

thực

Tập dữ

liệu thử

nghiệm

IBM 03/01/2000 - 30/06/2010 2209 200 200

APPL 03/01/2000 - 30/06/2010 2209 200 200

S&P

500 03/01/2000 - 23/12/2008 2016 200 200

DJI 02/01/1991 - 28/03/2002 2152 200 200

3.6.2. Phân tích kết quả thực nghiệm

Bảng 3.7. Kết quả thử nghiệm trên mô hình SOM+f-SVM

Mã cổ phiếu Số

phân

cụm

SOM + f-SVM

Số luật NMSE MAE DS

IBM 6 1355 1.0324 0.0554 50.75

APPL 55 1287 1.0467 0.0435 53.27

21

SP500 6 965 1.0836 0.1207 53.27

DJI 35 1025 1.0459 0.1181 51.76

Bảng 3.8. Kết quả thử nghiệm trên mô hình SOM+SVM-IF.

Mã cổ

phiếu

Số

cụm

SOM + SVM-IF

Số luật NMSE MAE DS

IBM 6 30 1.0530 0.0504 50.05

APPL 55 270 1.0466 0.0610 53.00

SP500 6 30 1.0906 0.1117 52.86

DJI 35 175 1.0550 0.1101 51.35

Bảng 3.9. Tập 5 luật trong 1 phân cụm trích xuất từ dữ liệu huấn

luyện của cổ phiếu S&P500.

Thứ

tự Luật

R1 IF x1=Gaussmf(0.10,-0.02) and x2=Gaussmf(0.10,-0.08)

and x3=Gaussmf(0.10,0.02) and x4=Gaussmf(0.10,0.04)

and x5=Gaussmf(0.10,0.02) THEN z=-0.02

R2 IF x1=Gaussmf(0.10,0.02) and x2=Gaussmf(0.09,-0.00)


and x5=Gaussmf(0.09,0.00) THEN z=0.04

R3 IF x1=Gaussmf(0.09,-0.04) and x2=Gaussmf(0.10,0.07)

and x3=Gaussmf(0.09,-0.16) and x4=Gaussmf(0.09,-0.14)

and x5=Gaussmf(0.11,-0.05) THEN z=0.16

R4 IF x1=Gaussmf(0.09,0.01) and x2=Gaussmf(0.10,0.08)



22



and x5=Gaussmf(0.08,-0.04) THEN z=-0.18


Giải pháp gom cụm dữ liệu trong giai đoạn tiền xử lý dữ liệu đầu

vào là một trong những giải pháp để khắc phục vấn đề kích thước dữ

liệu lớn. Với việc áp dụng thuật toán SVM-IF để trích xuất mô hình

mờ từ dữ liệu huấn luyện, kết hợp với việc sử dụng tập dữ liệu xác

thực, mô hình hình mờ trích xuất được đảm bảo tính diễn dịch được

đồng thời đảm bảo được hiệu quả dự báo.

Mô hình kết hợp SOM+SVM-IF cho kết quả dự báo có độ chính

xác cao hơn so với một số mô hình dự báo được đề xuất bởi các tác

giả khác. Ngoài ta, với mô hình đề xuất, tập luật mờ rút gọn của mỗi

mô hình trích xuất dược có thể diễn dịch ngữ nghĩa bởi các chuyên gia

trong lĩnh vực dự báo tương ứng.

KẾT LUẬN

Với mục tiêu là xây dựng mô hình hướng dữ liệu lai ghép dựa trên

việc tích hợp tri thức tiên nghiệm với mô hình mờ hướng dữ liệu cho

bài toán dự báo hồi quy. Luận án đã đạt được một số kết quả chính

như sau:

1) Nghiên cứu các phương pháp xây dựng mô hình mờ, đặc biệt là

mô hình mờ hướng dữ liệu, từ đó xây dựng thuật toán trích xuất tập

luật mờ TSK từ dữ liệu dựa vào máy học véc-tơ hỗ trợ hồi quy. Thuật

toán f-SVM đề xuất cho phép tối ưu hóa các tham số của hàm thành

viên mờ và lựa chọn giá trị tham số epsilon để điều chỉnh số lượng luật

mờ trích xuất được. Luận án cũng đề xuất sử dụng tập dữ liệu xác thực

23

để thực nghiệm chọn giá trị tham số epsilon tối ưu cho từng mô hình

mờ tương ứng với từng bài toán cụ thể. Những thực nghiệm trên các

ví dụ cụ thể cho thấy thuật toán f-SVM kết hợp với giải pháp chọn lựa

giá trị tham số tối ưu cho phép trích xuất được tập luật mờ từ dữ liệu

huấn luyện với số luật mờ được rút gọn nhưng vẫn đảm bảo được hiệu

quả dự báo.

2) Nghiên cứu các kịch bản tích hợp tri thức tiên nghiệm vào quá

trình học mô hình mờ; đồng thời phân tích điều kiện đảm bảo tính “có

thể diễn dịch được” của một mô hình mờ để qua đó lựa chọn, xác định

các tri thức tiên nghiệm cụ thể để tích hợp vào quá trình học mô hình

mờ TSK dựa vào máy học véc-tơ hỗ trợ. Thuật toán SVM-IF đề xuất

có tích hợp tri thức tiên nghiệm về cấu trúc mô hình cho phép trích

xuất được tập luật mờ đảm bảo tính “có thể diễn dịch được”. Tập luật

mờ trích xuất được từ dữ liệu huấn luyện bằng cách sử dụng thuật toán

SVM-IF có số luật được rút gọn và đồng thời phân bố của các hàm

thành viên mờ được điều chỉnh đều, ít nhập nhằng hơn so với trường

hợp sử dụng thuật toán f-SVM.

3) Đề xuất mô hình lai ghép kỹ thuật phân cụm SOM với mô hình

mờ trích xuất được từ máy học véc-tơ hỗ trợ để giải quyết bài toán dự

báo dữ liệu chuỗi thời gian. Mô hình đề xuất cho phép giải quyết được

vấn đề dữ liệu có kích thước lớn và độ nhiễu cao của các bài toán dự

báo dữ liệu chuỗi thời gian tài chính nói riêng và các bài toán dự báo

dữ liệu chuỗi thời gian trong thực tế nói chung. Việc tích hợp kỹ thuật

phân cụm dữ liệu đầu vào đã làm giảm nhiễu cục bộ trong từng phân

cụm và đồng thời giảm kích thước dữ liệu, từ đó làm tăng hiệu quả,

giảm độ phức tạp về thời gian của thuật toán huấn luyện mô hình. Số

luật mờ trong từng phân cụm tất nhiên là nhỏ hơn so với khi không

thực phân cụm, và do vậy tốc độ dự báo dựa vào mô hình cũng sẽ được

24

cải thiện. Mô hình lai ghép giữa kỹ thuật phân cụm SOM và f-SVM

do Luận án đề xuất đã được công bố lần đầu ở công trình [A2], đã

được trích dẫn ít nhất trong 7 công bố quốc tế của các tác giả ngoài

nước, đặc biệt có những trích dẫn mới trong năm 2018 và 2019.

Bên cạnh đó với từng cụm luật mờ có số lượng hạn chế và đã được

cải thiện tính “có thể diễn dịch được” bằng thuật toán SVM-IF, những

chuyên gia trong từng lĩnh vực cụ thể có thể diễn dịch ngữ nghĩa các

tập luật, hiểu được các tập luật, từ đó có thể quyết định lựa chọn bổ

sung những luật cần thiết hoặc loại bỏ những luật không phù hợp để

tối ưu tập luật. Ở đây, một điểm tồn tại cần được tiếp tục nghiên cứu

giải quyết, đó là phân tích ngôn ngữ tập luật mờ trích xuất được từ các

tập dữ liệu chuỗi thời gian. Một trong những định hướng nghiên cứu

tiếp theo của đề tài luận án là phối hợp với những chuyên gia trong

lĩnh vực dự báo để phân tích ngôn ngữ các tập luật mờ trích xuất được

và đồng thời tối ưu hóa tập luật bằng tri thức của các chuyên gia.

Điểm tồn tại thứ hai trong vấn đề nghiên cứu của luận án đó là

trong các thuật toán f-SVM và SVM-IF đề xuất, việc thay đổi và xác

định giá trị tối ưu cho các tham số thông qua thực nghiệm trên tập dữ

liệu xác thực không được thực hiện tự động trong thuật toán. Giá trị

của các tham số được xác định tùy thuộc vào các tập dữ liệu của từng

bài toán dự báo cụ thể. Một định hướng nghiên cứu tiếp theo của đề

tài luận án đó là tiến hành nhiều thực nghiệm trên các bài toán xác

định, qua đó có sự tổng hợp, thống kê các giá trị tham số được chọn

để đề xuất các ngưỡng giá trị tham số phù hợp cho từng bài toán.

Ngoài ra, việc nghiên cứu xác định và lựa chọn những tri thức tiên

nghiệm cần thiết để tích hợp vào quá trình huấn luyện mô hình mờ

cũng là một hướng nghiên cứu tiếp theo để cải tiến hiệu quả của mô

hình.

Những công trình của tác giả liên quan đến luận án

[A1] Duc-Hien Nguyen, Manh-Thanh Le (2013), Improving the

Interpretability of Support Vector Machines-based Fuzzy Rules,

Advances in Smart Systems Research, Future Technology

Publications, PO Box 2115, United Kingdom, ISSN: 2050-8662, Vol.

3, No. 1, 7-14.

[A2] Duc-Hien Nguyen, Manh-Thanh Le (2014), A two-stage

architecture for stock price forecasting by combining SOM and fuzzy-

SVM, International Journal of Computer Science and Information

Security (IJCSIS), USA, ISSN: 1947-5500, Vol. 12, No. 8, 20-25.

[A3] D.H Nguyen, V.M Le (2018), Hybrid Model of Self-Organized

Map and Integrated Fuzzy Rules with Support Vector Machine:

Application to Stock Price Analysis, Proceedings of Fourth

International Conference on Information system Design and

Intelligent Applications (INDIA 2017), Advances in Intelligent

Systems and Computing, Springer, Singapore, vol 672, 314-322.

[A4] Ngyễn Đức Hiển (2013), Ứng dụng mô hình máy học véc-tơ tựa

(SVM) trong việc phân tích dữ liệu điểm sinh viên, Tạp chí Khoa học

và Công nghệ Đại học Đà Nẵng. Số 12(73), Quyển 2, 33-37.

[A5] Nguyễn Đức Hiển (2014), Mô hình hai giai đoạn dự báo giá cổ

phiếu với K-mean và Fuzzy-SVM, Tạp chí Khoa học và Công nghệ Đại

học Đà Nẵng, Số 12(85), Quyển 2, 20-24.

[A6] Nguyễn Đức Hiển, Lê Mạnh Thạnh (2015), Mô hình tích hợp f-

SVM và tri thức tiên nghiệm cho bài toán dự báo hồi quy, Tạp chí

Khoa học Đai học Huế, Số T. 106, S. 7, 1-14.

[A7] Nguyễn Đức Hiển, Lê Mạnh Thạnh (2015), Mô hình mờ TSK

dự đoán giá cổ phiếu dựa trên máy học véc-tơ hỗ trợ hồi quy, Tạp chí

khoa học Trường Đai học Cần Thơ, Số chuyên đề Công nghệ thông

tin, 144-151.

[A8] Nguyễn Đức Hiển, Lê Mạnh Thạnh (2015), Tối ưu hóa mô hình

mờ TSK trích xuất từ máy học véc-tơ hỗ trợ hồi qui với tham số

epsilon, Tạp chí Khoa học và Công nghệ Đại học Đà Nẵng, Số 12(97),

Quyển 2, 15-19.

[A9] Nguyễn Đức Hiển, Lê Mạnh Thạnh (2018), Cải thiện mô hình

mờ hướng dữ liệu với tri thức tiên nghiệm. Tạp chí KH&CN Trường

Đại học khoa học – Đại học Huế, Volume 12, 39-49.

[A10] Nguyễn Đức Hiển, Lê Mạnh Thạnh (2018), Một số giải pháp

tối ưu tập luật mờ TSK trích xuất từ máy học véc-tơ hỗ trợ hồi quy. Kỷ

yếu Hội nghị FAIR’2018.

HUE UNIVERSITY

UNIVERSITY OF SCIENCES

NGUYEN DUC HIEN

BUILDING A HYBRID MODEL

FOR FORECASTING PROBLEMS

BASED ON DATA-DRIVEN FUZZY APPROACH

MAJOR: COMPUTER SCIENCE

CODE: 9480101

SUMMARY OF DOCTORAL THESIS

HUE - 2019

The thesis has been completed at:

University of Sciences, Hue University

Advisor:

Assoc. Prof. Le Manh Thanh

Reviewer 1:

...............................................................................

Reviewer 2:

...............................................................................

Reviewer 3:

...............................................................................

The thesis can be found at the following libraries:

• National Library of Vietnam

• Library Information Center University of Science, Hue

University

1

INTRODUCTION

1. The Urgency of the subject

Forecasting is a science and art that predicts what will happen in

the future, based on scientific analysis of collected data. Forecasting

is often used in context as a prediction process of the future based on

past and present data, but its principles are also possible in applications

to predict cross variables. There are two basic types of forecasting

techniques: qualitative forecasting techniques and quantitative

forecasting techniques.

Quantitative forecasting techniques will be based on historical data

analysis to draw and model the movement direction of the object that

fits a certain mathematical model and use this model for forecast future

trends. Regression analysis techniques allow the construction of

regression models that describe the relationship between the predictor

variable Y and the independent variable X. Statistical machine models

such as support vector machines, artificial neural networks, etc are

also researched by many scientists in the hope of building a more

accurate forecasting model.

Fuzzy rule-based models are one of the approaches to building

forecasting support systems and controlling support systems. The

basic component of a fuzzy model is the knowledge base of that

model, which is the set of fuzzy rules and fuzzy reasoning.

There are basically two ways to build the knowledge base of the

fuzzy model: First, collecting knowledge based on the experience of

experts, is expressed in the form of rules, known as expert knowledge;

the second is to accumulate, synthesize and complete knowledge base

based on discovering knowledge from actual data, called data

knowledge.

2

Fuzzy models are built in a knowledge discovery approach from

data called data-driven fuzzy models. Many published studies show

that data-driven fuzzy models have been effective in solving

identification, control, predictive analysis, etc., based on clustering,

class or regression techniques.

Through synthesizing and evaluating the research results on the

data-driven fuzzy model, the solution integrating different types of

prior knowledge to improve the model, and the problem of building a

Support vector machines-based fuzzy model, it shows that it is

necessary to study the solution of integrating different types of prior

knowledge into data-driven fuzzy models with extracted from SVM,

while studying to build a hybrid system based on data-driven fuzzy

models to solve the actual forecasting problem.

2. Research objectives

The research objective of the thesis is: Building a hybrid data-

driven fuzzy model based on the integration of prior knowledge and

data-driven fuzzy model for regression predictive problem.

Specifically, the thesis is made up of the following main sections:

- Research methods of building fuzzy models from data, and in

particular, building a fuzzy model based on support vector machine.

- Researching methods allowing the integration of different types

of prior knowledge in the support vector machines-based fuzzy model.

- Proposing a hybrid model based on the data-driven fuzzy model

extracted from the support vector machines for regression and applied

to solve the financial time series forecasting problem.

3

3. Research approach and methodology

The thesis focuses on approaching 3 main methods: Synthesis and

Analysis method; Modeling method; Experimental method,

evaluating the results and drawing conclusions.

4. Scope and subject of research

The thesis defines the scope and the following research objects:

- Research methods to build fuzzy models from data.

o Fuzzy rule-based models: Mamdani, TSK;

o Extract TSK fuzzy model from data based on support vector

machine - f-SVM algorithm (SVM-based fuzzy models);

o Optimize parameters of data-driven fuzzy model: genetic

algorithm, gradient descent algorithm;

o Experimental implementation and evaluation of models.

- Research solutions to improve the efficiency of data-driven fuzzy

models by integrating priori knowledge.

o Scenarios in which integrate prior knowledge into machine

models enable to improve model efficiency: Explanation-

based learning (EBL), Relevance-based learning (RBL),

Knowledge-based inductive learning (KBIL);

o Identify specific prior knowledge to be integrated into support

vector machine-based fuzzy models;

o Proposing and implementing experimental the algorithm,

SVM-IF, to extract support vector machine-based fuzzy

model with integrated prior knowledge.

- Studying hybrid solution of clustering technique (SOM, k-Means)

with data-driven fuzzy model based on support vector machines to

solve time series forecasting problem.

o Research on building fuzzy model of regression forecasting

4

for time series forecasting problem;

o Proposing a hybrid fuzzy model of clustering technique with

data-driven fuzzy model to solve time series forecasting

problem;

o Appling the proposed hybrid model to solve the financial time

series forecasting problem

5. Contributions of the thesis

First, proposed the f-SVM algorithm to extract the set of fuzzy

rules from the training data based on the support vector machine for

regression. The process of extracting the fuzzy rule set allows to select

the appropriate epsilon parameter value through experiment using an

validation data set.

Second, the proposed SVM-IF algorithm allows extraction of the

set of fuzzy rules from training data based on support vector regression

integrating prior knowledge. This algorithm is a solution to integrate

prior knowledge into the process of extracting fuzzy rule set from data

to ensure the interpretability of the fuzzy rules set.

Finally, proposing a hybrid model of clustering technology with

data-driven fuzzy rules model based on support vector regression to

solve time series forecasting problem. The proposed model is applied

to solve the financial time series forecasting problem.

6. Thesis layout

The Introduction of the thesis presents an overview of the contents

of the thesis, including related studies and the research challenges.

Chapter 1 presents the results of the research which build

algorithms to extract the fuzzy rule from data based on support vector

machine for regression (f-SVM algorithm), including the proposed

5

solution in which can choose epsilon parameter using the validation

data set.

Chapter 2 relates to the results of research on solutions for

integrating prior knowledge to improve the data-driven fuzzy model

and proposes SVM-IF algorithm.

Chapter 3 presents a hybrid model of clustering techniques with

fuzzy models extracted from data based on support vector machines

to solve the time series forecasting problem.

Finally, the thesis summarizes the research results on scientific and

practical significance. It also points out the limitations and some

orientations for future research.

Chapter 1. EXTRACTION OF DATA-DRIVEN FUZZY

MODEL BY USING SUPPORT VECTOR MACHINES

1.1. The basics of Fuzzy Logic

The fuzzy set theory was first introduced by Lotfi A. Zadeh in a

research project in 1965. The fuzzy rule "IF-THEN" was developed

based on fuzzy set theory and has been successfully applied in many

fields.

1.2. Data-driven fuzzy model

The fuzzy model is built with the core of knowledge base including

a set of fuzzy rules and fuzzy reasoning mechanism. The fuzzy model

can be divided into two basic types: the Mandani fuzzy model and the

TSK fuzzy model.

TSK fuzzy model consists of a set of TSK fuzzy rules "IF –

THEN", which is the basis of fuzzy reasoning. The TSK fuzzy rules is

expressed as:

𝑅𝑗: 𝐼𝐹 𝑥1 𝑖𝑠 𝐴1𝑗 𝑎𝑛𝑑 𝑥2 𝑖𝑠 𝐴2

𝑗 𝑎𝑛𝑑 … 𝑎𝑛𝑑 𝑥𝑝 𝑖𝑠 𝐴𝑝

𝑗

𝑇𝐻𝐸𝑁 𝑦 = 𝑔𝑗(𝑥1, 𝑥2, … , 𝑥𝑛) , 𝑣ớ𝑖 𝑗 = 1, 2, … , 𝑚

6

Where 𝑥𝑖(𝑖 = 1,2, … 𝑝) is the input variables (condition) of fuzzy

rule𝑅𝑗; 𝑦 is the output decision variable, and is determined by the non-

fuzzy function 𝑔𝑗(. ) of the variable 𝑥𝑖; 𝐴𝑖𝑗 are linguistic values (fuzzy

sets) defined by the corresponding member functions 𝜇𝐴𝑖

𝑗(𝑥𝑖).

The process of reasoning under fuzzy TSK model is done as:

Step 1. Activate member values. Member values of the input

variables are calculated according to the following formula:

∏ 𝜇𝐴𝑖

𝑗(𝑥𝑖) 𝑝

𝑖=1 . (1.15)

Step 2. Calculate the output of the fuzzy reasoning function by the

following formula:

𝑓(𝑥) = ∑ 𝑧

𝑗(∏ 𝜇

𝐴𝑖𝑗(𝑥𝑖)𝑝

𝑖=1 )𝑚𝑗=1

∑ ∏ 𝜇𝐴𝑖

𝑗(𝑥𝑖)𝑝𝑖=1

𝑚𝑗=1

. (1.16)

where 𝑧𝑗 is the output value of function 𝑔𝑗(. ) corresponding to

each fuzzy rule. 𝑓(𝑥) is called the function that determines the output

of the TSK fuzzy model.

1.3. Extracted fuzzy rules from data

There are many solutions to extract fuzzy rule from the data have

been studied, in which the technique of using the support vector

machine learning has been proposed and proved by many authors,

especially effective at learning of support vector machines. However,

the issue of ensuring "interpretability" of the rule set is still an

unresolved challenge.

1.4. Support vector machines

The supported vector machine was first introduced to solve the

classification problem. Then it developed extensively for the

regression prediction problem. In the case of solving the regression

7

prediction problem, the supported vector machine theory can be

summarized as follows:

Given a training data set {(𝑥1, 𝑦1), … , (𝑥𝑙 , 𝑦𝑙)} ⊂ 𝑅𝑛 × 𝑅, where

𝑅𝑛 determines the input data domain. The objective of a supported

vector learning machine ε-SVR is to find an optimal super flat of

decision-making function 𝑓(𝑥) so that the deviation on all 𝑦𝑖 of the

training data set must be less than the error value 휀. For nonlinear

regression problem, with the kernel function 𝐾(𝑥𝑖, 𝑥𝑗) =

⟨𝛷(𝑥𝑖), 𝛷(𝑥𝑗)⟩, the decision function 𝑓(𝑥) of a supported vector

learning machine for regression is expressed as:

𝑓(𝑥) = ∑(𝛼𝑖 − 𝛼𝑖∗). 𝐾(𝑥𝑖, 𝑥)

𝑙

𝑖=1

+ 𝑏 (1.35)

Figure 1.6. Block diagram of the algorithm to extract TSK fuzzy

model from SVM

8

1.5. Extraction of TSK fuzzy model based on SVM

The steps to extract the fuzzy rule set from the input training data

set are shown in Figure 1.6.

1.6. Selecting parameters

The parameter of fuzzy member functions is optimized by

Gradient descent method. Parameter value ε can be adjusted to get the

optimal model. The selection of the optimal parameter data value is

done through experimentation on the authentication data set.

The thesis proposes f-SVM algorithm which allows extracting

TSK fuzzy model from support vector machine, as shown in Fig 1.8.

Algorithm f-SVM(H, 휀)

Input: - Training data set H, Error parameter 휀.

Output: Fuzzy model with output function (𝑥) .

1. Initialize parameter values: 𝐶, 휀, 𝜎;

2. SVM training: 𝑓(𝑥) = ∑ (𝛼𝑖 − 𝛼𝑖∗)𝑙

𝑖=1 𝐾(𝑥𝑖 , 𝑥) + 𝑏 ;

3. Extract 𝑆𝑉 = {(𝛼𝑖 − 𝛼𝑖∗): (𝛼𝑖 − 𝛼𝑖

∗) ≠ 0, 𝑖 ∈ {0, … , 𝑙}};

4. Adjust kernel matrix: 𝐻′ = [𝐷′ −𝐷′

−𝐷′ 𝐷′ ] ; 𝐷𝑖𝑗′ =


∑ ⟨𝜑(𝑥𝑖),𝜑(𝑥𝑗)⟩𝑗 ;

5. Generate a set of fuzzy rules from the SV set with the Gauss

function;

6. Optimize member function parameters

𝜎𝑖(𝑡 + 1) = 𝜎𝑖(𝑡) + 𝛿휀1,𝑖 [(𝑥−𝑐)2


2𝜎2 )] ,

𝑐𝑖(𝑡 + 1) = 𝑐𝑖(𝑡) + 𝛿휀1,𝑖 [−(𝑥−𝑐)


2𝜎2 )] ;




Figure 1.8. f-SVM algorithm

9

The steps for extracting fuzzy rules from input training data,

optimizing the parameters of the member function by choosing the

optimal parameter value ε are shown in Figure 1.9.

Figure 1.9. Algorithm for extracting TSK fuzzy model from

supported vector machine which has the selection optimal values of

parameters

1.7. Experimental Design

1.7.1. Experimental description

Building an experimental system based on the Matlab tool for 2

specific example problems.

10

1.7.2. Nonlinear regression problem

(a) (b)

Figure 1.10. Distribution of fuzzy member functions: (a) case of 50

rules (ε = 0.0), (b) case of 6 rules (휀 = 0.1)

Table 1.1. The set of 6 rules extracted

Rules Detail


R2 IF x is Gaussmf(0.71,-1.32) THEN y is -0.36



R5 IF x is Gaussmf(0.71,1.32) THEN y is -0.36


Table 1.2. Error value RMSE in test cases

ε # of rules RMSE

0.0 50 < 10−10

0.0001 30 < 10−10

0.001 10 0.0015

0.01 8 0.0013

0.1 6 0.0197

0.5 4 0.0553

11

1.7.3. Mackey-Glass time series data prediction problem

The prediction results based on the extracted rule set in the cases

are shown in Table 1.4.

Table 1.4. Predicted results of over 200 samples of authentication

data for the experimental cases of example 1.7.3

# of SV / #

of fuzzy

rules

Applied Model

ANFIS SVM

f-SVM

without optimize

member function

parameters

f-SVM

170 <10-10 0.0540 0.0512 <10-10

36 0.0034 0.0509 0.0511 0.0086

25 0.0041 0.0635 0.0630 0.0092

16 0.0050 0.0748 0.0755 0.0095

9 0.0074 0.1466 0.1501 0.0098

4 0.0087 0.1955 0.1895 0.0102

1.8. Summary of Chapter 1

This chapter proposes the f-SVM algorithm that not only allows

the extraction of TSK fuzzy models from support vector machine for

regression but also allows the optimization of the parameters of the

fuzzy member function, to adjust and select the optimal parameter

value ε; thereby extracting the optimal TSK fuzzy model for each case.

Experimental results show that the proposed solution really brings

good predictive efficiency in comparison with models like ANFIS and

original SVM. On the other hand, the extracted fuzzy model has a

limited number of rules, one of its advantages is that the experts in the

forecasting field can easily analyze this set of rules. From there, it is

12

possible to evaluate the fuzzy rules set and have some solutions to

optimize the rules set.

CHAPTER 2. INTEGRATION OF A PRIORI KNOWLEDGE

ON FUZZY MODEL

2.1. A priori knowledge

A priori knowledge refers to what knowledge is before learning.

During building fuzzy models from data, prior knowledge is often

related to issues such as the importance of data, machine behaviours

and goals of machine learning.

2.2. Role of priori ior knowledge in learning a fuzzy model

According to machine learning theories, the role of prior

knowledge in machine learning is defined into 3 scenarios, including:

EBL, RBL and KBIL.

2.3. Determining a priori knowledge to integrate into a fuzzy

model extracted from the support vector machine

In the fuzzy model of support vector machine, it is possible to

integrate the relevant knowledge of model structure to improve the

"interpretable" of the model.

2.4. Integrating a priori knowledge with a fuzzy model of

support vector machine

Algorithm SVM-IF(H, sim, 휀, tol)

Input: Training dataset H, similarity threshold between 2 membership

functions sim, Error parameter ε;

Output: The fuzzy model has the function determines the output is f

(x);

1. Initializing parameter values: 𝐶, 휀, 𝜎, 𝑠𝑡𝑒𝑝;

2. Training SVM: 𝑓(𝑥) = ∑ (𝛼𝑖 − 𝛼𝑖∗)𝑙

𝑖=1 𝐾(𝑥𝑖, 𝑥) + 𝑏 ;

3. Extracting 𝑆𝑉 = {(𝛼𝑖 − 𝛼𝑖∗): (𝛼𝑖 − 𝛼𝑖

∗) ≠ 0, 𝑖 ∈ {0, … , 𝑙}};

13

4. InterpretabilityTest(c, σ, sim);

5. Adjusting kernel matrix: 𝐻′ = [𝐷′ −𝐷′

−𝐷′ 𝐷′ ] , 𝐷𝑖𝑗′ =


∑ ⟨𝜑(𝑥𝑖),𝜑(𝑥𝑗)⟩𝑗 ;

6. Generating a set of fuzzy rules from the SV set with the Gauss

kernel function;

7. Optimizing member function parameters

𝜎𝑖(𝑡 + 1) = 𝜎𝑖(𝑡) + 𝛿휀1,𝑖 [(𝑥−𝑐)2


2𝜎2 )]

𝑐𝑖(𝑡 + 1) = 𝑐𝑖(𝑡) + 𝛿휀1,𝑖 [−(𝑥−𝑐)


2𝜎2 )]




Fig 2.4. SVM-IF algorithm

Algorithm InterpretabilityTest(c, σ, sim)

Input: Set of support vectors c, Parameter for specifying standard

deviation σ, given a similarity threshold sim;

Output: The set of support vectors has been shortened;

1. repeat

2. Calculating the similarity between fuzzy pairs 𝐴𝑖 , 𝐴𝑗:

𝑆𝐺(𝐴𝑖, 𝐴𝑗) =𝑒

−𝑑2

𝜎2

2−𝑒−

𝑑2

𝜎2

, 𝑑 = √(𝑐𝑖 − 𝑐𝑗)2

+(𝜎𝑖 − 𝜎𝑗)2

3. Selecting a pair of fuzzy 𝐴𝑖∗ and 𝐴𝑗

∗ subject to:

𝑆𝐺(𝐴𝑖∗, 𝐴𝑗

∗) = 𝑚𝑎𝑥𝑖,𝑗{𝑆𝐺(𝐴𝑖, 𝐴𝑗)}

4. if 𝑆𝐺(𝐴𝑖∗, 𝐴𝑗

∗) > 𝑠𝑖𝑚 then

5. Combining a pair of fuzzy 𝐴𝑖∗ và 𝐴𝑗

∗ into a new fuzzy set 𝐴𝑘;

6. end if

7. until There has no more pair of fuzzy have 𝑆𝐺(𝐴𝑖, 𝐴𝑗) > 𝑠𝑖𝑚

8. Return

Fig 2.5. InterpretabilityTest

14

The parameters ε, tol and sim are chosen for the experiment based

on the validation data set according to the Process in Figure 2.6.

Fig 2.6. Process of extracting TSK fuzzy model from Support Vector

Machine integrated a priori knowledge

15

2.5. Experimental Design

2.5.1. Experimental description

An experimental system is implemented by using the Matlab tool.

2.5.2. Nonlinear regression problem

Fig 2.7. The results of the optimized model

Table 2.2. Comparison of models results with RMSE parameter

# of rules/

# of SV

Applied Model

ANFIS SVM f-SVM SVM-IF

50 <10-10 0.0074 < 10−10 ---

30 <10-10 0.0572 < 10−10 ---

10 0.0017 0.0697 0.0015 0.0011

8 0.0018 0.0711 0.0013 0.0010

6 0.0248 0.2292 0.0197 0.0183

4 0.1894 0.2851 0.0553 0.0553

Table 2.3. Translation of rules in Table 2.1

Rules Detail

R1 IF x is close to -2.99 THEN y = 0.418

R2 IF x is close to -1.813 THEN y = -1.741

R3 IF x is close to -0.572 THEN y = 1.32

16

R4 IF x is close to 0,572 THEN y = 1.32

R5 IF x is close to 1.813 THEN y = -1.741

R6 IF x is close to 2.99 THEN y = 0.418

2.5.3. Chaotic time series prediction Mackey-Glass problem


# of

fuzzy

rules

Applied Model

ANFIS SVM f-SVM SVM-IF

170 <10-10 0.0540 <10-10 <10-10

36 0.0034 0.0509 0.0086 0.0076

25 0.0041 0.0635 0.0092 0.0090

14 0.0050 0.0748 0.0095 0.0091

9 0.0074 0.1466 0.0098 0.0092

4 0.0087 0.1955 0.0102 0.0088

2.5.4. Lorenz System


# of fuzzy rules/

# of SV

Applied Model

ANFIS f-SVM SVM-IF

150 --- 0.0110 <10-10

144 --- 0.9966 2.05*10-8

142 --- 1.9970 2.10*10-8

139 --- 2.9837 4.74*10-8

134 --- 3.9431 3.55*10-8

127 --- 4.8669 4.64*10-8

89 --- 5.6453 5.70*10-8

72 --- 6.2638 1.47*10-5

56 --- 6.7905 8.57*10-5

17

44 --- 7.2302 9.44*10-5

27 0.0033 7.5741 1.32*10-5

8 0.0515 7.7502 0.0043

7 --- 7.7857 0.3603


In this chapter, the thesis proposed SVM-IF algorithm to extract

TSK fuzzy models based on support vector machines for regression.

In proposed algorithm, the priori knowledge about model structure is

integrated to extract the interpretable fuzzy rule set.

The SVM-IF algorithm allows to extract the fuzzy rule set from

training data, that has a limited number, optimized distribution and

ensured interpretability. It helps experts in the field of specificed

application interpret effectively the language for these rules. Thereby

they can adjust and supplement expert decisions to increase the

effectiveness of the predictive model.

CHAPTER 3. HYBRID MODEL OF CLUSTERING AND

DATA-DRIVEN FUZZY MODEL

3.1. Forcasting problem

The forcasting methods can be divided into 3 groups: prediction by

expert method, prediction by regression method, prediction on time-

series data.

3.2. Time series forecasting

The goal of forecasting on time series data is to estimate some

future values based on current and past usage data patterns. The

effectiveness of the model is evaluated by forecasting errors included

Mean absolute error - MAE, Mean absolute percentage error - MAPE,

Mean squared error - MSE, Normalised Mean Square Error- NMSE.

18

3.3. Propose a fuzzy model for time series forecasting

Fig 3.1. Multi stages model for Time series forecasting

3.4. Input Data Clustering

The popular clustering techniques such as k-Means, SOM are used

to divide the cluster with large data set into smaller clusters. In

particular, SOM is assumed to be less dependent on choosing the

number and position of initial neuron than choosing the initial number

of clusters in k-Means. The efficiency of clustering achieve high

performance on noisy data and less local optimization

The thesis choose SOM for clustering time series data as input.

3.5. Experimental model to make prediction on stock market

Experiment for stock price forecasting by proposed model is shown

into 2 stages:

Stage 1: Training model by traning data set

Step 1: Selecting data input and output

Step 2: Clustering training dataset by SOM

Step 3: Extracting TSK fuzzy system for each data cluster by f-SVM

or SVM-IF

Step 4: Conducting an experiment on the dataset to select optimal

values for ε parameter, n cluster

Step 5: Extracting fuzzy models for clusters.

Data

Collecting

Feature

Selecting

Data

Clustering

Extracting the fuzzy rules from f-SVM/ SVM-IF

Apply

to

predict

19

Stage 2: Make a prediction on testing data set

Step1: Determine clusters correspond to sample data of testing data

set

Step 2: Make a prediction on the testing data set

Step 3: Calculate the standard error of predicted result to evaluate the

proposed model

Fig 3.3. Hybrid model based on SOM and f-SVM/SVM-IF for stock

price forecasting

3.5.1. Selecting input data

Table 3.1. Input and output variables.

Symbols Variables Calculation

𝑥1 EMA100 𝑃𝑖 − 𝐸𝑀𝐴100(𝑖)̅̅ ̅̅ ̅̅ ̅̅ ̅̅ ̅̅ ̅̅

𝑥2 RDP-5 (𝑃(𝑖) − 𝑃(𝑖 − 5))/𝑃(𝑖 − 5) ∗ 100

𝑥3 RDP-10 (𝑃(𝑖) − 𝑃(𝑖 − 10))/𝑃(𝑖 − 10) ∗ 100

𝑥4 RDP-15 (𝑃(𝑖) − 𝑃(𝑖 − 15))/𝑃(𝑖 − 15) ∗ 100

20

𝑥5 RDP-20 (𝑃(𝑖) − 𝑃(𝑖 − 20))/𝑃(𝑖 − 20) ∗ 100

𝑦 RDP+5 (𝑃(𝑖 + 5)̅̅ ̅̅ ̅̅ ̅̅ ̅̅ ̅ − 𝑃(𝑖)̅̅ ̅̅ ̅̅ )/𝑃(𝑖)̅̅ ̅̅ ̅̅ ∗ 100

𝑣ớ𝑖 𝑃(𝑖)̅̅ ̅̅ ̅̅ = 𝐸𝑀𝐴3(𝑖)̅̅ ̅̅ ̅̅ ̅̅ ̅̅ ̅

𝑃(𝑖) is the close price of the ith data point, 𝐸𝑀𝐴𝑚(𝑖) is the m-day

exponential moving average of the ith data point.

3.5.2. Selecting metrics to evaluate the effectiveness of the

proposed model

NMSE, MAE and DS (Directional Symmetry) are chosen to

evaluate the effectiveness of the proposed model.

3.6. Experimental implementation

Table 3.2. The data source information

Stock

code

Time period Training

data

Validat

ion data

Testing

data

IBM 03/01/2000 - 30/06/2010 2209 200 200

APPL 03/01/2000 - 30/06/2010 2209 200 200

S&P

500 03/01/2000 - 23/12/2008 2016 200 200

DJI 02/01/1991 - 28/03/2002 2152 200 200

Table 3.7. Result of SOM+f-SVM model

Stock

code

# of

clusters

SOM + f-SVM

# of

rules NMSE MAE DS

IBM 6 1355 1.0324 0.0554 50.75

APPL 55 1287 1.0467 0.0435 53.27

SP500 6 965 1.0836 0.1207 53.27

DJI 35 1025 1.0459 0.1181 51.76

21

Table 3.8. Result of SOM+SVM-IF model

Stock

code

# of

clusters

SOM + SVM-IF

# of

rules NMSE MAE DS

IBM 6 30 1.0530 0.0504 50.05

APPL 55 270 1.0466 0.0610 53.00

SP500 6 30 1.0906 0.1117 52.86

DJI 35 175 1.0550 0.1101 51.35

Table 3.9. A set of fuzzy rules are protected from S&P500 stock

data.

Rules Detail

R1 IF x1=Gaussmf(0.10,-0.02) and x2=Gaussmf(0.10,-0.08)


and x5=Gaussmf(0.10,0.02) THEN z=-0.02

R2 IF x1=Gaussmf(0.10,0.02) and x2=Gaussmf(0.09,-0.00)


and x5=Gaussmf(0.09,0.00) THEN z=0.04




R4 IF x1=Gaussmf(0.09,0.01) and x2=Gaussmf(0.10,0.08)





and x5=Gaussmf(0.08,-0.04) THEN z=-0.18

22


Data clustering solution in the stage of input data pre-processing is

one of the most resolutions to overcome large size problems. By

applying SVM-IF algorithm to extract a fuzzy model from training

data and combine with real data set, the proposed model ensured both

interpretable and predictive efficiency.

Combined SOM and SVM-IF model showed the result is more

accurate than forecasting models proposed by other authors. In

addition, with the proposed model, the fuzzy set rules of each

extracting model can be interpreted by experts in the corresponding

field.

CONCLUSION

Our goal is to build hybrid data-driven fuzzy model of hybrid data

based on the integration of prior knowledge and data-driven fuzzy

model for regression predictive problem. The thesis archived main

results as following:

First, research method to build fuzzy model, especially, data-driven

fuzzy model for regression predictive problem. Hence, we arrive at

TSK fuzzy rule extraction algorithm from the training data based on

supported vector machine for the regression. The proposed f-SVM

algorithm allows to optimize fuzzy member function parameters and

select the epsilon parameter value to adjust the number of fuzzy rule

extraction. The study also proposed using the valid data sets to conduct

the experiment of selecting the optimal epsilon parameter values for

each fuzzy model corresponding to each specific problem. The

23

experiment showed that combining the f-SVM algorithm with the

optimal parameter choosing solution allowed to extract the fuzzy

model with decreased numbers of fuzzy rule but still ensure the

efficiency of forecasting.

Second, studying of scenarios of integrating prior knowledge into

fuzzy model learning, analyzing conditions that ensure the

"interpretability" of a fuzzy model to identify prior knowledge to

integrate into the fuzzy TSK model learning process from the vector

learning machine. The proposed SVM-IF algorithm integrated prior

knowledge integration that allows for the extraction of the fuzzy

model to ensure that it can be "interpretability". Experiments

conducted show that the fuzzy rule extracted by using the SVM-IF

algorithm has a reduced number of rules and the distribution of fuzzy

member functions has been adjusted at the same time.

Third, the thesis proposed a hybrid model of SOM clustering

technology and fuzzy data-driven model based on support vector

machine for regression to solve the time series forecasting problem.

The proposed model solved the problem of large data size and high

noise of the time series forecasting problem. The technical integration

of input data clustering has reduced local noise in each cluster and also

reduced the data size, thereby increasing efficiency, reducing the time

complexity of the training algorithm. The number of fuzzy rules in

each cluster is smaller when in was not clustered, so the model-based

forecasting speed will also be improved. The hybrid model between

SOM and f-SVM clustering techniques proposed by the dissertation

was first published in the project [A2], which was cited at least in 7

international publications by foreign authors, especially there are new

citations in 2018 and 2019.

24

In addition, with a limited number of fuzzy rule clusters which has

been improved "interpretable" with SVM-IF algorithm, experts can

interpret semantics of rule sets, understand rule sets. From there, they

can decide whether they need to add the necessary expert rules or

remove inappropriate rules to optimize the rule set. However, the

thesis has a limitaion is the language extracted by fuzzy rule set from

time series data sets not yet analyzed. One of the next research

orientations of the thesis is to cooperate with experts in the field of

forecasting to analyze the language of fuzzy rules and extract and

optimize the rule set by the knowledge of experts.

The second limitation of the thesis is shown that in the proposed f-

SVM and SVM-IF algorithms, the changing and determining of

optimal value for the parameters through experiment on the

authentication data set is not automatically excuted in algorithm. The

value of the parameters is determined depending on the data set of

each specific prediction problem. A further research orientation of the

thesis is to conduct many experiments on the identified problems,

hence there are synthesis and statistics of selected parameter values to

propose appropriate parameter value thresholds for each problem.

Besides that, the study of identifying and selecting the prior

knowledge is needed to integrate into the training process of fuzzy

model and it is also a further research direction to improve the

effectiveness of the model.

LIST OF RELATED RESEARCH PUBLICATION OF

AUTHOR

[A1] Duc-Hien Nguyen, Manh-Thanh Le (2013), Improving the

Interpretability of Support Vector Machines-based Fuzzy Rules,

Advances in Smart Systems Research, Future Technology

Publications, PO Box 2115, United Kingdom, ISSN: 2050-8662, Vol.

3, No. 1, 7-14.

[A2] Duc-Hien Nguyen, Manh-Thanh Le (2014), A two-stage

architecture for stock price forecasting by combining SOM and fuzzy-

SVM, International Journal of Computer Science and Information

Security (IJCSIS), USA, ISSN: 1947-5500, Vol. 12, No. 8, 20-25.

[A3] D.H Nguyen, V.M Le (2018), Hybrid Model of Self-Organized

Map and Integrated Fuzzy Rules with Support Vector Machine:

Application to Stock Price Analysis, Proceedings of Fourth

International Conference on Information system Design and

Intelligent Applications (INDIA 2017), Advances in Intelligent

Systems and Computing, Springer, Singapore, vol 672, 314-322.

[A4] Ngyễn Đức Hiển (2013), Ứng dụng mô hình máy học véc-tơ tựa

(SVM) trong việc phân tích dữ liệu điểm sinh viên, Tạp chí Khoa học

và Công nghệ Đại học Đà Nẵng. Số 12(73), Quyển 2, 33-37.

[A5] Nguyễn Đức Hiển (2014), Mô hình hai giai đoạn dự báo giá cổ

phiếu với K-mean và Fuzzy-SVM, Tạp chí Khoa học và Công nghệ Đại

học Đà Nẵng, Số 12(85), Quyển 2, 20-24.

[A6] Nguyễn Đức Hiển, Lê Mạnh Thạnh (2015), Mô hình tích hợp f-

SVM và tri thức tiên nghiệm cho bài toán dự báo hồi quy, Tạp chí

Khoa học Đai học Huế, Số T. 106, S. 7, 1-14.

[A7] Nguyễn Đức Hiển, Lê Mạnh Thạnh (2015), Mô hình mờ TSK

dự đoán giá cổ phiếu dựa trên máy học véc-tơ hỗ trợ hồi quy, Tạp chí

khoa học Trường Đai học Cần Thơ, Số chuyên đề Công nghệ thông

tin, 144-151.

[A8] Nguyễn Đức Hiển, Lê Mạnh Thạnh (2015), Tối ưu hóa mô hình

mờ TSK trích xuất từ máy học véc-tơ hỗ trợ hồi qui với tham số

epsilon, Tạp chí Khoa học và Công nghệ Đại học Đà Nẵng, Số 12(97),

Quyển 2, 15-19.

[A9] Nguyễn Đức Hiển, Lê Mạnh Thạnh (2018), Cải thiện mô hình

mờ hướng dữ liệu với tri thức tiên nghiệm. Tạp chí KH&CN Trường

Đại học khoa học – Đại học Huế, Volume 12, 39-49.

[A10] Nguyễn Đức Hiển, Lê Mạnh Thạnh (2018), Một số giải pháp

tối ưu tập luật mờ TSK trích xuất từ máy học véc-tơ hỗ trợ hồi quy. Kỷ

yếu Hội nghị FAIR’2018.

ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN ĐỨC...

Documents

Transcript of ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC KHOA HỌC NGUYỄN ĐỨC...