Text Adaptive Resonance Theory Neural Network for Support Textual Inputs
description
Transcript of Text Adaptive Resonance Theory Neural Network for Support Textual Inputs
เท็กอะแดปทีพเรโซแนนเทียรนีิวรอลเน็ตเวิรค
Text Adaptive Resonance Theory Neural Network
นายนรเศรษฐ จันทสูตร43067138
แขนงวชิา วิทยาการสารสนเทศ รุนที่ 10คณะเทคโนโลยสีารสนเทศ
สถาบันเทคโนโลยีพระจอมเกลาเจาคุณทหารลาดกระบังอาจารยผูควบคุมวิทยานพินธ ผศ.ดร.วรพจน กรสีรุะเดช
โครงเรื่อง
ความเปนมาและปญหาของงานวิจัยแนวความคิดหลักของงานวิจัยนิวรอลเน็ตเวิรคที่ออกแบบใหมและใชในงานวิจัยการวัดประสิทธิภาพผลการทดลองบทสรุป
ความเปนมาและปญหาของงานวิจัย
ความเปนมาขอมูลเอกสารที่มีรูปแบบเปนอิเล็กทรอนิกสมีปริมาณเพิ่มมากขึ้นความตองการในการสืบคนขอมูลเอกสารที่ถกูตองและรวดเร็วการจัดกลุมเอกสาร (Document Clustering) เพื่อชวยในการคนคืนขอมูลใชเทคนิค Vector Space Model ในการแปลงขอมูลในรูปแบบตัวเลขสําหรับอัลกอริทึมการจัดกลุม
ความเปนมาและปญหาของงานวิจัย (ตอ)
Doc1 = “care, cat, dog”Doc2 = “care, care, cat, cat, dog”Index Terms set = {care, cat, dog}Ex. Query = “cat”
q = { 0, 1, 0}
21care
12Doc211Doc1
dogcat
Doc x index term
ความเปนมาและปญหาของงานวิจัย (ตอ)
Similarity in vector SpaceCosine similarity measure
, ,1( , )2 2, ,1 1
t w wi j i qisim d qj t tw wi j i qi i
∑ ==∑ ∑= =
ความเปนมาและปญหาของงานวิจัย (ตอ)
Sim(d1, q) = [ (1*0) + (1*1) + (1*0)] /sqrt(12 +12 + 12 ). sqrt( 02 + 12 + 02 )
= 1 / (1.73*1) = 1/1.73 = 0.578Sim(d2, q) = [ (2*0) + (2*1) + (1*0)] /
sqrt(22 +22 + 12 ). sqrt( 02 + 12 + 02 ) = 2 / (3*1) = 2/3 = 0.667
ความเปนมาและปญหาของงานวิจัย (ตอ)
ปญหา การจัดกลุมเอกสาร (Document Clustering) เมื่อขอมูลเอกสารถูกนําเขากระบวนการ Document Representation โดยการหลักการจาก Vector Space Model อาจนําไปสูปญหา High Dimensional Vector ถาจํานวนคําศัพท (Index Term) มีมากขึ้นตามหลักการของ Vector Space Model การกําหนดคําใน Index Term set ตองถูกกําหนดขึ้น
ความเปนมาและปญหาของงานวิจัย (ตอ)k มีจํานวนมากเกินไป จะทําใหเกิดปญหา High Dimension Vector
docxtermknkn3n2n1n
k242322212
k111111111
)term,doc(tf...)term,doc(tf)term,doc(tf)term,doc(tf)term,doc(tf..................
)term,doc(tf...)term,doc(tf)term,doc(tf)term,doc(tf)term,doc(tf)term,doc(tf...)term,doc(tf)term,doc(tf)term,doc(tf)term,doc(tf
ความเปนมาและปญหาของงานวิจัย (ตอ)
Term 1
Term 2
Term 3
Term 4
Term k
Unsupervised Learning ANNs
wijyj
Xi
วัตถปุระสงคของงานวิจัย
เพื่อศกึษาและพัฒนาการจัดแบงกลุมเอกสารดวยโครงขายประสาทเทียมที่ใชอัลกอริทึมเท็กอะแดปทีพเรโซแนนเทียรีนิวรอลเน็ตเวิรค ที่สามารถรับอินพุตคํา (Text) เขาไปประมวลผลไดโดยตรง
ประโยชนที่คาดวาจะไดรับ
ลดปญหาการเกิด High-Dimensional Vector ของคําทําใหการจัดกลุมเอกสารทําไดสะดวกโดยวิธีการรับอนิพุตคํา (Text) โดยตรงเขามาประมวลผลในโครงขายประสาทเทียม
แนวความคิดหลักของงานวิจัย
Adaptive Resonance Theory Neural NetworksSimilarity Measure for symbolic Objectโครงขายประสาทเทียมที่พัฒนาขึ้นใชอัลกอริทึม
เท็กอะแดปทีพเรโซแนนเทียรีนิวรอลเน็ตเวิรค:Text Adaptive Resonance Theory Neural Network
Binary ART Neural Network Architecture
Reset
Y1
Y2
Yj
bij
tji
X1
Si
Y3
Y4
Zi
S1
Xi
สถาปตยกรรมของ Binary Adaptive Resonance Theory Neural Network
vigilance
F1(a) Layer F1(b) Layer F2 Layer
Gain
R
+
+
-
ART1 learning algorithm1. Weights เริ่มตนไดจากการสุม2. หาคา 3. X = S4. ทุกเอาทพุทโหนด 5. หาเอาทพุทโหนดที่มีคาสูงสุด
เปนโหนดชนะ6. คํานวณอินพุต X กับ top-down
weight ของโหนดที่ชนะ 7. ทดสอบ Resonance
∑=i
iijj xby
}ymax{ j
s
ρ≥sx
∑=i
jii tsx
ART1 learning algorithm (ตอ)8. ปรับ weight ของโหนดที่ชนะ Jy
x1LLxb i
)new(iJ +−=
i)new(Ji xt =
Text ART Neural Network Architecture
Reset
Y1
Y2
Yj
bij
tji
X1
Di
Y3
Y4
Zi
D1
Xi
สถาปตยกรรมของ Text Adaptive Resonance Theory Neural Network
vigilance
F1(a) Layer F1(b) Layer F2 Layer
Gain
R
+
+
-
Document Representation
เอกสารแตละชุดสามารถเขียนแทนดวย Cartesian Product ไดดังนี้
เมื่อ คือ Feature ลําดับที ่d ของเอกสาร
dDxxDxDxDDoc ... 321=
dD
Document Representation (ตอ)
ในงานวิจัยนี้ไดใช feature ของขาว คือ feature Titlefeature Keyword
ดังนัน้ขาวหนึ่งขาวสามารถแทนไดดวยสมการดังนี้KeywordxTitleDoc =
Text ART Neural NetworkDocument input,
Title = {money, bank} Keyword ={economic, market, finance, interest}
ADoc
1D
2D
Reset
vigilance
Yj
tji
Xibij
Di
{money, bank}
{economic, market, finance, interest}
Z
Text ART Neural Network
)}e,B(),...,e,B(),e,B{(t pjipjiji2ji2ji1ji1ji =
Weight ของ Text ART Neural Network ประกอบดวย• คํา• คาระดับความสัมพันธของคํา
)}e,A(),...,e,A(),e,A{(b pijpijij2ij2ij1ij1ij =
Similarity Measure for Symbolic object
คา ความคลายคลึง ประกอบดวยสองสวนคือคา ความคลายคลึงในเชิง span เขียนแทนดวย SS
ความคลายคลึงในเชิง content เขียนแทนดวย SC
Similarity Measure for Symbolic object (ตอ)
blal
inters
sl
คือ จํานวนสมาชิกทั้งหมดใน Feature A
คือ จํานวนสมาชิกทั้งหมดใน Feature B
คือ จํานวนของสมาชิกทั้งหมดที่ Intersection กันระหวาง Feature A และ Feature B
คือ จํานวนสมาชิกทั้งหมดของ Feature A และ Feature B รวมกันลบดวยจํานวนของสมาชิกทั้งหมดที่ Intersection กันระหวาง Feature A และ Feature B (la + lb – inters)
( )s
bakks l
llBAS
×+
=2
),(s
kkc lBAS inters),( =
Similarity Measure for symbolic object (ตอ)
คาความคลายคลึงสุทธิระหวางเอกสาร และ คือ),(),(),( kkckkskk BASBASBAS +=
Ak B k
∑==
d
kkk BASBAS
1),(),(
นิยามให k คือ คุณลักษณะของเอกสารที่ kd คือ จํานวนของคุณลักษณะที่กําหนด
Text ART Learning AlgorithmCompetition ทําการหาโหนดผูชนะซึ่งมีคาความคลายคลึงสงูทีส่ดุ โดยใช Similarity Measure ของเอกสารอินพุตเปรียบเทียบกับ bottom-up weight และโหนดที่มีคาความคลายคลึงรองลงมาใหกําหนดเปนโหนดคูแขง Resonance ทําการทดสอบหาความสอดคลองโดยใชคา Vigilance Threshold เปรียบเทียบกับคาความคลายคลึงของเอกสารอินพุตและ top-down weight ของโหนดผูชนะ
กรณีไมสอดคลอง: ยกเลิกโหนดผูชนะ และเลือกโหนดคูแขงทีม่ีคาความคลายคลึงสงูทีส่ดุ กําหนดใหเปนโหนดผูชนะ และกลับไปขั้นตอน Resonance เพื่อทาํการทดสอบหาความสอดคลองใหม กรณสีอดคลอง: ยอมรับโหนดผูชนะ และไปขั้นตอนการปรับ Weight
Update weight
การคํานวณหาโหนดผูชนะ (Competition)
∑∑= =
=d
1inijnij
p
1nij e).A,X(SY
}Ymax{Y jJ =
ทดสอบสวนความสอดคลอง Resonance
)d*5.0()d*2(
)d*5.0()t,X(SZ
d
1iJii
−
−
=∑=
weightsupdate,vigilanceZreset,vigilanceZ
≥<
การปรับ Weight ของ Text ART Neural Nets
Word in input document
weightUNION
Word in input document weight
การปรับ Weight ของ Text ART Neural Nets (ตอ)
∩∉−
∩∈+
=
∪=
Otherwise;*5
,Xb A if )e(f
,Xb A if )e(f
e
Xbb
iJnij)old(
niJ
iJnij)old(
niJ
)new(niJ
)old(iJ
)new(iJ
η
η
η
∩∉−
∩∈+
=
∪=
Otherwise;*5
,X tB if )e(f
,X tB if )e(f
e
Xtt
Jinji)old(
nJi
Jinji)old(
nJi
)new(nJi
)old(Ji
)new(Ji
η
η
η
Bottom-up weight Top-down weight
if 0 x 1( ) 0 if x 0
1 if x 1
xf x
≤ ≤= < >
Where F(.) is defined as
การวัดประสิทธิภาพของการจัดกลุม
Entropy F-measure
การวัดประสิทธิภาพของการจัดกลุม (ตอ)Entropy แตละ cluster
1
m N jE Ep jNj= ×∑
=
log( )E p pj ij iji
= −∑
คา Entropy รวม หาไดจากคือจํานวนของสมาชิกใน Cluster j คือจํานวนของสมาชิกทั้งหมดคือจํานวน Cluster
jN
Nm
p i j คือ Probability ของ Sample, Sj , ซึ่งเปนของ class Ci
Class1
Class3 Class4
Class2
j
ij
Ss
=
การวัดประสิทธิภาพของการจัดกลุม (ตอ)
j
ij
NN
)j,i(precisionP ==
คือจาํนวนสมาชิกของ class Ci ใน Clusterjคือจํานวนสมาชิกของ Clusterjคือจํานวนสมาชิกของ class Ci
ijN
jN
iN
Cluster ,JClass, I
i
ij
NN
)j,i(recallR ==
Correct classes found in clusters
การวัดประสิทธิภาพของการจัดกลุม (ตอ)
คา F-Measure ของ class Ci หาไดจาก=
+2( ) PRF iP R
คา F-Measure รวม หาไดจาก( )( )×∑
=∑
i F iiFp iii คือจํานวนสมาชิกใน class Ci
การทดลองSynthesized data
Synthesized Alphabet Documents 3 classSynthesized Text Documents 3 class
Reuter-21578 dataReuter news 3 classReuter news 5 classReuter news 14 class
การทดลอง (ตอ)Synthesized alphabet document
gh
k mn
r s tu v
c df
u v w x y
m n p
a c d
ij
Title keyword
ผลการทดลอง (ตอ)
Entropy = 0.04F measure = 0.99
004132600213201321
จํานวนสมาชิกที่ตกในแตละ ClusterClass
Synthesized alphabet documentLearning Rate = 0.01, Epoch = 6/100 , output node =3 , vigilance = 0.1
การทดลอง (ตอ)Synthesized text document
javanetwork
internetprotocolcisco3com
car businesstravel hotelbank airline
algorithmdatabasepredictcluster
market tourbenz toyotamoney airway
mailsmtphttpftp
computealgorithmdatabaseintel
webfirewall
Title keyword
ผลการทดลอง (ตอ)
Entropy = 0.01F measure = 0.99
326003003232034921321
จํานวนสมาชิกที่ตกในแตละ ClusterClass
Synthesized text documentLearning Rate = 0.01, Epoch = 8/100 , output node =3 , vigilance = 0.1
การทดลอง (ตอ)
Reuter-21578 dataขั้นตอนที่ 1 แยกเอาเฉพาะขอความใน Title และใน Body ของทุกๆขาว และทํา Index ของแตละขาววาอยูใน Topic ไหนขั้นตอนที่ 2 นําตัวเนื้อขาวที่ได (จากแท็ก Body) ทั้งหมดมาหาคําสําคัญ (keyword) ดวยโปรแกรม copernic summarizer โดยในการหาคําสําคัญของแตละขาวไดกําหนดจํานวนของคําที่ซ้ําไวที่ 10 คํา ขั้นตอนที่ 3 นํา ขอความ Title และ Keyword ที่ไดมาหา stemming ของคํารวมทั้งตัดคําที่เปน stop word
เปรียบเทียบกับผลการทดลองของ TPCLNN
0.85 0.85
0.66
0.88 0.84
0.65
00.10.20.30.40.50.60.70.80.9
1
Reuter 3 Reuter 5 Reuter 14
F-measure
Text ART NNTPCLNN
0.450.51
0.86
0.39
0.5
0.8
00.10.20.30.40.50.60.70.80.9
1
Reuter 3 Reuter 5 Reuter 14
Entorpy
Text ART NNTPCLNN
81
136
275
379
256
340
0
50
100
150
200
250
300
350
400
Reuter 3 Reuter 5 Reuter 14
Datasets
Loop Text ART
TPCLNN
สรุปงานวิจัย ปญหาที่พบ และขอเสนอแนะสรุปงานวิจัยลดปญหาของการเกิด High-Dimension vector ของคํา จํานวนรอบในการ Train ของนิวรอลเน็ตเวิรคนอยลงปญหาที่พบความทับซอนกัน (overlap) ของขาวขอเสนอแนะเพิ่มวิธีการที่สามารถจัดกลุมขาวที่สามารถอยูไดมากกวา 1 class
จบการนําเสนอ ขอบคุณครับ
Text ART Neural Network (ตัวอยาง)
Document input,
Title = {money, bank} Keyword ={economic, market, finance, interest}
ADoc
1D
2D
Reset
vigilance
Yj
tji
Xibij
Di
{money, bank}
{economic, market, finance, interest}
Z
Text ART Neural Network (ตัวอยาง)Learning rate = 0.01Vigilance = 0.1Initialize weights
bottom-up weighttop-down weight
X = D
ρη
Text ART Neural Network (ตัวอยาง)
Initial bottom-up weightb11={(interest,0.5),(bank,0.5),(credit,0.5)}b21={(interest,0.5),(bank,0.5),(finance,0.5)}b12={(compute,0.5),(science,0.5),(logic,0.5)}b22={(compute,0.5),(accuracy,0.5),(math,0.5)}b13={(logic,0.5),(bank,0.5),(biz,0.5)}b23={(interest,0.5),(bank,0.5),(cost,0.5)}
Text ART Neural Network (ตัวอยาง)
Initial top-down weightt11={(market,1),(money,1),(biz,1)}t12={(market,1),(money,1),(finance,1)}t21={(algorithm,1),(biz,1),(crude,1)}t22={(interest,1),(biz,1),(crude,1)}t31={(acq,1),(economic,1),(war,1)}t32={(money,1),(economic,1),(marvel,1)}
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงในเชิง Span ระหวาง Xtitle กับ b11
Xtitle = {money, bank}b11= {(interest,0.5),(bank,0.5),(credit,0.5)}
5.0)012(2
12)A,X(S 111titles =−+×
+=
75.0)112(2
12)A,X(S 211titles =−+×
+=
5.0)012(2
12)A,X(S 311titles =−+×
+=
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงในเชิง Content ระหวาง Xtitle กับ b11
0)012(
0)A,X(S 111titlec =−+
=
5.0)112(
1)A,X(S 211titlec =−+
=
0)012(
0)A,X(S 311titlec =−+
=
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงรวมในเชิง Span และ Content ระหวาง Xtitle กับ b11
1111titlec11titles1111title e)).A,X(S)A,X(S(e).A,X(S +=
05.125.055.025.0
5.0)*05.0(5.0)*5.075.0(
5.0)*05.0(=
=
+++
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงในเชิง Span ระหวาง Xkeyword กับ b21
625.0)114(2
14)A,X(S 121keywords =−+×
+=
5.0)014(2
14)A,X(S 221keywords =−+×
+=
625.0)114(2
14)A,X(S 321keywords =−+×
+=
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงในเชิง Content ระหวาง Xkeyword กับ b21
25.0)114(
1)A,X(S 121keywordc =−+
=
0)014(
0)A,X(S 221keywordc =−+
=
25.0)114(
1)A,X(S 321keywordc =−+
=
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงรวมในเชิง Span และ Content ระหวาง Xkeyword กับ b21
1111keywordc11keywords1111keyword e)).A,X(S)A,X(S(e).A,X(S +=
125.1437.025.0
437.0
5.0)*25.0625.0(5.0)*05.0(
5.0)*25.0625.0(=
=
+++
ตัวอยางการคํานวณหาโหนดผูชนะ (ตอ)หาคาความคลายคลึงสุทธิ ของโหนด Y1
1.05+1.125 = 2.175หาคาความคลายคลึงสุทธิ ของโหนด Y2
0.75+0.75 = 1.5หาคาความคลายคลึงสุทธิ ของโหนด Y3
1.05+ 0.9375 = 1.9875โหนด Y1 คือโหนดชนะ ทําการทดสอบความสอดคลอง Resonance
ทดสอบสวนความสอดคลอง Resonance (ตอ)
6.14.02.1)t,X(S)t,X(S)t,X(S 12keywordc12keywords12keyword =+=+=
375.125.0125.1)t,X(S)t,X(S)t,X(S 11titlec11titles11title =+=+=
575.26.1375.1)t,X(S 1 =+=
525.0)2*5.0()2*2()2*5.0()575.2(Z =
−−
=
weights update,Z1.0
ρρ≥=
การปรับ Weight ของ Text ART Neural Nets (ตอ)Input data Xtitle={money, bank}Xkeyword={economic, market, finance, interest}
Old weightsb11={(interest,0.5),(bank,0.5),(credit,0.5)}b21={(interest,0.5),(bank,0.5),(finance,0.5)}t11={(market,1),(money,1),(biz,0.5)}t12={(market,1),(money,1),(finance,1)}
New weightsb11={(interest,0.49),(bank,0.51),(credit,0.49),(money,0.05)}b21={(interest,0.51),(bank,0.49),(finance,0.51),(economic,0.05),(market,0.05)}t11={(market,0.99),(money,1),(biz,0.99),(bank,0.05)}t12={(market,1),(money,0.99),(finance,1),(economic,0.05),(interest,0.05)}