รายงานการวิจัย - ssruir.ssru.ac.th(7) สารบัญ (ต่อ)...
Transcript of รายงานการวิจัย - ssruir.ssru.ac.th(7) สารบัญ (ต่อ)...
รายงานการวจย เรอง
การคนหาเทคนคเหมองขอมลเพอสรางโมเดลการวเคราะหโรคอตโนมต
โดย
นายนเวศ จระวชตชย
ไดรบทนอดหนนจากมหาวทยาลยราชภฏสวนสนนทา ปงบประมาณ 2553
http://www.ssru.ac.th
(6)
สารบญ
หนา กตตกรรมประกาศ (1) บทคดยอภาษาไทย (2) ABSTRACT (4) สารบญ (6) สารบญตาราง (8) สารบญภาพ (11) บทท 1 บทนา 1 1.1 ความเปนมาและความสาคญของปญหา 1 1.2 วตถประสงค 2 1.3 ขอบเขตของงานวจย 2
1.4 เครองมอทใชในงานวจย 3 1.5 ประโยชนทคาดวาจะไดรบ 3
บทท 2 ทฤษฎและงานวจยทเกยวของ 4 2.1 เหมองขอมล 4 2.2 เทคนคการทาเหมองขอมล 7 2.3 อลกอรทมการแบงประเภท 9 2.4 การลดมตขอมล 15 2.5 การประเมนโมเดล 16
2.6 งานวจยทเกยวของ 18 บทท 3 วธดาเนนงานวจย 20 3.1 การคนควาและทาการวจย 20 3.2 แบบจาลองการวเคราะหโรคอตโนมต 21 3.3 กลมขอมลและประเภทขอมล 21 3.4 การวดประสทธภาพ 25
http://www.ssru.ac.th
(7)
สารบญ (ตอ) หนา
บทท 4 ผลการวจย 26 4.1 ผลการวเคราะหเปรยบเทยบประสทธภาพ โดยไมลดคณลกษณะ 27 4.2 ผลการวเคราะหเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging 41 4.3 ผลการวเคราะหเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting 55
4.4 ผลการวเคราะหเปรยบเทยบประสทธภาพเมอลดคณลกษณะดวยวธ CFS 69 4.5 ผลการวเคราะหเปรยบเทยบประสทธภาพเมอลดคณลกษณะดวยวธ FCBF 83 4.6 ผลการวเคราะหเปรยบเทยบประสทธภาพวธ Single กบ Multiple learning 97 4.7 ผลการวเคราะหเปรยบเทยบประสทธภาพลดคณลกษณะวธ CFS และ FCBF 103 บทท 5 สรปผลและขอเสนอแนะ 109 5.1 สรป 109 5.2 อภปรายผล 115 5.3 ขอเสนอแนะ 116 บรรณานกรม 117 ประวตผวจย 118
http://www.ssru.ac.th
(8)
สารบญตาราง
ตาราง หนา 3.1 ตารางสรปชดขอมล 24 4.1 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Naïve Bayes 27 4.2 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Multilayer Perceptron 28 4.3 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Radial Basis Function 29
4.4 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Support Vector Machine 30 4.5 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม K-Nearest Neighbor 31 4.6 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Decision Tree 32 4.7 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Ripper 33 4.8 การเปรยบเทยบประสทธภาพดาน TP Rate 34 4.9 การเปรยบเทยบประสทธภาพดาน Precision 35 4.10 การเปรยบเทยบประสทธภาพดาน Recall 36 4.11 การเปรยบเทยบประสทธภาพดาน F-Measure 37 4.12 การเปรยบเทยบประสทธภาพดาน Accuracy 38 4.13 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม NaiveBayes 41 4.14 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม MultilayerPerceptron 42 4.15 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม Radial Basis Function 43 4.16 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม Support Vector Machine 44 4.17 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม K-Nearest Neighbor 45 4.18 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม Decision Tree 46 4.19 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม Ripper 47 4.20 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน TP Rate 48 4.21 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน Precision 49 4.22 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน Recall 50 4.23 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน F-Measure 51 4.24 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน Accuracy 52
http://www.ssru.ac.th
(9)
สารบญตาราง (ตอ)
ตาราง หนา 4.25 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม NaiveBayes 55 4.26 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม MultilayerPerceptron 56 4.27 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม Radial Basis Function 57 4.28 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม Support Vector Machine 58 4.29 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม K-Nearest Neighbor 59 4.30 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม Decision Tree 60 4.31 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม Ripper 61 4.32 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน TP Rate 62 4.33 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน Precision 63 4.34 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน Recall 64 4.35 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน F-Measure 65 4.36 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน Accuracy 66 4.37 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม NaiveBayes 69 4.38 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม MultilayerPerceptron 70 4.39 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม Radial Basis Function 71 4.40 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม Support Vector Machine 72 4.41 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม K-Nearest Neighbor 73 4.42 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม Decision Tree 74 4.43 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม Ripper 75 4.44 การเปรยบเทยบประสทธภาพดาน TP Rate เมอลดคณลกษณะดวย CFS 76 4.45 การเปรยบเทยบประสทธภาพดาน Precision เมอลดคณลกษณะดวย CFS 77 4.46 การเปรยบเทยบประสทธภาพดาน Recall เมอลดคณลกษณะดวย CFS 78 4.47 การเปรยบเทยบประสทธภาพดาน F-Measure เมอลดคณลกษณะดวย CFS 79 4.48 การเปรยบเทยบประสทธภาพดาน Accuracy เมอลดคณลกษณะดวย CFS 80 4.49 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม NaiveBayes 83 4.50 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม MultilayerPerceptron 84
http://www.ssru.ac.th
(10)
สารบญตาราง (ตอ)
ตาราง หนา 4.51 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม Radial Basis Function 85 4.52 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม Support Vector Machine 86 4.53 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม K-Nearest Neighbor 87 4.54 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม Decision Tree 88 4.55 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม Ripper 89 4.56 การเปรยบเทยบประสทธภาพดาน TP Rate เมอลดคณลกษณะดวย FCBF 90 4.57 การเปรยบเทยบประสทธภาพดาน Precision เมอลดคณลกษณะดวย FCBF 91 4.58 การเปรยบเทยบประสทธภาพดาน Recall เมอลดคณลกษณะดวย FCBF 92 4.59 การเปรยบเทยบประสทธภาพดาน F-Measure เมอลดคณลกษณะดวย FCBF 93 4.60 การเปรยบเทยบประสทธภาพดาน Accuracy เมอลดคณลกษณะดวย FCBF 94 4.61 การเปรยบเทยบประสทธภาพดาน Accuracy ของ Single กบ Multiple learning 97 4.62 การเปรยบเทยบประสทธภาพดาน Accuracy ลดคณลกษณะดวย CFS และ FCBF 103
http://www.ssru.ac.th
(11)
สารบญภาพ
ภาพ หนา 2.1 ขนตอนกระบวนการคนความรจากฐานขอมล 6 2.2 ขนตอนกระบวนการทาเหมองขอมล (Data Mining) 6 2.3 ตนไมตดสนใจ 10 2.4 ซพพอรทเวกเตอรแมชชน 11 2.5 เนอฟเบย 11 2.6 เคเนยเรสเนเบอร 12 2.7 เครอขายฟงกชนฐานรศม 13 2.8 เพอรเซปตรอนหลายชน 15 2.9 K - fold Cross Validation ( K = 5) 17
http://www.ssru.ac.th
(1)
กตตกรรมประกาศ งานวจยเรอง การคนหาเทคนคเหมองขอมลเพอสรางโมเดลการวเคราะหโรคอตโนมตสาเรจลลวงไปไดดวยดนน ผวจยตองขอขอบคณผ เชยวชาญดานฐานขอมลทางการแพทยและ ขอบพระคณ อาจารยเสถยร จนทรปลา ผ อานวยการสานกวทยบรการและเทคโนโลยสารสนเทศ และผ ชวยศาสตราจารย สวรย ยอดฉม รองผ อานวยการฝายวจย ทกรณาใหคาแนะนาและขอเสนอแนะเกยวกบงานวจย จนทาใหงานวจยสาเรจลลวงไปไดดวยด นเวศ จระวชตชย
http://www.ssru.ac.th
(2)
บทคดยอ ชอรายงานการวจย : การคนหาเทคนคเหมองขอมลเพอสรางโมเดลการวเคราะหโรคอตโนมตชอผวจย : นายนเวศ จระวชตชย ปททาการวจย : 2553
....................................................................................................
งานวจยนมวตถประสงคเพอคนหาเทคนคดานเหมองขอมล เพอสรางโมเดลการวเคราะหโรคอตโนมตทดสอบประสทธภาพในการจาแนก (Classification) สาหรบขอมลทางการแพทย โดยทดลองกบ 7 อลกอรทม ซงประกอบดวย Naïve Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector Machine, K-Nearest Neighbor, Decision Tree, Ripper ทาการศกษาเปรยบเทยบวธลดคณลกษณะทเหมาะสมดวยวธ Correlation-based Feature Subset Selection (CFS) และวธ Feature selection method based on correlation measure and relevance & redundancy analysis (FCBF) รวมถงทดสอบอลกอรทมประเภท Single learning และ Multiple learning และทาการเพมประสทธภาพการจาแนกดวยวธ Bagging และ Boosting ผลจากการวจยพบวาทกโมเดลทสรางขน มประสทธภาพในการจาแนกประเภทของโรคในระดบ 80 % ขนไป เมอไมลดคณลกษณะ และเมอเรยงคาความถกตอง (Accuracy) แยกตามประเภทของขอมลพบวา กลมขอมล Hypothyroid การสรางโมเดลดวยอลกอรทม Decision Tree ใหประสทธภาพดทสด 99.57% กลมขอมล Leukemia การสรางโมเดลดวยอลกอรทม Naive Bayes กบ Support Vector Machine ใหประสทธภาพดทสด 98.61% กลมขอมล Breast-w การสรางโมเดลดวยอลกอรทม Support Vector Machine ใหประสทธภาพดทสด 96.99% กลมขอมล Lymphography การสรางโมเดลดวยอลกอรทม Support Vector Machine ใหประสทธภาพดทสด 86.48% กลมขอมล Hepatitis การสรางโมเดลดวยอลกอรทม Radial Basis Function กบ K-Nearest Neighbor ใหประสทธภาพดทสด 85.80% กลมขอมล Heart-c การสรางโมเดลดวยอลกอรทม Support Vector Machine ใหประสทธภาพดทสด 84.15% กลมขอมล Heart-statlog การสรางโมเดลดวยอลกอรทม Radial Basis Function กบ Support
http://www.ssru.ac.th
(3)
Vector Machine ใหประสทธภาพดทสด 84.07% ตามลาดบ ซงการสรางโมเดลดงกลาวมคณภาพในระดบทยอมรบได และสามารถนาไปพฒนาเปนซอฟตแวรในการวนจฉยโรคอตโนมตได การเพมประสทธภาพดวยวธ Multiple Learning ดวยอลกอรทม Bagging และ Boosting สงผลใหคาความถกตองเพมขนเฉพาะบางกลมขอมลเทานน โดยมขอสงเกตวาสดสวนของกลมตวอยางในแตละคลาสจะตองมปรมาณใกลเคยงกนหรอเทากน กรณทการกระจายของของกลมตวอยางในแตละคลาส มสดสวนทแตกตางกนมาก สงผลใหเทคนค Bagging และ Boosting ไมชวยเพมประสทธภาพการจาแนกขอมล การลดคณลกษณะดวยวธ Correlation-based Feature Subset Selection (CFS) และวธ Feature selection method based on correlation measure and relevance & redundancy analysis (FCBF) สงผลใหประสทธภาพความถกตอง (Accuracy) ในการจาแนกประเภทของโรคใกลเคยงกบการไมลดคณลกษณะ แตการลดมตของขอมลดงกลาวทาใหประหยดทรพยากรของระบบคอมพวเตอรและระยะเวลาในการเรยนรเพอสรางโมเดลไดเปนอยางด
http://www.ssru.ac.th
(4)
Abstract Research Title : Data Mining Techniques for Automatical Disease Analysis Author : Mr. Nivet Chirawichitchai Year : 2010
................................................................................................. The objective of this research was to find the data mining techniques to create a model of efficiency in the automated analysis of disease classification for medical dataset by experiments with 7 algorithms, including Naïve Bayes, Multilayer Perceptron, Radial Basis Function Network, Support Vector Machine, K-Nearest Neighbor, Decision Tree, Ripper. Comparative study of feature selection methods with Correlation-based Feature Subset Selection (CFS) and Feature selection method based on correlation measure and relevance & redundancy analysis (FCBF) including test algorithms on Single learning and Multiple learning by increasing the efficiency, and enhance the classification by Bagging and Boosting. From the experimental results of this research showed all models were built with efficiency in the classification of the disease in up to 80% when the feature is not reduced. And when sorting accuracy (Accuracy) by type of dataset found that information Hypothyroid dataset on Decision Tree for the best performance is 99.57%, Leukemia dataset on Naive Bayes or Support Vector Machine for best performance is 98.61%, Breast-w dataset on Support Vector Machine for best performance is 96.99%, Lymphography dataset on Support Vector Machine for best performance is 86.48%, Hepatitis dataset on Radial Basis Function or K-Nearest Neighbor for best performance is 85.80%, Heart-c dataset on Support Vector Machine for best performance is 84.15%, Heart-statlog dataset on Radial Basis Function or Support Vector Machine for best performance is 84.07% respectively. The models that has an acceptable quality level and to develop software for the automatic diagnosis.
http://www.ssru.ac.th
(5)
Optimization with Multiple learning methods using Bagging and Boosting algorithm that result is increased accuracy for some datasets. The observations that proportion of samples in each class must be similar or equal. If the distribution of samples in each class is very different proportions. Bagging and Boosting the performance does not improve. Reducing features with Correlation-based Feature Subset Selection (CFS) and Feature selection method based on correlation measure and relevance & redundancy analysis (FCBF) resulted in performance accuracy to similar non-reducing features. But to reduce the dimensions of the features, saving resources of the computer system and the time to learn to build models as well.
http://www.ssru.ac.th
บทท 1
บทนา
1.1 ความเปนมาและความสาคญของปญหา ปจจบนในยคของขอมลขาวสาร องคกรสวนใหญมขอมลทตองจดเกบอยเปนจานวนมากมาย เชนระบบรานคาปลก จะเกบขอมลพนกงานในองคกร , ขอมลการซอขาย ขอมลสนคา ขอมลลกคา เปนตน จะเหนไดวา ยงองคกรหรอรปแบบธรกจมขนาดใหญเทาไร ยอมทาใหการเกบสะสมขอมลสาหรบองคกรตางๆมจานวนมากขน การเกบขอมลจานวนมากเหลาน ลงในฐานขอมล เปนวธทนยมใชในหลายองคกร แตระบบการจดการฐานขอมลทวไปไมสามารถจดการกบขอมลเหลานไดอยางมประสทธภาพ เนองจากใชเวลานานในการดงขอมลทมความสาคญออกมาวเคราะห ดงนนจงไดเกดเทคโนโลยในการวเคราะหขอมลทมความสาคญออกมาจากแหลงเกบขอมลขนาดใหญ เรยกเทคโนโลยนวา "การทาเหมองขอมล" หรอ การขดคนขอมล (data mining)
การทาเหมองขอมล (Data Mining) หรออาจจะเรยกวา การคนหาความรในฐานขอมล (Knowledge Discovery in Databases – KDD) เปนเทคนคเพอคนหารปแบบ (pattern) ของจากขอมลจานวนมหาศาลโดยอตโนมต โดยใชขนตอนวธจากสถต การเรยนรของเครอง และ การรจาแบบ หรอในอกนยามหนง การทาเหมองขอมล คอ กระบวนการทกระทากบขอมลทมจานวนมาก เพอคนหารปแบบ แนวทางและความสมพนธทซอนอยในชดขอมลนน โดยอาศยหลกสถต การรจา การเรยนรของเครอง และหลกคณตศาสตร ซงเปนเทคโนโลยใหมของการประยกตใชขอมลทเกบอยในฐานขอมล ใหเกดประโยชนสงสดแกหนวยงานทเปนเจาของขอมล การประยกตใชขอมลทกลาวถงนมไดหลายแนวทาง แตโดยทวไปมกจะเปนการสรปภาพรวมของขอมลในฐานขอมล การวเคราะหแนวโนมการเปลยนแปลงของขอมล การคนหาความสมพนธทซอนอยภายในกลมของขอมล หรอ การคนหาขอมลทมความสาคญโดยทไมทราบมากอน แตมความหมายโดยนย และคาดวาจะมประโยชนจากขอมลในฐานขอมล ปจจบนมการประยกตใชงาน Data Mining ในธรกจหลากหลายประเภท เชน ดานการขายปลกและขายสง ดานการเงนการธนาคาร ดานการประดษฐและการผลต ดานการประกนภย ดานความปลอดภย ดานการตลาด และดานการแพทย
http://www.ssru.ac.th
2
หวใจสาคญของกระบวนการ Data mining คอสวนของโปรแกรมททาหนาทสงเคราะหความรขนมาจากขอมลจานวนมากในฐานขอมล สวนสงเคราะหความรนเรยกวา Learning algorithm ซงมผ เสนอแนวคดและพฒนาอลกอรทมสวนนขนเปนจานวนมาก ไดแก อลกอรทมทใชหลกการของการสรางตนไมตดสนใจ (Decision Tree) อลกอรทมทใชหลกการทางสถตและทฤษฎของเบยส (Naïve Bayes) อลกอรทมทใชหลกการของโครงขายประสาทเทยม (Neural Network) และอลกอรทมอนๆ อกมาก ปจจบนไดมนกคอมพวเตอรทดสอบเปรยบเทยบความสามารถของอลกอรทมแตละประเภท เพอคนหาวาอลกอรทมใดมความสามารถสงทสด ผลการทดสอบสวนใหญ ปรากฏวาไมมอลกอรทมใดททางานไดดทสดในขอมลทกประเภท ทงนเนองจากขอมลแตละประเภทมลกษณะเฉพาะตวทตางกน เชน ขอมลทางการแพทย จะตางจากขอมลดานกฎหมาย และตางจากขอมลดานธรกจ ดงนนจงไมมอลกอรทมใดทดทสดสาหรบขอมลทกประเภท
จากปญหาดงกลาวผ วจยจงมแนวคด ทจะศกษา คนหาลกษณะ และเปรยบเทยบประสทธภาพ อลกอรทมสงเคราะหความร ทเหมาะสมกบขอมลดานการแพทย เพอศกษาเปรยบเทยบอลกอรทมกลมใดหรอประเภทใด ทมประสทธภาพการสงเคราะห หรอ การเรยนรทดทสดสาหรบการจาแนกประเภทของโรคทางการแพทย และศกษาวธการปรบปรงประสทธภาพอลกอรทมนนดวยเทคนคตางๆ เพอจะเพมขดความสามารถการวเคราะหโรคใหแมนยามากขน รวมถงศกษาเปรยบเทยบวธการลดคณลกษณะทเหมาะสมกบขอมลทางการแพทย 1.2 วตถประสงค
1.2.1 เพอศกษาและวเคราะหอลกอรทมทมประสทธภาพในการจาแนกประเภทของโรค ทเหมาะสมกบโมเดลการวเคราะหโรคอตโนมต
1.2.2 เพอศกษาวธการเรยนรแบบ Single learning กบ Multiple learning ทสงผลตอประสทธภาพในการจาแนกประเภทของโรค ทเหมาะสมกบโมเดลการวเคราะหโรคอตโนมต
1.2.3 เพอศกษาวธการลดคณลกษณะ ทสงผลตอประสทธภาพในการจาแนกประเภทของโรค ทเหมาะสมกบโมเดลการวเคราะหโรคอตโนมต
1.3 ขอบเขตของการวจย งานวจยนมงเนนการคนหาเทคนคดานเหมองขอมล เพอสรางโมเดลการวเคราะหโรคอตโนมต เพอคนหาอลกอรทมทเหมาะสมทสดสาหรบฐานขอมลทางการแพทย โดยใชอลกอรทมพนฐาน 7 อลกอรทม ซงประกอบดวย Naïve Bayes, Multilayer Perceptron, Radial Basis
http://www.ssru.ac.th
3
Function Network, Support Vector Machine, K-Nearest Neighbor, Decision Tree, Ripper รวมถงการศกษาเปรยบเทยบการลดคณลกษณะทเหมาะสมดวย วธ Correlation-based Feature Subset Selection (CFS) และวธ Feature selection method based on correlation measure and relevance & redundancy analysis (FCBF) รวมถงทดสอบกบอลกอรทมประเภท Single learning กบ Multiple learning โดยเพมประสทธภาพดวยวธ Bagging และ Boosting โดยทดสอบกบขอมลทางการแพทยทง 13 ชด ซงประกอบดวย breast-cancer,breast-w,diabetes,heart-c,heart-statlog,hepatitis,hypothyroid,leukemia,liver-disorders,lung-cancer,lymphography,postoperative-patient,primary-tumor เทานน
1.4 เครองมอทใชในงานวจย
1.4.1 เครองคอมพวเตอร PC PentiumCore2 Duo 2.4 GHz หนวยความจาหลก 4 GB 1.4.2 ซอฟตแวร Java JDK 1.6 และ Weka-3-6-2 1.4.3 กลมขอมลทางการแพทยของมหาวทยาลยแหงรฐแคลฟอรเนยเมองเออรไวน
1.5 ประโยชนทคาดวาจะไดรบ การคนหาเทคนคเหมองขอมลเพอสรางโมเดลการวเคราะหโรคอตโนมตนน ผลทไดจาก
งานวจยน สามารถใชเปนแนวทางในการพฒนาซอฟตแวรเฉพาะทาง ดานการแพทยทเกยวของกบการวนจฉยและตรวจรกษาโรค เพอทดแทนบคลากรทางการแพทยทขาดแคลนไดเปนอยางด ตอไปในอนาคต
http://www.ssru.ac.th
บทท 2
ทฤษฎและงานวจยทเกยวของ
งานวจยเรอง การคนหาเทคนคเหมองขอมลเพอสรางโมเดลการวเคราะหโรคอตโนมตผวจยไดศกษาคนควาขอมลทเกยวของเพอใหไดขอมลสาหรบนามาพฒนางานวจย โดยแบงขอมลในดานตางๆ ดงน 2.1 เหมองขอมล การทาเหมองขอมล (Data Mining) หรออาจจะเรยกวา การคนหาความรในฐานขอมล (Knowledge Discovery in Databases - KDD) เปนเทคนคเพอคนหาภาพแบบ (pattern) ของจากขอมลจานวนมหาศาลโดยอตโนมต จดเปนขบวนการของการดงเอาความรออกมาจากขอมลขนาดใหญ โดยใชขนตอนวธจากวชาสถต การเรยนรของเครอง และ การรจาแบบ หรอในอกนยามหนง การทาเหมองขอมล คอ กระบวนการทกระทากบขอมลจานวนมาก เพอคนหาภาพแบบ แนวทาง และความสมพนธทซอนอยในชดขอมลนน โดยอาศยหลกสถต การรจา การเรยนรของเครอง และหลกคณตศาสตร
Data Mining ตามศพททราชบณฑตยสถานกาหนดไวหมายถง การสกดหรอวเคราะห คนหาขอมลทตองการจากขอมลจานวนมากได หรอกลาวอกนยหนง Data Mining คอ ชด Software วเคราะหขอมลทไดถกออกแบบมาเพอระบบสนบสนนความตองการของผใชในการคนหาขอมลทตองการจากขอมลจานวนมากได
การทาเหมองขอมล มขนตอนหลกอย 3 ขนตอน (อกฤษ ปจฉม,2546) คอ 1. Preprocessing คอขนตอนการจดเตรยมขอมล ซงการจดเตรยมขอมลนนจะตองทา
การคดขอมลทไมเกยวของหรอขอมลเสย (Noise Data) ออกจากแหลงขอมลดบเพอใหไดขอมลทสมพนธกน ในขนตอนนสามารถแบงเปนขนตอนยอยดงน
Data cleaning เปนขนตอนในการกาจดขอมลทเราไมตองการ หรอขอมลทไมเปนประโยชนตอการใชงานหรอขอมลทมความผดพลาด
Data integration เปนขนตอนในการรวบรวมขอมลทงหมดทมจากแหลงขอมลตางๆ มาไว ดวยกน
http://www.ssru.ac.th
5
Data selection คอการคดเลอกขอมลทเกยวของกบขอมลทจะใชวเคราะห เลอกขอมลทม ความสมพนธกน สงผลตอกนและเปนประโยชนตอการทานาย
Data transformation เปนการจดภาพแบบขอมลทไดจากขนตอนการคดเลอกขอมล ใหมความเหมาะสมตอการทานาย เชน การจดระเบยนขอมลทสมพนธกนมาไวในระเบยนชดเดยวกน หรอการแปลงคาตวเลขใหอยในชวงทกาหนด (Normalization) เปนตน
จากขนตอนทงหมดจะเหนวาในขนตอนเบองตนน เปนเพยงแคขนตอนในการจดเตรยมขอมลเพอจะนาไปใชเทานน ยงไมใชการใชขอมลเพอวเคราะหแบบจาลอง ซงในขนตอนนจะเปนขนตอนทใชเวลาในการดาเนนงานนานทสด หากจดภาพแบบขอมลไดไมเหมาะสมแลวในการทานายกจะไมมความแมนยา ผ ททาการเตรยมขอมลจงตองมความรเกยวกบขอมลเหลาน เชน การวเคราะหโรคอตโนมต จาเปนจะตองทราบเกยวกบตวแปรทมอทธพลตอการจาแนกประเภทของโรค เปนตน การทราบถงปจจยทสงผลตอการทานายจะทาใหวเคราะหขอมลไดถกตองและการทานายจะมความแมนยา
2. Data Mining เปนขนตอนทใชในการนาขอมลทพรอมแลวมาสรางแบบจาลอง โดยขนแรกจะตองทาการเลอกเทคนคทเหมาะสมกบภาพแบบชดขอมล พจารณาปญหาเชน ตองการทานายประเภทของโรค หรอ ตองการแบงประเภทขอมลของโรค หรอตองการหาปจจยทเกยวของ เปนตน หลงจากไดเทคนคทเหมาะสมแลว จะทาการสอน (Train) ใหแบบจาลองเรยนรลกษณะของขอมลวา ชดขอมลทงหมดมความสมพนธกนอยางไร และทศทางในการวเคราะหเปนอยางไร โดยในการสอนใหแบบจาลองเรยนรนน จาเปนตองมการกาหนดพารามเตอร (Parameter) หรอคาตวแปรตางๆ ใหเหมาะสม ซงในการพจารณาคาพารามเตอรนนขนอยกบเทคนคทเลอกใช ประสบการณในการวเคราะหและการลองผดลองถก จากนนจงนาแบบจาลองทไดไปทดสอบหาคาความผดพลาดของแบบจาลอง โดยการนาขอมลจรงทเตรยมไวสาหรบการทดสอบมาปอนลงในแบบจาลองแลวดผลของการทานายทได
3. Post processing คอขนตอนสดทายของการทาเหมองขอมล เปนขนตอนการประเมนผลและนาสงทไดมานาเสนอในภาพแบบของการใชงาน ซงในขนตอนนหากผลการทดสอบ (Test) ไมเปนทนาพอใจแลว จะตองทาการจดภาพแบบขอมลใหม (หรอเตรยมขอมลใหม) เพอใหได คาความถกตอง (Accuracy) มากทสด หรอคาความคลาดเคลอนในการทานายนอยทสด (Error) หากคาความถกตองยงนอยอย หรอความผดพลาดยงคงมอย หลงจากเตรยมขอมลใหม อาจจาเปนตองเลอกเทคนคในการทาเหมองขอมลใหม ซงการเพมคาความถกตองและลดคาความคลาดเคลอนจะใชวธใดนน ขนกบปญหาทเกดขนและในสวนของขนตอนนแบงเปนขนตอน
http://www.ssru.ac.th
6
ยอยๆ ดงน 1.Pattern evaluation คอขนตอนการประเมนผลของแบบจาลองทไดวา เกดความผดพลาดมากนอยเพยงใด ภาพแบบการทานายทไดนนเปนไปตามความตองการหรอไม 2.Knowledge presentation คอการแสดงผลของการทานายทไดจากแบบจาลอง โดยการนาไปทาเปนภาพแบบทสามารถนาไปใชไดงาย สะดวกตอการใชงาน เชน การปอนขอมลเขา และการแสดงผลลพธ เปนตน
จากขนตอนทงหมดน ขน Post processing กคอการแสดงผลของสงทไดจากการทาเหมองขอมลนนเอง ซงผลทไดจากการทาเหมองขอมลนจะนาไปใชในการทานายจากเหตการณทเกดขนจรง ดงภาพท 2.1 ซงสามารถแสดงขนตอนในการทาเหมองขอมล ระบรายละเอยดขนตอนทงหมดเปนแผนภาพไดดงภาพท 2.2
ภาพท 2.1 ขนตอนกระบวนการคนความรจากฐานขอมล
ภาพท 2.2 ขนตอนกระบวนการทาเหมองขอมล (Data Mining)
http://www.ssru.ac.th
7
เราสามารถสรปขนตอนของการคนหาความรใหม จากกระบวนการทาเหมองขอมลไดดงน 1. เรยนรและศกษาเกยวกบฐานขอมลและโปรแกรมทจะใชในการทาเหมองขอมล 2. การกรองขอมลและประมวลผล (Data cleaning and preprocessing) ขอมลทเกบรวมรวมมามจานวนมากจะตองนามากรอง เพอเลอกขอมลทตรงประเดน เพราะบางขอมลอาจจะไมเปนประโยชนกบเรา ในขนตอนนเปนขนตอนทเราจะไดมาซงคณภาพของขอมล ทจะนาไปวเคราะห 3. คดเลอกขอมล (Data selection) เปนการระบถงแหลงขอมลทจะนามาทา mining รวมถงการนาขอมลทตองการออกจากฐานขอมล เพอสรางกลมขอมลสาหรบพจารณาในเบองตน และทาการแปลงภาพแบบขอมล (Data transformation) ลดภาพและจดขอมลใหอยในภาพแบบ เดยวกนมภาพแบบ (Format) ทเปนมาตรฐานและเหมาะสมทจะนาไปใชกบ Algorithm และแบบจาลองทใชทา Data Mining 5.เลอกภาพแบบของการทาเหมองขอมลเชน Summarization, Classification, Regression, Association และ Clustering เปนตน และเลอก Algorithm ทเหมาะสมกลบลกษณะของงาน 6. ทาการคนหา Patterns ทเราสนใจ และประเมนผล Pattern และนาเสนอองคความร ในขนตอนนจะเปนการวเคราะหผลลพธทได และแปลความหมาย และประเมนผลวาผลลพธนนเหมาะสมหรอตรงวตถประสงคหรอไม 7. ใชองคความรทคนพบ (Use of discovered knowledge) 2.2 เทคนคการทาเหมองขอมล เนองจากการทาเหมองขอมลเปนเทคนคในการคนความรจากขอมลขนาดใหญ การทาเหมองขอมลจงเปนการรวมเอาศาสตรตางๆ หลายแขนงมารวมไวดวยกนโดยไมจากดวธการทจะใช ตวอยางศาสตรทใชเชน เทคโนโลยฐานขอมล (Database technology) วทยาศาสตรสารสนเทศ (Information science) สถต (Statistics) และระบบการเรยนร (Machine learning) เปนตน ซงศาสตรตางๆ เหลานจะทาใหเกดกระบวนการคนความรในแบบตางๆ โดยภาพแบบการคนความรหลกมดงน (อกฤษ ปจฉม,2546)
1.การแบงประเภทและการทานาย (Classification and Prediction) จดเปนกระบวนการทใชในการหาภาพแบบของชดขอมลทมความใกลเคยงกน หรอ
เหมอนกนมากทสด เพอใชในการทานายชดขอมลวาอยในประเภทใดของชดขอมลทไดทาการแบง
http://www.ssru.ac.th
8
ไวแลว ซงชดขอมลทแบงไวเกดจากการเรยนรจากชดขอมลทมอยแลว (Training data) แบบจาลองทเกดจากการเรยนร สามารถแสดงไดหลายภาพแบบ เชน กฎการแบง (Classification rules, IF-THEN) การคานวณแบบตนไมวเคราะห (Decision Tree) การใชสตรทางคณตศาสตร (mathematical formula) หรอโครงขายใยประสาทเทยม เปนตน ในสวนของการทาตนไมวเคราะห จะแสดงออกมาในลกษณะของแผนภมโครงสรางตนไม ซงกานของตนไมจะแสดงถงความรทได และใบไมจะแสดงถงประเภทชดขอมลทถกแบงออกมา แผนภมตนไมสามารถแปลงเปนกฎการแบงไดงายเพราะลกษณะของแผนภมสามารถเขาใจไดงาย ในสวนของโครงขายใยประสาทเทยมนน จะแสดงในลกษณะของการเชอมตอระหวางหนวยทเกดขน การทาการแบงประเภทนนมกจะใชประโยชนรวมกบการทานายโดยเฉพาะขอมลทเปนตวเลข เราจงอาจมองไดวาการทานายเปนการบอกถงคาตวเลขและการบงบอกประเภทของขอมลนนในลกษณะของการดแนวโนม (trends) ทจะเกดขน ตวอยางเทคนคของการแบงประเภทและการทานายไดแก การคานวณแบบพนธกรรม (Genertic Algorithm) การคานวณแบบตนไมวเคราะห และโครงขายใยประสาทเทยม (Neural Network) เปนตน
2.การวเคราะหเพอจดกลม (Clustering Analysis) การวเคราะหเพอจดกลม จะแตกตางกบการทาการแบงประเภทและการทานายซง
วเคราะหกลมขอมลทมความคลายกนมากทสด ซงจะเปนการจดกลมทแบงประเภทโดยไมมการระบชอกลมในชวงของการสอน แบบจาลองโดยทวไปแลววธแบบนจะใชกบการจดการแบงขอมลทไมรวาจะจดประเภทไวดวยกนอยางไรด และการทาการวเคราะหนจะสามารถทาการบงบอกถงชอของกลมทแบงขนไดดวย ในการทาการวเคราะหเพอจดกลมนนจะอาศยพนฐานของความเหมอนกนมากทสดและความเหมอนกนนอยทสดของกลม นนคอขอมลทถกจดไวในกลมเดยวกนจะมความคลายกนสงมาก แตจะแตกตางกนกบขอมลทถกจดไวคนละกลม และตวอยางของการวเคราะหเพอจดกลมไดแก การหาคาเฉลย K (K-mean Algorithm) การรวมและการแบงกลมโดยจดลาดบชน (Agglomerative and Divisive Hierarchical Clustering) และการลาดบตาแหนงเพอแสดงโครงสรางการจดกลม (Ordering Points To Identify the Clustering Structure) เปนตน
3. การวเคราะหความสมพนธ (Association Analysis) การวเคราะหความสมพนธเปนภาพแบบการคนความรโดยการหาสงทเรยกวา “กฎความ
ของสมพนธ (Association rules)” ซงจะแสดงความสมพนธของคาทมความสมพนธและมเงอนไขทตรงกบขอกาหนดและลกษณะของขอมลทมการเรยนรในภาพของตะกราจายตลาด (Market Basket) หรอการซอขาย (Transaction) ในการทาการวเคราะหความสมพนธกฎทเกดขนนจาเปน
http://www.ssru.ac.th
9
ทจะตองกาหนดคา สนบสนน (Support) และคาความมนใจ (Confidence) ซงจะเปนตวกาหนดวากฎทเกดขนนนมความสมพนธกนในระดบใด และยงเปนการชวยยบยงการเกดกฎทไมจาเปนหรอกฎทมความเกยวของกนนอยมาก ตวอยางเทคนคของการวเคราะหความสมพนธไดแก การวเคราะหแบบตะกราสนคา (Market Basket Analysis) การคานวณแบบแอพพรออร (The Apriori Algorithm) และกฎความสมพนธแบบหลายระดบ (Multilevel Association Rules) เปนตน
2.3 อลกอรทมการแบงประเภท (Classifier Algorithm) 2.3.1 ตนไมตดสนใจ (Decision Tree) ตนไมจะประกอบดวยโหนดแทนคณลกษณะ และโหนดลางสดแทนหมวดหม การสรางกงสาขาจะพจารณาจากคาความจรงของคณลกษณะ โดยคาทใชจะมาจากการคานวณจากคา Information Gain การสรางตนไมตดสนใจ C4.5 ใชคามาตรฐานอตราสวนเกน (Gain Ratio) เพอเลอกคณลกษณะทจะใชเปนรากหรอโหนด ถาใหชดขอมล M ประกอบดวยคาทเปนไปได คอ {m1, m2, …, mn} และใหความนาจะเปนทจะเกดคา m1 มคาเทากบ P(mi) จะไดวาคาเกนสารสนเทศ (Information Gain) ของ M เขยนแทนดวย I(M) คานวณไดดง (พรพล ธรรมรงครตน,2008) สมการ ถาใหขอมลสอน คอ T และคณลกษณะทเปนโหนด คอ x และมคาทงหมดทเปนไปได n คา โหนดปจจบนจะแบงตวอยาง T ออกตามกงเปน {t1, t2, …, tn} ตามคาทเปนไปไดของ x ดงนนจงสามารถคานวณคาเกนสารสนเทศหลงจากแบงตามคณลกษณะและคามาตรฐานเกน(GAIN)ของคณลกษณะ x ไดดงสมการ จากนนคานวณคาสารสนเทศของการแบงแยก (Split Information) ของคณลกษณะแตละตว ถาให T คอ ชดของตวอยาง เมอแบงตวอยางนตามคณลกษณะ x จะไดชดของตวอยางยอยในแตละกง คอ {t1, t2, …, tn} จานวน n ชด ตามคาทเปนไปไดในคณสมบต x เมอคานวณคาสารสนเทศของการแบงแยกไดดงสมการ
http://www.ssru.ac.th
10
คานวนคามาตรฐานอตราสวนเกน (Gain ratio) ไดจาก Gain Ratio = Gain – Split Information ทายสดจงเลอกคา Gain ratio สงสดเปนคณลกษณะเรมตน และเลอกคณสมบตถดไปตามคา Gain ratio นอยลงตามลาดบ
ภาพท 2.3 ตนไมตดสนใจ
2.3.2 ซพพอรทเวกเตอรแมชชน (Support Vector Machine) หลกการของวธการน ใชเพอหาระนาบการตดสนใจในการแบงขอมลออกเปนสองสวน โดยใชสมการเสนตรงเพอแบงเขตขอมล 2 กลมออกจากกน โดยมวตถประสงคทจะพยายามทจะทาการลดความผดพลาดจากการทานาย (Minimize error) พรอมกบเพมระยะแยกแยะใหมากทสด (Maximized Margin) ซงตางจากเทคนคโดยทวไปเชน โครงขายประสาทเทยม (ArtificialNeural Network: ANN) ทมงเพยงทาใหความผดพลาดจากการทานายใหตาทสดเพยงอยางเดยว โดยจะใชฟงกชนแมปขอมลจาก Input Space ไปยง Feature Space และสรางฟงกชนวดความคลายทเรยกวาเคอรเนลฟงกชน (Kernel Function) บน Feature Space เหมาะใชสาหรบขอมลทมลกษณะมตของขอมลทมปรมาณมาก โดยกาหนดให (xi,yi),…,(xn,yn) เปนตวอยางทใชสาหรบการสอน n คอ จานวนขอมลตวอยาง m คอ จานวนมตขอมลเขา และ y คอ ผลลพธมคา + 1 หรอ -1 (พรพล ธรรมรงครตน,2008) ดงสมการ (xi,yi),…,(xn,yn) เมอ x Є Rm , y Є {+1,-1} สาหรบปญหาเชงเสน มตขอมลขนาดสงไดถกแบงเปน 2 กลม โดยระนาบตดสนใจ ซงคานวณไดดงสมการ และเมอ w คอ คานาหนกและ b คอคา bias สมการ ใชสาหรบจาแนกประเภทของขอมล (w*x)+b=0 โดย (w*x)+b>0 ถา yi = +1 และ (w*x)+b<0 ถา yi = -1 อยางไรกตามซพพอรทเวกเตอรแมชชนมเคอรเนลฟงกชน (Kernel Function) ทผสามารถประยกตใชในการแกปญหาไดหลายวธโดยผวจยตองเลอกเคอรเนลใหเหมาะสมกบลกษณะขอมล
http://www.ssru.ac.th
11
ภาพท 2.4 ซพพอรทเวกเตอรแมชชน
2.3.3 เนอฟเบย (Naïve-Bayes) หลกการของวธการน ใชการคานวณความนาจะเปนซงถกใชในการทานายผล จดเปนเทคนคในการแกปญหาแบบ classification ทสามารถคาดการณผลลพธไดและสามารถอธบายไดดวย มนจะทาการวเคราะหความสมพนธระหวางตวแปร เพอใชในการสรางเงอนไขความนาจะเปนสาหรบแตละความสมพนธ การเรยนร เบย อย างง ายเป นวธจาแนกประเภทข อมลทมประสทธภาพวธหนง ทการทางานทไม ซบซ อน เหมาะกบกรณของเซตตวอย างมจานวนมากและคณสมบต (Attribute) ของตวอย างไม ขนต อกน โดยกาหนดให ความน า จะเป นของข อมลทจะเป น (บญเสรม กจศรกล,2546) ดงสมการ กล ม vj สาหรบข อมลทมคณสมบต n ตว X={ a1, a2, …, an } หรอ ใช สญลกษณ ว า P( a1, a2, …, an | vj) โดยท Π หมายถง ผลคณของค า P( ai | vj) ทงหมด i = 1,2,3,…,n และ j = 1,2,3,…,n ดงนนเราจะได ว า วธการจาแนกประเภทแบบเบย อย างง าย ดงสมการ
ภาพท 2.5 เนอฟเบย
http://www.ssru.ac.th
12
2.3.4 เคเนยเรสเนเบอร (K-Nearest Neighbor) หลกการของวธการน จะจาแนกประเภทขอมลโดยขนกบขอมลทมคณสมบตใกลเคยงทสด K ตวจากขอมลบนชดขอมลตวอยาง ทางานโดยขนกบระยะทางนอยสดจากสมาชกใหม หรอขอมลทปอนถาม (input query instance) กบขอมลตวอยางฝกฝน จะคานวณหาเพอนบานทใกลทสด K ตว หลงจากนนเราจะรวบรวมสมาชกทใกลเคยงทสด K ตวแลวเลอกคลาสทสมาชกสวนใหญทในกลม K ดงกลาวสงกดอยมากทสดใหกบสมาชกใหม ขอมลการจาแนกโดยใชขอมลขางเคยง K ตว ประกอบดวยแอททรบวตหลายตวแปร Xi ซงจะนามาใชในการแบงกลม Yi โดยระบคาตวเลขจานวนเตมบวกใหกบ K ซงคานจะเปนตวบอกจานวนของกรณ (case) ทจะตองคนหาในการทานายกรณใหม อลกอรทมแบบ K-NN ไดแก 1-NN , 2-NN , 3-NN , ………. K-NN ตวอยาง 2-KNN หมายถง อลกอรทมนจะคนหา 2 กรณทมลกษณะใกลเคยงกบกรณใหม ( 2 Nearest Cases ) การนาระยะทางทหาไดจากสมาชกใน ขอมลตวอยางฝกฝน มาเรยงลาดบจากนอยไปหามากแลวเลอกสมาชกทมระยะทาง (Distance) ใกลเคยงทสดออกมา K ตวโดยใชการวดระยะทางแบบ Euclidean distance มหลกการคอ การวดระยะทางระหวางสองวตถ ถาวตถหางกนมากแสดงวาวตถนนมความคลายกนนอย ถามคานอยกแสดงวามความคลายคลงกนมาก (บญเสรม กจศรกล,2546)
ภาพท 2.6 เคเนยเรสเนเบอร 2.3.5 กฎของรปเปอร หลกการของวธการประกอบดวย 2 เฟส คอ เฟสแรกทาการระบกฎเรมตน และเฟสทสองจะระบคา Post-process rule optimizationโดยขอมลทถกการเรยนร (Training) จะถกแบงไปเปน growing set และ pruning set โดยอลกอรทมนจะสรางกฎความสมพนธใน greedy ในขณะทสรางกฎรปเปอรนน จะหาคาทดทสดสาหรบ growing set ใน rulespace ซงจะอธบายไดจาก BNF หลงจากได growing set กจะทาการ pruning ขอมล เมอเสรจจะไดกลมตวอยางทเหมอนกนออกมาทครอบคลมกฎของ training set จากนนกจะลบทง ซง
http://www.ssru.ac.th
13
training data ทเหลอจะถกแบงใหมอกครงหลงจากเรยนรตามกฎแลว เพอชวยแกปญหาทเกดมาจากการแบงแยกกลมทผดพลาด ซงกระบวนการนจะกระทาซาจนกระทงผลเปนทนาพอใจ 2.3.6. เครอขายฟงกชนฐานรศม (Radial Basis Function Network หรอ RBF network) เปนเครอขายไปขางหนาประเภทหนง ทไดรบการยอมรบวามประสทธภาพสงเครอขายหนง เครอขาย RBF แตกตางไปจากเครอขายเพอรเซพตรอนแบบหลายชน (multi-layer perceptron) ตรงทเครอขาย RBF นนมชนซอนเรนเพยงชนเดยว เครอขายฟงกชนฐานรศม สามารถพจารณาเปนฟงกชนการสง (Mapping function) ของความสมพนธระหวางคภาพแบบอนพตและเอาตพตได โดยการเรยนรของเครอขายเปนการปรบคานาหนกประสาทใหไดฟงกชนการสงทเหมาะทสด RBF Neural Network ประกอบดวยชนขอมลเขา (Input Layer) ขนซอน (Hidden Layer) และชนขอมลออก (Output Layer) ซงมเกาซเชยนฟงกชน (Gaussian Function) เปนฟงกชนกระตนในชนซอน (พรพล ธรรมรงครตน,2008) ดงสมการ เมอ j=1, 2, ..., n โดยท คอ ขอมลออกของนวรอลท j ในชนซอน x คอเวกเตอรขอมลเขา cj และ σj คอ ศนยกลางและชวงกวางของนวรอลท j ตามลาดบ ขอมลออกของโครงขาย RBF คานวนดงสมการ โดยท n คอจานวนของนวรอลในชนซอน wj คอนาหนกระหวางชนซอนและชนขอมลออก และ y คอผลลพธ
ภาพท 2.7 เครอขายฟงกชนฐานรศม
http://www.ssru.ac.th
14
2.3.7 เพอรเซปตรอนหลายชน (Multi-Layer Perceptron) โครงขายประสาทเทยมแบบ Multi-Layer Perceptron เปนภาพแบบหนงของโครงขาย
ประสาทเทยมทมโครงสรางเปนแบบหลายๆ ชน ใชสาหรบงานทมความซบซอนโดยมกระบวนการฝกฝนเปนแบบมผสอน (Supervise) และใชขนตอนการสงคายอนกลบ (Back propagation) สาหรบการฝกฝนกระบวนการสงคายอนกลบ ประกอบดวย 2 สวนยอยคอ การสงผานไปขางหนา (Forward Pass) การสงผานยอนกลบ (Backward Pass) สาหรบการสงผานไปขางหนา ขอมลจะผานเขาโครงขายประสาทเทยมทชนขอมลเขา และจะสงผานจากอกชนหนงไปสอกชนหนงจนกระทงถงชนขอมลออก สวนการสงผานยอนกลบคานาหนกการเชอมตอ จะถกปรบเปลยนใหสอดคลองกบกฎการแกขอผดพลาด (Error-Correction) คอผลตางของผลตอบทแทจรง (Actual Response) กบผลตอบเปาหมาย (Target Response) เกดเปนสญญาณผดพลาด (Error Signal) ซงสญญาณผดพลาดนจะถกสงยอนกลบเขาสโครงขายประสาทเทยมในทศทางตรงกนขามกบการเชอมตอ และคานาหนกของการเชอมตอจะถกปรบจนกระทงผลตอบทแทจรงเขาใกลผลตอบเปาหมายสญญาณทมโครงขายประสาทเทยมแบบ MLP ม 2 ประเภทคอ Function Signal และ Error Signal Function Signal เปนสญญาณเขาทมาจากโหนดในชนกอนหนา และจะสงผานไปขางหนาจากโหนดหนงไปสอกโหนดหนง Error Signal เปนสญญาณยอนกลบทเกดขนทโหนดในชนขอมลออกของโครงขายประสาทเทยม และถกสงผานยอนกลบจากชนหนงไปสอกชนหนง
หลกการทางานของ Multi-Layer Perceptron คอในแตละชนของชนซอนตว (Hidden Layer) จะมฟงกชนสาหรบคานวณเมอไดรบสญญาณ (Output) จากโหนดในชนกอนหนา เรยกวา Activation Function โดยในแตละชนไมจาเปนตองเปนฟงกชนเดยวกนกได ชนซอนตวนนมหนาทสาคญคอ จะพยายามแปลงขอมลทเขามาในชน (Layer) ใหสามารถแยกแยะความแตกตางโดยใชเสนตรงเสนเดยว (Linearly Separable) และกอนทขอมลจะถกสงไปถงชนขอมลออก (Output Layer) ในบางครงอาจจาเปนตองใชชนซอนตวมากกวา 1 ชนในการแปลงขอมลใหอยในภาพ Linearly Separable ในการคานวณหา Output ในปญหาการจาแนกทาไดโดยการใสขอมล Input เขาไปในโครงขายประสาทเทยมทเราไดทาการหาไวแลว จากนนใหทาการเปรยบเทยบคาของ Output ใน Output Layer และใหทาการเลอกคาของ Output ทมคาสงกวา (Neuron ทมคาสงกวา) และทาการรบคาของพยากรณทตรงกบ Neuron ทเลอก และใหนาคาของ มาเปรยบเทยบกบคาทยอมรบได หากคาของ อยในชวงทรบได (Error นอยกวา Error ทเรากาหนด) กใหทาการรบขอมลชดถดไป แตหากคาของ มากกวาคาทยอมรบได ใหทาการปรบคานาหนกและ Biased ตามขนตอนทไดกลาวไวขางตน เมอทาการปรบนาหนกเรยบรอยแลว ใหทาการรบขอมลชดถดไปและ
http://www.ssru.ac.th
15
ทาตามขนตอนซาอกรอบจนกระทงถงขอมลชดสดทาย และเมอทาขอมลชดสดทายเสรจ จะนบเปน 1 รอบของการคานวณ (1 Epoch) จากนนจะทาการหาคาผดพลาดรวมเฉลย จากคาเฉลยของ ทไดเกบคาเอาไว เพอใชในการตรวจสอบวาคาโดยเฉลยในการจาแนกนน มคานอยกวาคาผดพลาดทยอมรบไดหรอไม ถาใชแสดงวาโครงขายประสาทเทยมทสรางขนนนสามารถใหผลลพธทถกตองของทกๆขอมลแลว จงทาการจบการเรยนรได แตถาไมใช ใหกลบไปทาตามขนตอนแรก โดยเรมรบขอมลชดท 1 ใหม
ภาพท 2.8 เพอรเซปตรอนหลายชน
2.4 การลดมตขอมล (Feature Selection) เนองจากกลมตวอยางของขอมลการแพทย มแนวโนมทจะเพมปรมาณสงขนทกวน ทาให
ขอมลการแพทยบางประเภทมจานวนคณลกษณะมากขน ซงจานวนคณลกษณะมผลตอประสทธภาพของการจาแนกประเภทของโรค เนองจากอลกอรทมทใชในการเรยนรเพอสรางตวโมเดลการวเคราะหโรคอตโนมต โดยทวไปไมสามารถรองรบการทางานกบจานวนคณลกษณะของขอมลการแพทยทสงมากไดด การลดขนาดขอมลจงเปนขนตอนหนงทจะตองทากอนการเรยนรดวยเครองจกรการเรยนร (Machine learning) แตการลดขนาดของคณลกษณะขอมลการแพทย ตองพจารณาดวยความระมดระวง เนองจากมความเสยงในการทจะกาจดคณลกษณะทสาคญตอการจาแนกประเภทของโรคออกไป จากการศกษาพบวาวธการลดคณลกษะมหลากหลายวธ ซงอยบนพนฐานของการวเคราะหความสมพนธระหวางตวแปรกบกลมเปาหมาย (Class) รวมถงการสรางคณลกษณะใหมจากคณลกษณะเดม อาจจะนาคณลกษณะพนฐานเหลานมารวมกนเพอใหเปนคณลกษณะใหม (นเวศ จระวชตชย,2553)
http://www.ssru.ac.th
16
2.4.1 การลดมตขอมลโดยใชความสมพนธของคณลกษณะ (Correlation Based Feature Selection :CFS) อลกอรธมนมหลกการกรองทงาย ๆ โดย CFS จะจดอนดบกลมยอยของมตขอมล ตามความสมพนธทอยบนพนฐานของฟงกชนการประมาณแบบ heuristic ซงกลมยอยของมตขอมล จะมความสมพนธกนสงกบคลาส และไมมความสมพนธกบคลาสอน ๆ สาหรบมตขอมลทไมเกยวของอาจจะถกละทง เพราะมตขอมลเหลานอาจจะมความสมพนธตากบคลาส มตขอมลทซาซอนอาจจะ ถกขจดออกไปจากกลมมตขอมลทมความสมพนธสงสมการประเมนกลมยอยของมตขอมลแบบ CFS (ภทราวฒ แสงศร ,2553) แสดง ในสมการ
โดยท Mi คอ คาทคนหาไดของมตขอมลกลมยอย S ซงประกอบดวยมตขอมล k คอ คาเฉลยความสมพนธของตวแปรกบคลาส คอ คาเฉลยความสมพนธระหวางมตของขอมล 2.4.2 การลดมตขอมลโดยใชการวเคราหความสมพนธระหวางตวแปร (Feature
selection method based on correlation measure and relevance&redundancy analysis : FCBF) สาหรบนจะวเคราะหความสมพนธทอยบนพนฐานของฟงกชนการประมาณใกลเคยงกบ CFS ซงกลมขอมลทผานการกรองจะมความสมพนธกนสงกบคลาส โดยมหลกการหาความสมพนธระหวางคคณลกษณะและวเคราะหความซาซอนของตวคณลกษณะ โดยวธ FCBF จะใชการจดอนดบจากคาสมประสทธ (symmetrical uncertainty) เพอมงพจารณาระดบคณลกษณะกบเกณฑ โดยคาสมประสทธจะตองมากกวาเกณฑทกาหนด เพอกาหนดจานวนตวคณลกษณะ โดยคณสมบตทซาซอนจะถกกาจดออกไปเหลอแตตวคณลกษณะทเดน 2.5 การประเมนโมเดล
ครอสวาลเดชน (Cross Validation) คอวธการในการคาดการคาความผดพลาดของโมเดลหรอ วธการทเรานาเสนอโดยพนฐานของวธการครอสวาลเดชนคอ การสมตวอยาง (Resampling) โดยเรมจากแบงชดขอมลออกเปนสวนๆและนาบางสวนจากชดขอมลนนมา
http://www.ssru.ac.th
17
ตรวจสอบ ผลลพธจากการทาครอสวาลเดชนมกถกใชเปนตวเลอกในการกาหนดโมเดล เชน สถาปตยกรรมเครอขายการสอสาร (Network architecture), โมเดลในการคดแยกประเภท(Classification model) เชนในการทา Classify ขอมลโดยใชเทคนคของ Data mining เชน Neural Network หรอ Decision Tree นนจะตองมการแบงขอมลออกเปนชดสอนและชดทดสอบ แตในบางครงอาจเกดปญหาจากการเลอกขอมลทดและ งายมาเปนขอมลชดทดสอบทาใหผลการ Classify นนดเกนจรง ดงนนจะมการคดวธ k-fold cross validation ขนมาแกปญหา
การแบงขอมลแบบ K - fold cross-validation คอการแบงขอมลออกเปน K ชดเทาๆกน และทาการคานวณคาความผดพลาด K รอบ โดยแตละรอบการคานวณขอมลชดหนงจากขอมล K ชดจะถกเลอกออกมาเพอเปนขอมลทดสอบ และขอมลอก K - 1 ชดจะถกใชเปนขอมลสาหรบการเรยนรดงตวอยางตอไปน K - fold Cross Validation ( K = 5) ชดขอมลหลงจากทาการแบงออก เปน 5 ชดขอมลยอยเทาๆกน โดยแตละกลองคอชดขอมลยอย 1 ชด ดงภาพ
ภาพท 2.9 K - fold Cross Validation ( K = 5)
จากวธการขางตนนนจะไดคาความผดพลาดของแตละรอบการคานวณ ซงประกอบดวย e1, e2, e3, e4 และ e5 โดยปรกตแลวนน การหาคาเฉลยความผดพลาด และใชคานนเปนตวแทนของความผดพลาดของโมเดลหรอวธการทนาเสนอ ซงสามารถแสดงไดดงสมการตอไปน Average Error = ( e1 + e2 + .... + eK )/ K จากตวอยางในขางตนนน ขอดของวธการนคอขอมลในแตละชดททาการแบงจะถกทดสอบอยางนอย 1 ครง และถกเรยนรทงหมด K -1 ครง โดยในขนตอนเหลานเราสามารถกาหนดไดวาตองกาขนาดขอมลขนาดใด และตองการทาการคานวณเปนจานวนรอบเทาใด แตอยางไรกตามเมอมองในมมกลบกนวธการนใชเวลาในการคานวณเปน K
http://www.ssru.ac.th
18
เทา ซงในความเหนสวนตวเวลานนไมเปนปจจยสาคญตอการวดผลเมอเทยบกบกบความถกตองของการวดผล 2.6 งานวจยทเกยวของ
ณฐวรรณ รตนากรกล (2545) ไดทาวจยเรอง ระบบจาแนกประเภทโครงสรางของโปรตนโดยใชเทคนค Data Mining มจดประสงคเพอพฒนาระบบจดแบงประเภทโครงสรางของโปรตนเพอรองรบการคนพบชนดของโปรตนใหมๆ งานวจยนไดใชเทคนคการทาเหมองขอมล 2 เทคนค คอ การจดแบงประเภทขอมล (Data Classification) และ การคนหากฎความสมพนธ (Association Rules Discovery) มาประยกตใชในการสรางระบบจดแบงประเภทโครงสรางของโปรตน ขอมลทนามาเรยนรเพอสรางระบบ คอ ขอมลเกยวกบภาพแบบลาดบกรดอะมโนทมความสอดคลองในกลมโปรตน ขอมลเกยวกบฟงกชนการทางานของโปรตน และแหลงทมาของโปรตน ผลทไดสามารถสรางกฎความสมพนธไดระหวางประเภทขอมล
อจฉรา วรารกษ (2547) ไดทาวจยเรอง Data Mining เทคนค กบการจดการขอมล HIV/AIDS โดยขอมลทนามาเรยนรคอ ขอมลทวไปของคนไข ขอมลการใหยา และอาการของคนไขโรคเอดส โดยเลอกเทคนค Association Rules เปนอลกอรธมการทาเหมองขอมลและใชซอฟตแวร IBM’s Intelligent Miner วเคราะหขอมล จากจานวนขอมลทงหมด 420,000 ขอมล สามารถสรางกฎความสมพนธได 79 กฎ แสดงความสมพนธระหวางโรคและอาการทอาจจะเกดขนได สามารถแสดงคาเปอรเซนต Support เปอรเซนต Confidence ของแตละความสมพนธได
ศกรใจ วฒกจโกศล (2551) ไดทาวจยเรอง การใชเทคนคการทาเหมองขอมลในผ ปวยขอไหลตด โรงพยาบาลพระนงเกลา เพอหาปจจยทมผลตอการรกษาและสรางกฎความสมพนธทนาสนใจเพอเปนแนวทางชวยสนบสนนการตดสนใจเลอกเทคนคการรกษาสาหรบ นกกายภาพ บาบดโรงพยาบาลพระนงเกลา โดยใชขอมลผ ปวยโรคขอไหลตดทไมมโรคประจาตวและไมไดเกดจากอบตเหตมารบการรกษาทางกายภาพบาบดโรงพยาบาลพระนงเกลาทรกษาหายในชวงป พ.ศ. 2548-2550 จานวน 550 ราย มการเตรยมขอมลเพอใหไดขอมลทถกตอง และหาปจจยทมผลตอการรกษา จากนนวเคราะหโดยการทาเหมองขอมลดวยเทคนค Cluster และ Association Rule เลอกกฎความสมพนธทนาสนใจดวยคาสนบสนนของกฎไมตากวารอยละ 20 และคาความเชอมนไมตากวารอยละ 90 ผลการศกษาพบวามปจจย อาย ระยะเวลาทเปน องศาการยกแขน การไขวหลง ระดบความเจบปวด และเทคนคการรกษาทมผลตอการรกษา การแบงกลมดวยเทคนค Cluster พบวาสวนใหญมการจดกลมองศาการยกแขนทกวางไมเหมาะสมในการนามาใชกบผ ปวย
http://www.ssru.ac.th
19
สวนการแบงกลมตามการทางานของขอไหล มการสรางกฎความสมพนธไดองคความรใหมในภาพของกฎความสมพนธทนาสนใจ
ภทราวฒ แสงศร (2553) ไดทาวจยเรอง การคดแยกประเภทของมะเรงเมดเลอดขาว โดยใชวธการจดอนดบรวมกบเทคนคซพพอรตเวกเตอรแมชชน โดยการคนหากลมยอยของยนทมอานาจจาแนก เปนปญหาทสาคญสาหรบงานวจยทางดานชววทยา เนองจากมจานวนยนเพมขนเปนจานวนมาก ดงนนเทคนคการลดมตของขอมล จงเปนประโยชนในการชวยคนหากลมยอยของยนสาเหตเนองจากเมอขอมลมจานวนมตหรอตวแปรมาก ทาใหขอมลเกดการกระจาย (data sparse) และทาใหเกดปญหามตขอมล (Curse of Dimensionality) งานวจยนจะนาเอาขอมลยนของโรคมะเรงเมดเลอดขาวแบบเฉยบพลน (Acute Leukemia) ซงมจานวนมตของขอมล 7,129 มต แบงออกเปน 2 กลม คอ ALL และ AML มาทาการทดลองและเพอเปรยบเทยบประสทธภาพของการลดมตขอมล ระหวางวธ Correlation Based Feature Selection, Gain Ratio และInformation Gain โดยนาผลลพธทไดจากการลดมตมาเปนขอมลอนพตของ ซพพอรตเวกเตอร แมชชน (Support Vector Machine) เพอคดแยกประเภทของโรคมะเรง ซงผลการทดลองแสดงใหเหนวาการลดขอมลโดยวธ Gain Ratio และ Information Gain มความเหมาะสม
http://www.ssru.ac.th
บทท 3
วธดาเนนงานวจย
วธการดาเนนงานของงานวจยน มงเนนเพอคนหาเทคนคดานเหมองขอมลในสรางโมเดลการวเคราะหโรคอตโนมต โดยมจดมงหมายทจะทดสอบประสทธภาพของอลกอรทมตางๆ ทใชในการทาเหมองขอมลประเภทสงเคราะหโมเดลเพอการจาแนกขอมล เพอคนหาอลกอรทมทเหมาะสมทสดสาหรบขอมลทางการแพทย รวมถงศกษาวธลดคณลกษณะทเหมาะสม โดยรายละเอยดเนอหาในบทนประกอบดวยวธดาเนนการวจย คาอธบายขอมลทง 13 ชดทใชในการทดลองแตละอลกอรทม และรายละเอยดวธการทใชในการวเคราะหเปรยบเทยบผลลพธจากแตละอลกอรทม โดยแบงขนตอนการดาเนนงานออกเปน 3 สวนดงน 3.1 การคนควาและทาการวจยแบงออกไดเปน 9 ขนตอน ดงตอไปน
(1) ศกษาและรวบรวมสรปงานวจยทเกยวของ
(2) ศกษาวธการใชงานซอฟรแวรทใชในการทาเหมองขอมล
(3) รวบรวมขอมลทางการแพทยเพอทดสอบประสทธภาพการวเคราะหโรค
(4) แปลงรปแบบแฟมขอมล ใหอยในรปแบบทเหมาะสมเพอใชกบซอฟรแวร
(5) วเคราะหอลกอรทมสงเคราะหความร เพอทดสอบอลกอรทมทใชเทคนคทใชพนฐาน
แตกตางกน โดยใชอลกอรทมพนฐาน 7 อลกอรทม ซงประกอบดวย Naïve
Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector
Machine, K-Nearest Neighbor, Decision Tree, Ripper
(6) วเคราะหเทคนคประเภท Multiple learning เพอเพมประสทธภาพ Classifier โดยใช
เทคนค Bagging และ AdaBoost
(7) วเคราะหเทคนคการลดคณลกษณะดวยวธ Correlation-based Feature Subset
Selection (CFS) และวธ Feature selection method based on correlation
measure and relevance & redundancy analysis (FCBF)
http://www.ssru.ac.th
21
Classification Algorithm
Classification ModelTest Data
PredictedCategory
Medical dataset (Training data)
Feature Selection
Data Preprocessing
(8) ทดสอบประสทธภาพของแตละอลกอรทมกบขอมลแตละชดทรวบรวมไว เพอบนทก
พฤตกรรมการสงเคราะหความรของแตละอลกอรทม
(9) สรปผลการทดลองและเสนอแนะเทคนคทเหมาะสมของแตละอลกอรทม ในการ
วเคราะหโรคอตโนมต
3.2 แบบจาลองการวเคราะหโรคอตโนมต
ภาพท 3.1 แบบจาลองการวเคราะหโรคอตโนมต
3.3 กลมขอมลและประเภทขอมล ขอมลทใชในงานวจยนไดมาจากแหลงขอมลของมหาวทยาลยแหงรฐแคลฟอรเนย เมอง
เออรไวน (University of California at Irvine) โดยคดเลอกมาเฉพาะขอมลทางการแพทยทเกยวของกบการวเคราะหโรค จานวนชดขอมลทงหมดม 13 ชด จาแนกไดเปน 4 กลมคอ
3.3.1 ขอมลทมทงขอความ ตวเลข ปะปนกน และไมมขอมลสวนใดสญหาย (nominal data, no missing values) ไดแกขอมล lymphography และ postoperative-patient
3.3.2 ขอมลทมทงขอความ ตวเลข ปะปนกน แตมขอมลบางสวนสญหาย (nominal data,
http://www.ssru.ac.th
22
missing values) ไดแกขอมล primary-tumor, heart-c และ breast-cancer 3.3.3 ขอมลทเปนตวเลขทงหมด (ยกเวนคลาส) และไมมขอมลสวนใดสญหาย (numeric
data, no missing values) ไดแกขอมล diabetes, heart-statlog, leukemia และ liver-disorders 3.3.4 ขอมลทเปนตวเลขทงหมด (ยกเวนคลาส) แตมขอมลบางสวนสญหาย (numeric data,missing values) ไดแกขอมล breast-w, hepatitis, hypothyroid และ lung-cancer
Lymphography Postoperative-patient
Primary-tumor Heart-c Breast-cancer Diabetes
http://www.ssru.ac.th
23
Heart-statlog Leukemia
Hepatitis Hypothyroid
Lung-cancer
Liver-disorder Breast-w
http://www.ssru.ac.th
24
สามารถสรปชดขอมล จานวนแอททรบวต และจานวนคลาสในแตละชดขอมล ไดดงน ตารางท 3.1 ตารางสรปชดขอมล
ชดขอมล ประเภทขอมล จานวน ขอมล
แอททรบวต
สญหาย
คลาส
breast-cancer ขอมลการวนจฉยการเกดใหมของมะเรงเตานม
206 10 Yes 2
breast-w การวนจฉยมะเรงเตานมวาเปนชนดรายแรงหรอไม
699 10 Yes 2
diabetes ขอมลการทดสอบวาคนไขสออาการโรคเบาหวานหรอไม
768 9 No 2
heart-c ขอมลการวนจฉยอาการหลอดเลอดเลยงหวใจตบ
303 14 Yes 2
heart-statlog ขอมลการทดสอบวาคนไขมอาการของโรคหวใจหรอไม
270 14 No 2
hepatitis ขอมลการวนจฉยตบอกเสบ 155 20 Yes 2 hypothyroid ขอมลการวนจฉยตอมธยรอยด 3772 30 No 4 leukemia ขอมลการวนจฉยโรคมะเรง
ในโลหต 72 7130 No 2
liver-disorders ขอมลการวนจฉยโรคตบ 345 7 No 2 lung-cancer ขอมลการวนจฉยมะเรงปอด 32 57 Yes 3 lymphography ขอมลการวนจฉยตอมนาเหลอง 148 19 No 4 postoperative-patient
ขอมลการวนจฉยสภาพคนไขหลงการผาตด
90 9 No 3
primary-tumor ขอมลการวนจฉยโรคมะเรงทเกดกบอวยวะตางๆ
339 18 Yes 22
http://www.ssru.ac.th
25
3.4 การวดประสทธภาพ วธการทดสอบเพอเปรยบเทยบประสทธภาพของแตละอลกอรทมและ เทคนคการสราง
โมเดลการวเคราะหโรคอตโนมตนน เครองมอทใชในการทดสอบอลกอรทมและเทคนคตางๆ ในการสงเคราะหโมเดลโดยใชซอฟตแวร Weka (Waikato Environment for Knowledge Analysis) version 3.6 ซงเปนซอฟตแวรทเผยแพรฟร (Open Source Machine Learning Software) การทดสอบโมเดลการวเคราะหโรคอตโนมตนน สามารถพจารณาไดจากคาความถกตอง โดยใชวธการประเมนความสามารถของแบบจาลอง โดยวดทประสทธผลของการจาแนกขอมลตามแนวคดทางดานการคนคนสารสนเทศ ซงกคอการวดคาความถกตอง (Accuracy) คา Sensitivity ของคลาสหลก (True Positive Rate) คาความแมนยา (Precision) และคาความระลก (Recall) และคา F-Measurement ซงคานวณไดดงตาราง Confusion matrix
ภาพท 3.2 Confusion matrix
TP (a) = จานวนตวอยางทอยในกลม Cj และตวจาแนกทานายวาอยในกลม Cj FP (b) = จานวนตวอยางทไมอยในกลม Cj และตวจาแนกทานายวาอยในกลม Cj FN (c) = จานวนตวอยางทอยในกลม Cj และตวจาแนกทานายวาไมอยในกลม Cj TN (d) = จานวนตวอยางทไมอยในกลม Cj และตวจาแนกทานายวาไมอยในกลม Cj Cj = กลมประเภทของขอมลทางการแพทยทสนใจวดประสทธภาพ
Accuracy = (a+d)/(a+b+c+d) Precision = a/(a+b) Recall or True positive rate = a/(a+c) F-Measure = 2*Precision*Recall/(Precision+Recall)
http://www.ssru.ac.th
บทท 4
ผลการวจย
งานวจยนมวตถประสงคเพอศกษาเปรยบเทยบประสทธภาพการสรางโมเดลการวเคราะห
โรคอตโนมต โดยใชอลกอรทมพนฐาน 7 อลกอรทม ซงประกอบดวย Naïve Bayes,Multilayer
Perceptron,Radial Basis Function Network, Support Vector Machine, K-Nearest
Neighbor, Decision Tree, Ripper ทง แบบไมลดคณลกษณะและแบบทลดคณลกษณะดวยวธ
Correlation-based Feature Subset Selection (CFS) และวธ Feature selection method
based on correlation measureand relevance & redundancy analysis (FCBF) รวมถง
ทดสอบกบอลกอรทมประเภท Single learning กบ Multiple learning โดยเพมประสทธภาพดวย
วธ Bagging และ Boosting โดยทดสอบเฉพาะขอมลทางการแพทยทเกยวของกบการวเคราะห
โรค ประกอบดวยขอมลทงหมด 13 ชด ทดสอบดวยวธ 10-fold cross validation ซงประมวลผล
บนเครองคอมพวเตอร PC PentiumCore2 Duo 2.4 GHz หนวยความจาหลก 4 GB ผลการ
วเคราะหเปรยบเทยบประสทธภาพการจาแนกของแตละอลกอรทมปรากฏรายละเอยดดงน
4.1 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทม โดยไมลดคณลกษณะ
4.2ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอเรยนรดวยวธ Bagging
4.3ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอเรยนรดวยวธ Boosting
4.4 ผลการวเคราะหเปรยบเทยบประสทธภาพเมอลดคณลกษณะดวยวธ CFS
4.5 ผลการวเคราะหเปรยบเทยบประสทธภาพเมอลดคณลกษณะดวยวธ FCBF
4.6 ผลการวเคราะหเปรยบเทยบประสทธภาพวธ Single learning กบ Multiple learning
4.7 ผลการวเคราะหเปรยบเทยบประสทธภาพการลดคณลกษณะดวยวธ CFSและ FCBF
http://www.ssru.ac.th
27
4.1 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทม โดยไมลดคณลกษณะ
ตารางท 4.1 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Naïve Bayes
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 71.6783 28.3217 0.836 0.778 0.836 0.806
recurrence-events 0.435 0.529 0.435 0.477
breast-w benign 95.9943 4.0057 0.952 0.986 0.952 0.969
malignant 0.975 0.914 0.975 0.944
diabetes tested_negative 76.3021 23.6979 0.844 0.802 0.844 0.823
tested_positive 0.612 0.678 0.612 0.643
heart-c <50 83.4983 16.5017 0.867 0.836 0.867 0.851
>50 0.797 0.833 0.797 0.815
heart-statlog absent 83.7037 16.2963 0.873 0.84 0.873 0.856
present 0.792 0.833 0.792 0.812
hepatitis DIE 84.5161 15.4839 0.688 0.611 0.688 0.647
LIVE 0.886 0.916 0.886 0.901
hypothyroid negative 95.281 4.719 0.993 0.961 0.993 0.977
compensated_hypothyroid 0.32 0.721 0.32 0.443
primary_hypothyroid 0.8 0.874 0.8 0.835
secondary_hypothyroid 0 0 0 0
leukemia ALL 98.6111 1.3889 1 0.979 1 0.989
AML 0.96 1 0.96 0.98
liver-disorders class 1 55.3623 44.6377 0.766 0.481 0.766 0.59
class 2 0.4 0.702 0.4 0.51
lung-cancer class 1 62.5 37.5 0.667 0.6 0.667 0.632
class 2 0.538 0.538 0.538 0.538
class 3 0.7 0.778 0.7 0.737
lymphography normal 83.1081 16.8919 0.5 0.5 0.5 0.5
metastases 0.901 0.83 0.901 0.864
malign_lymph 0.754 0.852 0.754 0.8
fibrosis 0.75 0.75 0.75 0.75
postoperative-patient A 66.6667 33.3333 0.938 0.706 0.938 0.805
I 0 0 0 0
S 0 0 0 0
primary-tumor lung 50.1475 49.8525 0.714 0.682 0.714 0.698
head and neck 0.95 0.731 0.95 0.826
esophagus 0 0 0 0
thyroid 0.214 0.273 0.214 0.24
stomach 0.282 0.355 0.282 0.314
duoden and sm.int 0 0 0 0
colon 0 0 0 0
rectum 0.167 1 0.167 0.286
anus 0 0 0 0
salivary glands 0 0 0 0
pancreas 0.321 0.237 0.321 0.273
gallbladder 0.688 0.33 0.688 0.449
liver 0 0 0 0
kidney 0.417 0.303 0.417 0.351
bladder 0 0 0 0
testis 0 0 0 0
prostate 0.2 0.667 0.2 0.308
ovary 0.862 0.568 0.862 0.685
corpus uteri 0 0 0 0
cervix uteri 0 0 0 0
vagina 0 0 0 0
breast 0.792 0.792 0.792 0.792
http://www.ssru.ac.th
28
ตารางท 4.2 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Multilayer Perceptron
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 66.7832 33.2168 0.741 0.776 0.741 0.758
recurrence-events 0.494 0.447 0.494 0.469
breast-w benign 96.1373 3.8627 0.961 0.98 0.961 0.97
malignant 0.963 0.928 0.963 0.945
diabetes tested_negative 75.2604 24.7396 0.81 0.81 0.81 0.81
tested_positive 0.646 0.646 0.646 0.646
heart-c <50 76.2376 23.7624 0.788 0.778 0.788 0.783
>50 0.732 0.743 0.732 0.737
heart-statlog absent 81.1111 18.8889 0.82 0.837 0.82 0.828
present 0.8 0.78 0.8 0.79
hepatitis DIE 78.0645 21.9355 0.438 0.467 0.438 0.452
LIVE 0.87 0.856 0.87 0.863
hypothyroid negative 93.8494 6.1506 0.985 0.954 0.985 0.969 compensated_hypothyroid 0.201 0.402 0.201 0.268 primary_hypothyroid 0.768 0.89 0.768 0.825
secondary_hypothyroid 0 0 0 0
leukemia ALL 97.2222 2.7778 1 0.959 1 0.979
AML 0.92 1 0.92 0.958
liver-disorders class 1 63.4783 36.5217 0.593 0.562 0.593 0.577
class 2 0.665 0.693 0.665 0.679
lung-cancer class 1 40.625 59.375 0.556 0.385 0.556 0.455 class 2 0.231 0.273 0.231 0.25
class 3 0.5 0.625 0.5 0.556
lymphography normal 81.0811 18.9189 0 0 0 0 metastases 0.889 0.809 0.889 0.847 malign_lymph 0.77 0.81 0.77 0.79
fibrosis 0.25 1 0.25 0.4 postoperative-patient A 52.2222 47.7778 0.641 0.695 0.641 0.667 I 0 0 0 0
S 0.25 0.2 0.25 0.222
primary-tumor lung 45.7227 54.2773 0.726 0.709 0.726 0.718 head and neck 0.95 0.655 0.95 0.776 esophagus 0 0 0 0 thyroid 0.214 0.25 0.214 0.231 stomach 0.282 0.306 0.282 0.293 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0.333 0.286 0.333 0.308 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.321 0.237 0.321 0.273 gallbladder 0.313 0.313 0.313 0.313 liver 0 0 0 0 kidney 0.292 0.269 0.292 0.28 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 0.231 0.3 0.261 ovary 0.552 0.64 0.552 0.593 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.792 0.826 0.792 0.809
http://www.ssru.ac.th
29
ตารางท 4.3 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Radial Basis Function
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 70.979 29.021 0.876 0.752 0.876 0.809
recurrence-events 0.318 0.519 0.318 0.394
breast-w benign 95.8512 4.1488 0.954 0.982 0.954 0.968
malignant 0.967 0.917 0.967 0.941
diabetes tested_negative 75.3906 24.6094 0.868 0.779 0.868 0.821
tested_positive 0.541 0.687 0.541 0.605
heart-c <50 83.8284 16.1716 0.861 0.845 0.861 0.853
>50 0.812 0.83 0.812 0.821
heart-statlog absent 84.0741 15.9259 0.867 0.85 0.867 0.858
present 0.808 0.829 0.808 0.819
hepatitis DIE 85.8065 14.1935 0.594 0.679 0.594 0.633
LIVE 0.927 0.898 0.927 0.912
hypothyroid negative 95.228 4.772 0.989 0.964 0.989 0.977 compensated_hypothyroid 0.356 0.657 0.356 0.462 primary_hypothyroid 0.832 0.84 0.832 0.836
secondary_hypothyroid 0 0 0 0
leukemia ALL 97.2222 2.7778 1 0.959 1 0.979
AML 0.92 1 0.92 0.958
liver-disorders class 1 64.3478 35.6522 0.517 0.586 0.517 0.549
class 2 0.735 0.677 0.735 0.705
lung-cancer class 1 53.125 46.875 0.667 0.545 0.667 0.6 class 2 0.308 0.444 0.308 0.364
class 3 0.7 0.583 0.7 0.636
lymphography normal 80.4054 19.5946 0 0 0 0 metastases 0.852 0.831 0.852 0.841 malign_lymph 0.77 0.797 0.77 0.783
fibrosis 0.75 0.6 0.75 0.667 postoperative-patient A 56.6667 43.3333 0.75 0.706 0.75 0.727 I 0 0 0 0
S 0.125 0.188 0.125 0.125
primary-tumor lung 35.3982 64.6018 0.536 0.563 0.536 0.549 head and neck 0.8 0.593 0.8 0.681 esophagus 0.111 0.091 0.111 0.1 thyroid 0.286 0.16 0.286 0.205 stomach 0.077 0.12 0.077 0.094 duoden and sm.int 0 0 0 0 colon 0.071 0.063 0.071 0.067 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.179 0.227 0.179 0.2 gallbladder 0.25 0.364 0.25 0.296 liver 0 0 0 0 kidney 0.167 0.154 0.167 0.16 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.286 0.2 0.235 ovary 0.655 0.463 0.655 0.543 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.667 0.941 0.667 0.78
http://www.ssru.ac.th
30
ตารางท 4.4 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Support Vector Machine
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 69.5804 30.4196 0.851 0.75 0.851 0.797
recurrence-events 0.329 0.483 0.329 0.392
breast-w benign 96.9957 3.0043 0.974 0.98 0.974 0.977
malignant 0.963 0.951 0.963 0.957
diabetes tested_negative 77.3438 22.6563 0.898 0.785 0.898 0.838
tested_positive 0.541 0.74 0.541 0.625
heart-c <50 84.1584 15.8416 0.897 0.827 0.897 0.86
>50 0.775 0.863 0.775 0.817
heart-statlog absent 84.0741 15.9259 0.873 0.845 0.873 0.859
present 0.8 0.835 0.8 0.817
hepatitis DIE 85.1613 14.8387 0.594 0.655 0.594 0.623
LIVE 0.919 0.897 0.919 0.908
hypothyroid negative 93.6108 6.3892 0.999 0.936 0.999 0.967 compensated_hypothyroid 0 0 0 0 primary_hypothyroid 0.547 0.945 0.547 0.693
secondary_hypothyroid 0 0 0 0
leukemia ALL 98.6111 1.3889 1 0.979 1 0.989
AML 0.96 1 0.96 0.98
liver-disorders class 1 58.2609 41.7391 0.007 1 0.007 0.014
class 2 1 0.581 1 0.735
lung-cancer class 1 50 50 0.667 0.545 0.667 0.6 class 2 0.308 0.364 0.308 0.333
class 3 0.6 0.6 0.6 0.6
lymphography normal 86.4865 13.5135 1 0.667 1 0.8 metastases 0.914 0.851 0.914 0.881 malign_lymph 0.803 0.891 0.803 0.845
fibrosis 0.75 1 0.75 0.857 postoperative-patient A 67.7778 32.2222 0.953 0.701 0.953 0.808 I 0 0 0 0
S 0 0 0 0
primary-tumor lung 46.9027 53.0973 0.833 0.609 0.833 0.704 head and neck 0.95 0.76 0.95 0.844 esophagus 0 0 0 0 thyroid 0.286 0.4 0.286 0.33 stomach 0.231 0.2 0.231 0.214 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.107 0.111 0.107 0.109 gallbladder 0.5 0.286 0.5 0.364 liver 0 0 0 0 kidney 0.292 0.292 0.292 0.292 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.667 0.2 0.308 ovary 0.69 0.571 0.69 0.625 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.708 0.85 0.708 0.773
http://www.ssru.ac.th
31
ตารางท 4.5 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม K-Nearest Neighbor
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 73.4266 26.5734 0.96 0.739 0.96 0.835
recurrence-events 0.2 0.68 0.2 0.309
breast-w benign 96.7096 3.2904 0.969 0.98 0.969 0.975
malignant 0.963 0.943 0.963 0.953
diabetes tested_negative 73.1771 26.8229 0.836 0.771 0.836 0.802
tested_positive 0.537 0.637 0.537 0.583
heart-c <50 81.8482 18.1518 0.824 0.84 0.824 0.832
>50 0.812 0.794 0.812 0.803
heart-statlog absent 78.5185 21.481 0.813 0.803 0.813 0.808
present 0.75 0.763 0.75 0.756
hepatitis DIE 85.8065 14.1935 0.5 0.727 0.5 0.593
LIVE 0.951 0.88 0.951 0.914
hypothyroid negative 93.2662 6.7338 0.996 0.938 0.996 0.966 compensated_hypothyroid 0.057 0.344 0.057 0.097 primary_hypothyroid 0.432 0.932 0.432 0.59
secondary_hypothyroid 0 0 0 0
leukemia ALL 81.9444 18.0556 0.957 0.804 0.957 0.874
AML 0.56 0.875 0.56 0.683
liver-disorders class 1 59.1304 40.8696 0.476 0.515 0.476 0.495
class 2 0.675 0.64 0.675 0.657
lung-cancer class 1 40.625 59.375 0.667 0.4 0.667 0.5 class 2 0.154 0.2 0.154 0.174
class 3 0.5 0.714 0.5 0.588
lymphography normal 83.7838 16.2162 0 0 0 0 metastases 0.951 0.828 0.951 0.885 malign_lymph 0.77 0.855 0.77 0.81
fibrosis 0 0 0 0 postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0
S 0 0 0 0
primary-tumor lung 48.0826 51.9174 0.738 0.681 0.681 0.738 0.709 head and neck 0.95 0.679 0.95 0.792 esophagus 0 0 0 0 thyroid 0.357 0.333 0.357 0.345 stomach 0.154 0.3 0.154 0.203 duoden and sm.int 0 0 0 0 colon 0.071 0.2 0.071 0.105 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.25 0.189 0.25 0.215 gallbladder 0.625 0.357 0.625 0.455 liver 0 0 0 0 kidney 0.292 0.389 0.292 0.333 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.154 0.2 0.174 ovary 0.862 0.431 0.862 0.575 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.792 0.792 0.792 0.792
http://www.ssru.ac.th
32
ตารางท 4.6 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Decision Tree
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 75.5245 24.4755 0.96 0.757 0.96 0.846
recurrence-events 0.271 0.742 0.271 0.397
breast-w benign 94.5637 5.4363 0.956 0.961 0.956 0.958
malignant 0.925 0.918 0.925 0.921
diabetes tested_negative 73.8281 26.1719 0.814 0.79 0.814 0.802
tested_positive 0.597 0.632 0.597 0.614
heart-c <50 77.5578 22.4422 0.83 0.774 0.83 0.801
>50 0.71 0.778 0.71 0.742
heart-statlog absent 76.6667 23.3333 0.793 0.788 0.793 0.791
present 0.733 0.739 0.733 0.736
hepatitis DIE 83.871 16.129 0.438 0.667 0.438 0.528
LIVE 0.943 0.866 0.943 0.903
hypothyroid negative 99.5758 0.4242 0.999 0.998 0.999 0.998 compensated_hypothyroid 0.985 0.97 0.985 0.977 primary_hypothyroid 0.937 0.957 0.937 0.947
secondary_hypothyroid 0 0 0 0
leukemia ALL 81.9444 18.0556 0.809 0.905 0.809 0.854
AML 0.84 0.7 0.84 0.764
liver-disorders class 1 68.6957 31.3043 0.531 0.658 0.531 0.588
class 2 0.8 0.702 0.8 0.748
lung-cancer class 1 40.625 59.375 0.444 0.444 0.444 0.444 class 2 0.308 0.308 0.308 0.308
class 3 0.5 0.5 0.5 0.5
lymphography normal 77.027 22.973 1 0.5 1 0.667 metastases 0.79 0.831 0.79 0.81 malign_lymph 0.754 0.73 0.754 0.742
fibrosis 0.5 0.5 0.5 0.5 postoperative-patient A 70 30 0.984 0.708 0.984 0.824 I 0 0 0 0
S 0 0 0 0
primary-tumor lung 39.823 60.177 0.631 0.431 0.631 0.512 head and neck 0.9 0.72 0.9 0.8 esophagus 0 0 0 0 thyroid 0.286 0.4 0.286 0.333 stomach 0.026 0.045 0.026 0.033 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.25 0.25 0.25 0.25 gallbladder 0.563 0.375 0.563 0.45 liver 0 0 0 0 kidney 0.292 0.35 0.292 0.318 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.655 0.514 0.655 0.576 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.708 0.773 0.708 0.739
http://www.ssru.ac.th
33
ตารางท 4.7 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Ripper
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 70.979 29.021 0.856 0.761 0.856 0.806
recurrence-events 0.365 0.517 0.365 0.428
breast-w benign 95.422 4.578 0.952 0.978 0.952 0.965
malignant 0.959 0.913 0.959 0.935
diabetes tested_negative 76.0417 23.9583 0.856 0.793 0.856 0.823
tested_positive 0.582 0.684 0.582 0.629
heart-c <50 81.5182 18.4818 0.824 0.834 0.824 0.829
>50 0.804 0.793 0.804 0.799
heart-statlog absent 78.8889 21.1111 0.847 0.789 0.847 0.817
present 0.717 0.789 0.717 0.751
hepatitis DIE 78.0645 21.9355 0.344 0.458 0.344 0.393
LIVE 0.894 0.84 0.894 0.866
hypothyroid negative 99.3372 0.6628 0.996 0.999 0.996 0.997 compensated_hypothyroid 0.985 0.95 0.985 0.967 primary_hypothyroid 0.926 0.926 0.926 0.926
secondary_hypothyroid 0 0 0 0
leukemia ALL 88.8889 11.1111 0.894 0.933 0.894 0.913
AML 0.88 0.815 0.88 0.846
liver-disorders class 1 64.6377 35.3623 0.469 0.602 0.469 0.527
class 2 0.775 0.668 0.775 0.718
lung-cancer class 1 59.375 40.625 0.778 0.636 0.778 0.7 class 2 0.615 0.533 0.615 0.571
class 3 0.4 0.667 0.4 0.5
lymphography normal 77.7027 22.2973 0 0 0 0 metastases 0.827 0.798 0.827 0.812 malign_lymph 0.738 0.75 0.738 0.744
fibrosis 0.75 0.75 0.75 0.75 postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0
S 0 0 0 0
primary-tumor lung 39.233 60.767 0.917 0.328 0.917 0.483 head and neck 0.75 0.682 0.75 0.714 esophagus 0 0 0 0 thyroid 0.071 0.167 0.071 0.1 stomach 0 0 0 0 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.036 0.25 0.036 0.063 gallbladder 0.125 0.25 0.125 0.167 liver 0 0 0 0 kidney 0.125 0.333 0.125 0.182 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.552 0.552 0.552 0.552 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.75 0.818 0.75 0.783
http://www.ssru.ac.th
34
ตารางท 4.8 การเปรยบเทยบประสทธภาพดาน TP Rate
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper breast-cancer no-recurrence-events 0.836 0.741 0.876 0.851 0.96 0.96 0.856 recurrence-events 0.435 0.494 0.318 0.329 0.2 0.271 0.365 breast-w benign 0.952 0.961 0.954 0.974 0.969 0.956 0.952 malignant 0.975 0.963 0.967 0.963 0.963 0.925 0.959 diabetes tested_negative 0.844 0.81 0.868 0.898 0.836 0.814 0.856 tested_positive 0.612 0.646 0.541 0.541 0.537 0.597 0.582 heart-c <50 0.867 0.788 0.861 0.897 0.824 0.83 0.824 >50 0.797 0.732 0.812 0.775 0.812 0.71 0.804 heart-statlog absent 0.873 0.82 0.867 0.873 0.813 0.793 0.847 present 0.792 0.8 0.808 0.8 0.75 0.733 0.717 hepatitis DIE 0.688 0.438 0.594 0.594 0.5 0.438 0.344 LIVE 0.886 0.87 0.927 0.919 0.951 0.943 0.894 hypothyroid negative 0.993 0.985 0.989 0.999 0.996 0.999 0.996 compensated 0.32 0.201 0.356 0 0.057 0.985 0.985 primary 0.8 0.768 0.832 0.547 0.432 0.937 0.926 secondary 0 0 0 0 0 0 0 leukemia ALL 1 1 1 1 0.957 0.809 0.894 AML 0.96 0.92 0.92 0.96 0.56 0.84 0.88 liver-disorders class 1 0.766 0.593 0.517 0.007 0.476 0.531 0.469 class 2 0.4 0.665 0.735 1 0.675 0.8 0.775 lung-cancer class 1 0.667 0.556 0.667 0.667 0.667 0.444 0.778 class 2 0.538 0.231 0.308 0.308 0.154 0.308 0.615 class 3 0.7 0.5 0.7 0.6 0.5 0.5 0.4 lymphography normal 0.5 0 0 1 0 1 0 metastases 0.901 0.889 0.852 0.914 0.951 0.79 0.827 malign_lymph 0.754 0.77 0.77 0.803 0.77 0.754 0.738 fibrosis 0.75 0.25 0.75 0.75 0 0.5 0.75 postoperative-patient A 0.938 0.641 0.75 0.953 1 0.984 1 I 0 0 0 0 0 0 0 S 0 0.25 0.125 0 0 0 0 primary-tumor lung 0.714 0.726 0.536 0.833 0.738 0.631 0.917 head and neck 0.95 0.95 0.8 0.95 0.95 0.9 0.75 esophagus 0 0 0.111 0 0 0 0 thyroid 0.214 0.214 0.286 0.286 0.357 0.286 0.071 stomach 0.282 0.282 0.077 0.231 0.154 0.026 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.071 0 0.071 0 0 rectum 0.167 0.333 0 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.321 0.321 0.179 0.107 0.25 0.25 0.036 gallbladder 0.688 0.313 0.25 0.5 0.625 0.563 0.125 liver 0 0 0 0 0 0 0 kidney 0.417 0.292 0.167 0.292 0.292 0.292 0.125 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.2 0.3 0.2 0.2 0.2 0 0 ovary 0.862 0.552 0.655 0.69 0.862 0.655 0.552 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0 breast 0.792 0.792 0.667 0.708 0.792 0.708 0.75
http://www.ssru.ac.th
35
ตารางท 4.9 การเปรยบเทยบประสทธภาพดาน Precision
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.778 0.776 0.752 0.75 0.739 0.757 0.761
recurrence-events 0.529 0.447 0.519 0.483 0.68 0.742 0.517
breast-w benign 0.986 0.98 0.982 0.98 0.98 0.961 0.978
malignant 0.914 0.928 0.917 0.951 0.943 0.918 0.913
diabetes tested_negative 0.802 0.81 0.779 0.785 0.771 0.79 0.793
tested_positive 0.678 0.646 0.687 0.74 0.637 0.632 0.684
heart-c <50 0.836 0.778 0.845 0.827 0.84 0.774 0.834
>50 0.833 0.743 0.83 0.863 0.794 0.778 0.793
heart-statlog absent 0.84 0.837 0.85 0.845 0.803 0.788 0.789
present 0.833 0.78 0.829 0.835 0.763 0.739 0.789
hepatitis DIE 0.611 0.467 0.679 0.655 0.727 0.667 0.458
LIVE 0.916 0.856 0.898 0.897 0.88 0.866 0.84
hypothyroid negative 0.961 0.954 0.964 0.936 0.938 0.998 0.999 compensated 0.721 0.402 0.657 0 0.344 0.97 0.95 primary 0.874 0.89 0.84 0.945 0.932 0.957 0.926
secondary 0 0 0 0 0 0 0
leukemia ALL 0.979 0.959 0.959 0.979 0.804 0.905 0.933
AML 1 1 1 1 0.875 0.7 0.815
liver-disorders class 1 0.481 0.562 0.586 1 0.515 0.658 0.602
class 2 0.702 0.693 0.677 0.581 0.64 0.702 0.668
lung-cancer class 1 0.6 0.385 0.545 0.545 0.4 0.444 0.636 class 2 0.538 0.273 0.444 0.364 0.2 0.308 0.533
class 3 0.778 0.625 0.583 0.6 0.714 0.5 0.667
lymphography normal 0.5 0 0 0.667 0 0.5 0 metastases 0.83 0.809 0.831 0.851 0.828 0.831 0.798 malign_lymph 0.852 0.81 0.797 0.891 0.855 0.73 0.75
fibrosis 0.75 1 0.6 1 0 0.5 0.75 postoperative-patient A 0.706 0.695 0.706 0.701 0.711 0.708 0.711 I 0 0 0 0 0 0 0
S 0 0.2 0.188 0 0 0 0
primary-tumor lung 0.682 0.709 0.563 0.609 0.681 0.431 0.328 head and neck 0.731 0.655 0.593 0.76 0.679 0.72 0.682 esophagus 0 0 0.091 0 0 0 0 thyroid 0.273 0.25 0.16 0.4 0.333 0.4 0.167 stomach 0.355 0.306 0.12 0.2 0.3 0.045 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.063 0 0.2 0 0 rectum 1 0.286 0 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.237 0.237 0.227 0.111 0.189 0.25 0.25 gallbladder 0.33 0.313 0.364 0.286 0.357 0.375 0.25 liver 0 0 0 0 0 0 0 kidney 0.303 0.269 0.154 0.292 0.389 0.35 0.333 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.667 0.231 0.286 0.667 0.154 0 0 ovary 0.568 0.64 0.463 0.571 0.431 0.514 0.552 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.792 0.826 0.941 0.85 0.792 0.773 0.818
http://www.ssru.ac.th
36
ตารางท 4.10 การเปรยบเทยบประสทธภาพดาน Recall
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.836 0.741 0.876 0.851 0.96 0.96 0.856
recurrence-events 0.435 0.494 0.318 0.329 0.2 0.271 0.365
breast-w benign 0.952 0.961 0.954 0.974 0.969 0.956 0.952
malignant 0.975 0.963 0.967 0.963 0.963 0.925 0.959
diabetes tested_negative 0.844 0.81 0.868 0.898 0.836 0.814 0.856
tested_positive 0.612 0.646 0.541 0.541 0.537 0.597 0.582
heart-c <50 0.867 0.788 0.861 0.897 0.824 0.83 0.824
>50 0.797 0.732 0.812 0.775 0.812 0.71 0.804
heart-statlog absent 0.873 0.82 0.867 0.873 0.813 0.793 0.847
present 0.792 0.8 0.808 0.8 0.75 0.733 0.717
hepatitis DIE 0.688 0.438 0.594 0.594 0.5 0.438 0.344
LIVE 0.886 0.87 0.927 0.919 0.951 0.943 0.894
hypothyroid negative 0.993 0.985 0.989 0.999 0.996 0.999 0.996 compensated 0.32 0.201 0.356 0 0.057 0.985 0.985 primary 0.8 0.768 0.832 0.547 0.432 0.937 0.926
secondary 0 0 0 0 0 0 0
leukemia ALL 1 1 1 1 0.957 0.809 0.894
AML 0.96 0.92 0.92 0.96 0.56 0.84 0.88
liver-disorders class 1 0.766 0.593 0.517 0.007 0.476 0.531 0.469
class 2 0.4 0.665 0.735 1 0.675 0.8 0.775
lung-cancer class 1 0.667 0.556 0.667 0.667 0.667 0.444 0.778 class 2 0.538 0.231 0.308 0.308 0.154 0.308 0.615
class 3 0.7 0.5 0.7 0.6 0.5 0.5 0.4
lymphography normal 0.5 0 0 1 0 1 0 metastases 0.901 0.889 0.852 0.914 0.951 0.79 0.827 malign_lymph 0.754 0.77 0.77 0.803 0.77 0.754 0.738
fibrosis 0.75 0.25 0.75 0.75 0 0.5 0.75
postoperative-patient A 0.938 0.641 0.75 0.953 1 0.984 1 I 0 0 0 0 0 0 0
S 0 0.25 0.125 0 0 0 0
primary-tumor lung 0.714 0.726 0.536 0.833 0.738 0.631 0.917 head and neck 0.95 0.95 0.8 0.95 0.95 0.9 0.75 esophagus 0 0 0.111 0 0 0 0 thyroid 0.214 0.214 0.286 0.286 0.357 0.286 0.071 stomach 0.282 0.282 0.077 0.231 0.154 0.026 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.071 0 0.071 0 0 rectum 0.167 0.333 0 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.321 0.321 0.179 0.107 0.25 0.25 0.036 gallbladder 0.688 0.313 0.25 0.5 0.625 0.563 0.125 liver 0 0 0 0 0 0 0 kidney 0.417 0.292 0.167 0.292 0.292 0.292 0.125 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.2 0.3 0.2 0.2 0.2 0 0 ovary 0.862 0.552 0.655 0.69 0.862 0.655 0.552 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.792 0.792 0.667 0.708 0.792 0.708 0.75
http://www.ssru.ac.th
37
ตารางท 4.11 การเปรยบเทยบประสทธภาพดาน F-Measure
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.806 0.758 0.809 0.797 0.835 0.846 0.806
recurrence-events 0.477 0.469 0.394 0.392 0.309 0.397 0.428
breast-w benign 0.969 0.97 0.968 0.977 0.975 0.958 0.965
malignant 0.944 0.945 0.941 0.957 0.953 0.921 0.935
diabetes tested_negative 0.823 0.81 0.821 0.838 0.802 0.802 0.823
tested_positive 0.643 0.646 0.605 0.625 0.583 0.614 0.629
heart-c <50 0.851 0.783 0.853 0.86 0.832 0.801 0.829
>50 0.815 0.737 0.821 0.817 0.803 0.742 0.799
heart-statlog absent 0.856 0.828 0.858 0.859 0.808 0.791 0.817
present 0.812 0.79 0.819 0.817 0.756 0.736 0.751
hepatitis DIE 0.647 0.452 0.633 0.623 0.593 0.528 0.393
LIVE 0.901 0.863 0.912 0.908 0.914 0.903 0.866
hypothyroid negative 0.977 0.969 0.977 0.967 0.966 0.998 0.997 compensated 0.443 0.268 0.462 0 0.097 0.977 0.967 primary 0.835 0.825 0.836 0.693 0.59 0.947 0.926
secondary 0 0 0 0 0 0 0
leukemia ALL 0.989 0.979 0.979 0.989 0.874 0.854 0.913
AML 0.98 0.958 0.958 0.98 0.683 0.764 0.846
liver-disorders class 1 0.59 0.577 0.549 0.014 0.495 0.588 0.527
class 2 0.51 0.679 0.705 0.735 0.657 0.748 0.718
lung-cancer class 1 0.632 0.455 0.6 0.6 0.5 0.444 0.7 class 2 0.538 0.25 0.364 0.333 0.174 0.308 0.571
class 3 0.737 0.556 0.636 0.6 0.588 0.5 0.5
lymphography normal 0.5 0 0 0.8 0 0.667 0 metastases 0.864 0.847 0.841 0.881 0.885 0.81 0.812 malign_lymph 0.8 0.79 0.783 0.845 0.81 0.742 0.744
fibrosis 0.75 0.4 0.667 0.857 0 0.5 0.75 postoperative-patient A 0.805 0.667 0.727 0.808 0.831 0.824 0.831 I 0 0 0 0 0 0 0
S 0 0.222 0.125 0 0 0 0
primary-tumor lung 0.698 0.718 0.549 0.704 0.709 0.512 0.483 head and neck 0.826 0.776 0.681 0.844 0.792 0.8 0.714 esophagus 0 0 0.1 0 0 0 0 thyroid 0.24 0.231 0.205 0.33 0.345 0.333 0.1 stomach 0.314 0.293 0.094 0.214 0.203 0.033 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.067 0 0.105 0 0 rectum 0.286 0.308 0 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.273 0.273 0.2 0.109 0.215 0.25 0.063 gallbladder 0.449 0.313 0.296 0.364 0.455 0.45 0.167 liver 0 0 0 0 0 0 0 kidney 0.351 0.28 0.16 0.292 0.333 0.318 0.182 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.308 0.261 0.235 0.308 0.174 0 0 ovary 0.685 0.593 0.543 0.625 0.575 0.576 0.552 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.792 0.809 0.78 0.773 0.792 0.739 0.783
http://www.ssru.ac.th
38
62
64
66
68
70
72
74
76
78
Accuracy
breast‐cancer
93
93.5
94
94.5
95
95.5
96
96.5
97
97.5
Accuracy
breast‐w
71
72
73
74
75
76
77
78
Accuracy
diabetes
72
74
76
78
80
82
84
86
Accuracy
heart‐c
72
74
76
78
80
82
84
86
Accuracy
heart‐statlog
74
76
78
80
82
84
86
88
Accuracy
hepatitis
ตารางท 4.12 การเปรยบเทยบประสทธภาพดาน Accuracy
Dataset NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer 71.6783 66.7832 70.979 69.5804 73.4266 75.5245 70.979 breast-w 95.9943 96.1373 95.8512 96.9957 96.7096 94.5637 95.422 diabetes 76.3021 75.2604 75.3906 77.3438 73.1771 73.8281 76.0417 heart-c 83.4983 76.2376 83.8284 84.1584 81.8482 77.5578 81.5182 heart-statlog 83.7037 81.1111 84.0741 84.0741 78.5185 76.6667 78.8889 hepatitis 84.5161 78.0645 85.8065 85.1613 85.8065 83.871 78.0645 hypothyroid 95.281 93.8494 95.228 93.6108 93.2662 99.5758 99.3372 leukemia 98.6111 97.2222 97.2222 98.6111 81.9444 81.9444 88.8889 liver-disorders 55.3623 63.4783 64.3478 58.2609 59.1304 68.6957 64.6377 lung-cancer 62.5 40.625 53.125 50 40.625 40.625 59.375 lymphography 83.1081 81.0811 80.4054 86.4865 83.7838 77.027 77.7027 postoperative-patient 66.6667 52.2222 56.6667 67.7778 71.1111 70 71.1111 primary-tumor 50.1475 45.7227 35.3982 46.9027 48.0826 39.823 39.233
http://www.ssru.ac.th
39
90919293949596979899
100101
Accuracy
hypothyroid
0
20
40
60
80
100
120
Accuracy
leukemia
0
10
20
30
40
50
60
70
80
Accuracy
liver‐disorders
0
10
20
30
40
50
60
70
Accuracy
lung‐cancer
72
74
76
78
80
82
84
86
88
Accuracy
lymphography
0
10
20
30
40
50
60
70
80
Accuracy
postoperative‐patient
0
10
20
30
40
50
60
Accuracy
primary‐tumor
http://www.ssru.ac.th
40
ผลการทดลองจากตารางท 4.12 เมอเรยนรกลมตวอยางโดยไมลดคณลกษณะ ตาม
แบบจาลองการวเคราะหโรคอตโนมตทนาเสนอซงประกอบดวย อลกอรทม Naïve Bayes
,Multilayer Perceptron,Radial Basis Function Network, Support Vector Machine, K-
Nearest Neighbor, Decision Tree และ Ripper โดยวดประสทธภาพจากคาความความถกตอง
(Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม Decision Tree ใหประสทธภาพออกมา
ดทสดคอ 75.52% กลมขอมล breast-w อลกอรทม Support Vector Machine ใหประสทธภาพ
ออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Support Vector Machine ให
ประสทธภาพออกมาดทสดคอ 77.34% กลมขอมล heart-c อลกอรทม Support Vector Machine
ใหประสทธภาพออกมาดทสดคอ 84.15% กลมขอมล heart-statlog อลกอรทม Radial Basis
Function กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.07% กลมขอมล
hepatitis อลกอรทม Radial Basis Function กบ K-Nearest Neighbor ใหประสทธภาพออกมา
ดทสดคอ 85.80% กลมขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาด
ทสดคอ 99.57% กลมขอมล leukemia อลกอรทม Naive Bayes กบ Support Vector Machine
ใหประสทธภาพออกมาดทสดคอ 98.61% กลมขอมล liver-disorders อลกอรทม Decision Tree
ใหประสทธภาพออกมาดทสดคอ 68.69% กลมขอมล lung-cancer อลกอรทม Naive Bayes ให
ประสทธภาพออกมาดทสดคอ 62.5% กลมขอมล lymphography อลกอรทม Support Vector
Machine ใหประสทธภาพออกมาดทสดคอ 86.48% กลมขอมล postoperative-patient
อลกอรทม K-Nearest Neighbor กบ Ripperใหประสทธภาพออกมาดทสดคอ 71.11% กลม
ขอมล primary-tumor อลกอรทม Naive Bayes ใหประสทธภาพออกมาดทสดคอ 50.14%
http://www.ssru.ac.th
41
4.2 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอเรยนรดวยวธ Bagging
ตารางท 4.13 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Bagging ดวยอลกอรทม
NaiveBayes
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 72.028 27.972 0.846 0.776 0.846 0.81
recurrence-events 0.424 0.537 0.424 0.474
breast-w benign 95.9943 4.0057 0.952 0.952 0.952 0.969
malignant 0.975 0.975 0.975 0.944
diabetes tested_negative 76.0417 23.9583 0.844 0.799 0.844 0.821
tested_positive 0.604 0.675 0.604 0.638
heart-c <50 83.8284 16.1716 0.873 0.837 0.873 0.855
>50 0.797 0.84 0.797 0.818
heart-statlog absent 82.963 17.037 0.86 0.838 0.86 0.849
present 0.792 0.819 0.792 0.805
hepatitis DIE 85.1613 14.8387 0.688 0.629 0.688 0.657
LIVE 0.894 0.917 0.894 0.905
hypothyroid negative 95.4666 4.5334 0.993 0.962 0.993 0.977 compensated_hypothyroid 0.345 0.736 0.345 0.47 primary_hypothyroid 0.821 0.876 0.821 0.848
secondary_hypothyroid 0 0 0 0
leukemia ALL 97.2222 2.7778 1 0.959 1 0.979
AML 0.92 1 0.92 0.958
liver-disorders class 1 57.1014 42.8986 0.766 0.493 0.766 0.6
class 2 0.43 0.717 0.43 0.538
lung-cancer class 1 53.125 46.875 0.444 0.571 0.444 0.5 class 2 0.538 0.438 0.538 0.483
class 3 0.6 0.667 0.6 0.632
lymphography normal 83.1081 16.8919 0.5 0.5 0.5 0.5 metastases 0.901 0.82 0.901 0.859 malign_lymph 0.754 0.852 0.754 0.8
fibrosis 0.75 1 0.75 0.857 postoperative-patient A 68.8889 31.1111 0.969 1 0.705 0.816 I 0 0 0 0
S 0 0 0 0
primary-tumor lung 49.5575 50.4425 0.702 0.678 0.702 0.69 head and neck 0.95 0.731 0.95 0.826 esophagus 0 0 0 0 thyroid 0.143 0.4 0.143 0.211 stomach 0.231 0.3 0.231 0.261 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0.167 1 0.167 0.286 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.321 0.243 0.321 0.277 gallbladder 0.688 0.314 0.688 0.431 liver 0 0 0 0 kidney 0.458 0.289 0.458 0.355 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 0.6 0.3 0.4 ovary 0.862 0.568 0.862 0.685 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.792 0.792 0.792 0.792
http://www.ssru.ac.th
42
ตารางท 4.14 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Bagging ดวยอลกอรทม
MultilayerPerceptron
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 71.3287 28.6713 0.846 0.769 0.846 0.806
recurrence-events 0.4 0.523 0.4 0.453
breast-w benign 95.9943 4.0057 0.967 0.971 0.967 0.969
malignant 0.946 0.938 0.946 0.942
diabetes tested_negative 75.1302 24.8698 0.842 0.79 0.842 0.815
tested_positive 0.582 0.664 0.582 0.62
heart-c <50 81.5182 18.4818 0.836 0.826 0.836 0.831
>50 0.79 0.801 0.79 0.796
heart-statlog absent 81.4815 18.5185 0.82 0.842 0.82 0.831
present 0.808 0.782 0.808 0.795
hepatitis DIE 81.2903 18.7097 0.406 0.565 0.406 0.473
LIVE 0.919 0.856 0.919 0.886
hypothyroid negative 95.0159 4.9841 0.998 0.952 0.998 0.975 compensated_hypothyroid 0.186 0.837 0.186 0.304 primary_hypothyroid 0.768 0.924 0.768 0.839
secondary_hypothyroid 0 0 0 0
leukemia ALL 96.2222 2.7778 1 0.959 1 0.979
AML 0.92 1 0.92 0.958
liver-disorders class 1 69.5652 30.4348 0.559 0.664 0.559 0.607
class 2 0.795 0.713 0.795 0.752
lung-cancer class 1 53.125 46.875 0.667 0.6 0.667 0.632 class 2 0.385 0.417 0.385 0.4
class 3 0.6 0.6 0.6 0.6
lymphography normal 83.7838 16.2162 0 0 0 0 metastases 0.889 0.837 0.889 0.862 malign_lymph 0.82 0.833 0.82 0.826
fibrosis 0.5 1 0.5 0.667 postoperative-patient A 55.5556 44.4444 0.766 0.662 0.766 0.71 I 0 0 0 0
S 0.042 0.063 0.042 0.05
primary-tumor lung 45.1327 54.8673 0.762 0.64 0.762 0.696 head and neck 0.95 0.731 0.95 0.826 esophagus 0 0 0 0 thyroid 0.357 0.455 0.357 0.4 stomach 0.179 0.212 0.179 0.194 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0.333 0.5 0.333 0.4 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.214 0.2 0.214 0.207 gallbladder 0.313 0.217 0.313 0.256 liver 0 0 0 0 kidney 0.208 0.217 0.208 0.213 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.25 0.2 0.222 ovary 0.621 0.545 0.621 0.581 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.833 0.69 0.833 0.755
http://www.ssru.ac.th
43
ตารางท 4.15 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Bagging ดวยอลกอรทม
Radial Basis Function
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 72.7273 27.2727 0.881 0.766 0.881 0.819
recurrence-events 0.365 0.564 0.365 0.443
breast-w benign 95.9943 4.0057 0.952 0.986 0.952 0.969
malignant 0.975 0.914 0.975 0.944
diabetes tested_negative 75.651 24.349 0.868 0.782 0.868 0.823
tested_positive 0.549 0.69 0.549 0.611
heart-c <50 84.8185 15.1815 0.891 0.84 0.891 0.865
>50 0.797 0.859 0.797 0.827
heart-statlog absent 84.0741 15.9259 0.867 0.85 0.867 0.858
present 0.808 0.829 0.808 0.819
hepatitis DIE 87.0968 12.9032 0.625 0.714 0.625 0.667
LIVE 0.935 0.906 0.935 0.92
hypothyroid negative 95.5461 4.4539 0.993 0.963 0.993 0.978 compensated_hypothyroid 0.356 0.75 0.356 0.483 primary_hypothyroid 0.832 0.859 0.832 0.845
secondary_hypothyroid 0 0 0 0
leukemia ALL 97.2222 2.7778 1 0.959 1 0.979
AML 0.92 1 0.92 0.958
liver-disorders class 1 66.3768 33.6232 0.49 0.628 0.49 0.55
class 2 0.79 0.681 0.79 0.731
lung-cancer class 1 50 50 0.333 0.5 0.333 0.4 class 2 0.385 0.455 0.385 0.417
class 3 0.8 0.533 0.8 0.64
lymphography normal 82.4324 17.5676 0 0 0 0 metastases 0.877 0.835 0.877 0.855 malign_lymph 0.787 0.814 0.787 0.8
fibrosis 0.75 0.75 0.75 0.75 postoperative-patient A 63.3333 36.6667 0.875 0.7 0.875 0.778 I 0 0 0 0
S 0.042 0.125 0.042 0.063
primary-tumor lung 42.1829 57.8171 0.762 0.557 0.762 0.643 head and neck 0.8 0.8 0.8 0.8 esophagus 0 0 0 0 thyroid 0.214 0.3 0.214 0.25 stomach 0.256 0.256 0.256 0.256 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0.167 0.5 0.167 0.25 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.25 0.219 0.25 0.233 gallbladder 0.25 0.235 0.25 0.242 liver 0 0 0 0 kidney 0.083 0.1 0.083 0.091 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 0.333 0.3 0.316 ovary 0.586 0.531 0.586 0.557 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.667 0.889 0.667 0.762
http://www.ssru.ac.th
44
ตารางท 4.16 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Bagging ดวยอลกอรทม
Support Vector Machine
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 68.5315 31.4685 0.861 0.736 0.861 0.794
recurrence-events 0.271 0.451 0.271 0.338
breast-w benign 96.7096 3.2904 0.972 0.978 0.972 0.975
malignant 0.959 0.947 0.959 0.953
diabetes tested_negative 77.474 22.526 0.904 0.783 0.904 0.839
tested_positive 0.534 0.749 0.534 0.623
heart-c <50 85.1485 14.8515 0.885 0.849 0.885 0.866
>50 0.812 0.855 0.812 0.833
heart-statlog absent 84.4444 15.5556 0.88 0.846 0.88 0.863
present 0.8 0.842 0.8 0.821
hepatitis DIE 85.8065 14.1935 0.656 0.656 0.656 0.656
LIVE 0.911 0.911 0.911 0.911
hypothyroid negative 93.5843 6.4157 0.999 0.936 0.999 0.967 compensated_hypothyroid 0 0 0 0 primary_hypothyroid 0.537 0.944 0.537 0.685
secondary_hypothyroid 0 0 0 0
leukemia ALL 97.2222 2.7778 1 0.959 1 0.979
AML 0.92 1 0.92 0.958
liver-disorders class 1 57.971 42.029 0.014 0.5 0.014 0.027
class 2 0.99 0.581 0.99 0.732
lung-cancer class 1 50 50 0.556 0.556 0.556 0.556 class 2 0.385 0.385 0.385 0.385
class 3 0.6 0.6 0.6 0.6
lymphography normal 85.8108 14.1892 0.5 1 0.5 0.667 metastases 0.914 0.841 0.914 0.876 malign_lymph 0.803 0.875 0.803 0.838
fibrosis 0.75 1 0.75 0.857 postoperative-patient A 68.8889 31.1111 0.969 0.705 0.969 0.816 I 0 0 0 0
S 0 0 0 0
primary-tumor lung 48.6726 51.3274 0.786 0.611 0.786 0.688 head and neck 0.95 0.792 0.95 0.864 esophagus 0 0 0 0 thyroid 0.357 0.5 0.357 0.417 stomach 0.231 0.225 0.231 0.228 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.179 0.167 0.179 0.172 gallbladder 0.5 0.276 0.5 0.356 liver 0 0 0 0 kidney 0.333 0.296 0.333 0.314 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 1 0.3 0.462 ovary 0.793 0.561 0.793 0.657 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.792 0.864 0.792 0.446
http://www.ssru.ac.th
45
ตารางท 4.17 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Bagging ดวยอลกอรทม
K-Nearest Neighbor
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 74.8252 25.1748 0.965 0.749 0.965 0.843
recurrence-events 0.235 0.741 0.235 0.357
breast-w benign 96.8526 3.1474 0.969 0.982 0.969 0.976
malignant 0.967 0.943 0.967 0.955
diabetes tested_negative 72.7865 27.2135 0.83 0.77 0.83 0.799
tested_positive 0.537 0.629 0.537 0.579
heart-c <50 83.4983 16.5017 0.842 0.853 0.842 0.848
>50 0.826 0.814 0.826 0.82
heart-statlog absent 77.7778 22.2222 0.8 0.8 0.8 0.8
present 0.75 0.75 0.75 0.75
hepatitis DIE 83.2258 16.7742 0.469 0.625 0.469 0.536
LIVE 0.927 0.87 0.927 0.898
hypothyroid negative 93.5313 6.4687 0.997 0.938 0.997 0.967 compensated_hypothyroid 0.046 0.45 0.046 0.084 primary_hypothyroid 0.046 0.923 0.505 0.653
secondary_hypothyroid 0 0 0 0
leukemia ALL 81.9444 18.0556 0.957 0.804 0.957 0.874
AML 0.56 0.875 0.56 0.683
liver-disorders class 1 61.7391 38.2609 0.483 0.551 0.483 0.515
class 2 0.715 0.656 0.715 0.684
lung-cancer class 1 53.125 46.875 0.556 0.556 0.556 0.556 class 2 0.462 0.429 0.462 0.444
class 3 0.6 0.667 0.6 0.632
lymphography normal 84.4595 15.5405 0 0 0 0 metastases 0.938 0.826 0.938 0.879 malign_lymph 0.787 0.873 0.787 0.828
fibrosis 0.25 1 0.25 0.4 postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0
S 0 0 0 0
primary-tumor lung 46.0177 53.9823 0.69 0.707 0.69 0.699 head and neck 0.95 0.679 0.95 0.792 esophagus 0 0 0 0 thyroid 0.357 0.357 0.357 0.357 stomach 0.103 0.235 0.103 0.143 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.179 0.139 0.179 0.156 gallbladder 0.625 0.303 0.625 0.408 liver 0 0 0 0 kidney 0.292 0.368 0.292 0.326 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.4 0.25 0.4 0.308 ovary 0.862 0.397 0.862 0.543 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.792 0.76 0.792 0.776
http://www.ssru.ac.th
46
ตารางท 4.18 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Bagging ดวยอลกอรทม
Decision Tree
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 73.4266 26.5734 0.925 0.753 0.925 0.83
recurrence-events 0.282 0.615 0.282 0.387
breast-w benign 95.8512 4.1488 0.961 0.976 0.961 0.968
malignant 0.954 0.927 0.954 0.941
diabetes tested_negative 74.0885 25.9115 0.812 0.795 0.812 0.803
tested_positive 0.608 0.634 0.608 0.621
heart-c <50 79.2079 20.7921 0.824 0.8 0.824 0.812
>50 0.754 0.782 0.754 0.768
heart-statlog absent 80 20 0.82 0.82 0.82 0.82
present 0.775 0.775 0.775 0.775
hepatitis DIE 83.2258 16.7742 0.438 0.636 0.438 0.519
LIVE 0.935 0.865 0.935 0.898
hypothyroid negative 99.5758 0.4242 0.998 0.999 0.998 0.999 compensated_hypothyroid 0.99 0.965 0.99 0.977 primary_hypothyroid 0.958 0.929 0.958 0.943
secondary_hypothyroid 0 0 0 0
leukemia ALL 94.4444 5.5556 0.936 0.978 0.936 0.957
AML 0.96 0.889 0.96 0.923
liver-disorders class 1 72.7536 27.2464 0.628 0.695 0.628 0.659
class 2 0.8 0.748 0.8 0.773
lung-cancer class 1 46.875 53.125 0.556 0.5 0.556 0.526 class 2 0.308 0.364 0.308 0.333
class 3 0.6 0.545 0.6 0.571
lymphography normal 79.0541 20.9459 0 0 0 0 metastases 0.864 0.805 0.864 0.833 malign_lymph 0.721 0.772 0.721 0.746
fibrosis 0.75 0.75 0.75 0.75 postoperative-patient A 70 30 0.984 0.708 0.984 0.824 I 0 0 0 0
S 0 0 0 0
primary-tumor lung 42.1829 57.8171 0.655 0.509 0.655 0.573 head and neck 0.9 0.692 0.9 0.783 esophagus 0 0 0 0 thyroid 0.286 0.308 0.286 0.296 stomach 0.026 0.059 0.026 0.036 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.321 0.29 0.321 0.305 gallbladder 0.5 0.4 0.5 0.444 liver 0 0 0 0 kidney 0.208 0.208 0.208 0.208 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.333 0.2 0.25 ovary 0.759 0.512 0.759 0.611 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.792 0.792 0.792 0.792
http://www.ssru.ac.th
47
ตารางท 4.19 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Bagging ดวยอลกอรทม
Ripper
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 73.7762 26.2238 0.92 0.758 0.92 0.831
recurrence-events 0.306 0.619 0.306 0.409
breast-w benign 95.7082 4.2918 0.963 0.971 0.963 0.967
malignant 0.946 0.931 0.946 0.938
diabetes tested_negative 75.5208 24.4792 0.87 0.78 0.87 0.822
tested_positive 0.541 0.69 0.541 0.607
heart-c <50 82.1782 17.8218 0.867 0.817 0.867 0.841
>50 0.768 0.828 0.768 0.797
heart-statlog absent 84.0741 15.9259 0.893 0.832 0.893 0.862
present 0.775 0.853 0.775 0.812
hepatitis DIE 80.6452 19.3548 0.344 0.55 0.344 0.423
LIVE 0.927 0.844 0.927 0.884
hypothyroid negative 99.4963 0.5037 0.998 0.998 0.998 0.998 compensated_hypothyroid 0.985 0.97 0.985 0.977 primary_hypothyroid 0.926 0.946 0.926 0.936
secondary_hypothyroid 0 0 0 0
leukemia ALL 87.5 12.5 0.915 0.896 0.915 0.905
AML 0.8 0.833 0.8 0.816
liver-disorders class 1 72.4638 27.5362 0.579 0.712 0.579 0.639
class 2 0.83 0.731 0.83 0.778
lung-cancer class 1 50 50 0.667 0.6 0.667 0.632 class 2 0.538 0.438 0.538 0.483
class 3 0.3 0.5 0.3 0.375
lymphography normal 81.0811 18.9189 0 0 0 0 metastases 0.877 0.826 0.877 0.85 malign_lymph 0.754 0.793 0.754 0.773
fibrosis 0.75 0.75 0.75 0.75 postoperative-patient A 68.8889 31.1111 0.969 0.705 0.969 0.816 I 0 0 0 0
S 0 0 0 0
primary-tumor lung 41.0029 58.9971 0.81 0.395 0.81 0.531 head and neck 0.85 0.607 0.85 0.708 esophagus 0.111 0.333 0.111 0.167 thyroid 0.071 0.167 0.071 0.1 stomach 0.077 0.214 0.077 0.113 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.107 0.2 0.107 0.14 gallbladder 0.125 0.2 0.125 0.154 liver 0 0 0 0 kidney 0.25 0.4 0.25 0.308 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.286 0.2 0.235 ovary 0.621 0.486 0.621 0.545 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.75 0.667 0.75 0.706
http://www.ssru.ac.th
48
ตารางท 4.20 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน TP Rate
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.846 0.846 0.881 0.861 0.965 0.925 0.92
recurrence-events 0.424 0.4 0.365 0.271 0.235 0.282 0.306
breast-w benign 0.952 0.967 0.952 0.972 0.969 0.961 0.963
malignant 0.975 0.946 0.975 0.959 0.967 0.954 0.946
diabetes tested_negative 0.844 0.842 0.868 0.904 0.83 0.812 0.87
tested_positive 0.604 0.582 0.549 0.534 0.537 0.608 0.541
heart-c <50 0.873 0.836 0.891 0.885 0.842 0.824 0.867
>50 0.797 0.79 0.797 0.812 0.826 0.754 0.768
heart-statlog absent 0.86 0.82 0.867 0.88 0.8 0.82 0.893
present 0.792 0.808 0.808 0.8 0.75 0.775 0.775
hepatitis DIE 0.688 0.406 0.625 0.656 0.469 0.438 0.344
LIVE 0.894 0.919 0.935 0.911 0.927 0.935 0.927
hypothyroid negative 0.993 0.998 0.993 0.999 0.997 0.998 0.998 compensated 0.345 0.186 0.356 0 0.046 0.99 0.985 primary 0.821 0.768 0.832 0.537 0.046 0.958 0.926
secondary 0 0 0 0 0 0 0
leukemia ALL 1 1 1 1 0.957 0.936 0.915
AML 0.92 0.92 0.92 0.92 0.56 0.96 0.8
liver-disorders class 1 0.766 0.559 0.49 0.014 0.483 0.628 0.579
class 2 0.43 0.795 0.79 0.99 0.715 0.8 0.83
lung-cancer class 1 0.444 0.667 0.333 0.556 0.556 0.556 0.667 class 2 0.538 0.385 0.385 0.385 0.462 0.308 0.538
class 3 0.6 0.6 0.8 0.6 0.6 0.6 0.3
lymphography normal 0.5 0 0 0.5 0 0 0 metastases 0.901 0.889 0.877 0.914 0.938 0.864 0.877 malign_lymph 0.754 0.82 0.787 0.803 0.787 0.721 0.754
fibrosis 0.75 0.5 0.75 0.75 0.25 0.75 0.75 postoperative-patient A 0.969 0.766 0.875 0.969 1 0.984 0.969 I 0 0 0 0 0 0 0
S 0 0.042 0.042 0 0 0 0
primary-tumor lung 0.702 0.762 0.762 0.786 0.69 0.655 0.81 head and neck 0.95 0.95 0.8 0.95 0.95 0.9 0.85 esophagus 0 0 0 0 0 0 0.111 thyroid 0.143 0.357 0.214 0.357 0.357 0.286 0.071 stomach 0.231 0.179 0.256 0.231 0.103 0.026 0.077 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0 0 0 0 0 rectum 0.167 0.333 0.167 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.321 0.214 0.25 0.179 0.179 0.321 0.107 gallbladder 0.688 0.313 0.25 0.5 0.625 0.5 0.125 liver 0 0 0 0 0 0 0 kidney 0.458 0.208 0.083 0.333 0.292 0.208 0.25 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.3 0.2 0.3 0.3 0.4 0.2 0.2 ovary 0.862 0.621 0.586 0.793 0.862 0.759 0.621 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.792 0.833 0.667 0.792 0.792 0.792 0.75
http://www.ssru.ac.th
49
ตารางท 4.21 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน Precision
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.776 0.769 0.766 0.736 0.749 0.753 0.758
recurrence-events 0.537 0.523 0.564 0.451 0.741 0.615 0.619
breast-w benign 0.952 0.971 0.986 0.978 0.982 0.976 0.971
malignant 0.975 0.938 0.914 0.947 0.943 0.927 0.931
diabetes tested_negative 0.799 0.79 0.782 0.783 0.77 0.795 0.78
tested_positive 0.675 0.664 0.69 0.749 0.629 0.634 0.69
heart-c <50 0.837 0.826 0.84 0.849 0.853 0.8 0.817
>50 0.84 0.801 0.859 0.855 0.814 0.782 0.828
heart-statlog absent 0.838 0.842 0.85 0.846 0.8 0.82 0.832
present 0.819 0.782 0.829 0.842 0.75 0.775 0.853
hepatitis DIE 0.629 0.565 0.714 0.656 0.625 0.636 0.55
LIVE 0.917 0.856 0.906 0.911 0.87 0.865 0.844
hypothyroid negative 0.962 0.952 0.963 0.936 0.938 0.999 0.998 compensated 0.736 0.837 0.75 0 0.45 0.965 0.97 primary 0.876 0.924 0.859 0.944 0.923 0.929 0.946
secondary 0 0 0 0 0 0 0
leukemia ALL 0.959 0.959 0.959 0.959 0.804 0.978 0.896
AML 1 1 1 1 0.875 0.889 0.833
liver-disorders class 1 0.493 0.664 0.628 0.5 0.551 0.695 0.712
class 2 0.717 0.713 0.681 0.581 0.656 0.748 0.731
lung-cancer class 1 0.571 0.6 0.5 0.556 0.556 0.5 0.6 class 2 0.438 0.417 0.455 0.385 0.429 0.364 0.438
class 3 0.667 0.6 0.533 0.6 0.667 0.545 0.5
lymphography normal 0.5 0 0 1 0 0 0 metastases 0.82 0.837 0.835 0.841 0.826 0.805 0.826 malign_lymph 0.852 0.833 0.814 0.875 0.873 0.772 0.793
fibrosis 1 1 0.75 1 1 0.75 0.75 postoperative-patient A 1 0.662 0.7 0.705 0.711 0.708 0.705 I 0 0 0 0 0 0 0
S 0 0.063 0.125 0 0 0 0
primary-tumor lung 0.678 0.64 0.557 0.611 0.707 0.509 0.395 head and neck 0.731 0.731 0.8 0.792 0.679 0.692 0.607 esophagus 0 0 0 0 0 0 0.333 thyroid 0.4 0.455 0.3 0.5 0.357 0.308 0.167 stomach 0.3 0.212 0.256 0.225 0.235 0.059 0.214 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0 0 0 0 0 rectum 1 0.5 0.5 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.243 0.2 0.219 0.167 0.139 0.29 0.2 gallbladder 0.314 0.217 0.235 0.276 0.303 0.4 0.2 liver 0 0 0 0 0 0 0 kidney 0.289 0.217 0.1 0.296 0.368 0.208 0.4 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.6 0.25 0.333 1 0.25 0.333 0.286 ovary 0.568 0.545 0.531 0.561 0.397 0.512 0.486 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.792 0.69 0.889 0.864 0.76 0.792 0.667
http://www.ssru.ac.th
50
ตารางท 4.22 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน Recall
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.846 0.846 0.881 0.861 0.965 0.925 0.92
recurrence-events 0.424 0.4 0.365 0.271 0.235 0.282 0.306
breast-w benign 0.952 0.967 0.952 0.972 0.969 0.961 0.963
malignant 0.975 0.946 0.975 0.959 0.967 0.954 0.946
diabetes tested_negative 0.844 0.842 0.868 0.904 0.83 0.812 0.87
tested_positive 0.604 0.582 0.549 0.534 0.537 0.608 0.541
heart-c <50 0.873 0.836 0.891 0.885 0.842 0.824 0.867
>50 0.797 0.79 0.797 0.812 0.826 0.754 0.768
heart-statlog absent 0.86 0.82 0.867 0.88 0.8 0.82 0.893
present 0.792 0.808 0.808 0.8 0.75 0.775 0.775
hepatitis DIE 0.688 0.406 0.625 0.656 0.469 0.438 0.344
LIVE 0.894 0.919 0.935 0.911 0.927 0.935 0.927
hypothyroid negative 0.993 0.998 0.993 0.999 0.997 0.998 0.998 compensated 0.345 0.186 0.356 0 0.046 0.99 0.985 primary 0.821 0.768 0.832 0.537 0.505 0.958 0.926
secondary 0 0 0 0 0 0 0
leukemia ALL 1 1 1 1 0.957 0.936 0.915
AML 0.92 0.92 0.92 0.92 0.56 0.96 0.8
liver-disorders class 1 0.766 0.559 0.49 0.014 0.483 0.628 0.579
class 2 0.43 0.795 0.79 0.99 0.715 0.8 0.83
lung-cancer class 1 0.444 0.667 0.333 0.556 0.556 0.556 0.667 class 2 0.538 0.385 0.385 0.385 0.462 0.308 0.538
class 3 0.6 0.6 0.8 0.6 0.6 0.6 0.3
lymphography normal 0.5 0 0 0.5 0 0 0 metastases 0.901 0.889 0.877 0.914 0.938 0.864 0.877 malign_lymph 0.754 0.82 0.787 0.803 0.787 0.721 0.754
fibrosis 0.75 0.5 0.75 0.75 0.25 0.75 0.75 postoperative-patient A 0.705 0.766 0.875 0.969 1 0.984 0.969 I 0 0 0 0 0 0 0
S 0 0.042 0.042 0 0 0 0
primary-tumor lung 0.702 0.762 0.762 0.786 0.69 0.655 0.81 head and neck 0.95 0.95 0.8 0.95 0.95 0.9 0.85 esophagus 0 0 0 0 0 0 0.111 thyroid 0.143 0.357 0.214 0.357 0.357 0.286 0.071 stomach 0.231 0.179 0.256 0.231 0.103 0.026 0.077 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0 0 0 0 0 rectum 0.167 0.333 0.167 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.321 0.214 0.25 0.179 0.179 0.321 0.107 gallbladder 0.688 0.313 0.25 0.5 0.625 0.5 0.125 liver 0 0 0 0 0 0 0 kidney 0.458 0.208 0.083 0.333 0.292 0.208 0.25 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.3 0.2 0.3 0.3 0.4 0.2 0.2 ovary 0.862 0.621 0.586 0.793 0.862 0.759 0.621 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.792 0.833 0.667 0.792 0.792 0.792 0.75
http://www.ssru.ac.th
51
ตารางท 4.23 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน F-Measure
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.81 0.806 0.819 0.794 0.843 0.83 0.831
recurrence-events 0.474 0.453 0.443 0.338 0.357 0.387 0.409
breast-w benign 0.969 0.969 0.969 0.975 0.976 0.968 0.967
malignant 0.944 0.942 0.944 0.953 0.955 0.941 0.938
diabetes tested_negative 0.821 0.815 0.823 0.839 0.799 0.803 0.822
tested_positive 0.638 0.62 0.611 0.623 0.579 0.621 0.607
heart-c <50 0.855 0.831 0.865 0.866 0.848 0.812 0.841
>50 0.818 0.796 0.827 0.833 0.82 0.768 0.797
heart-statlog absent 0.849 0.831 0.858 0.863 0.8 0.82 0.862
present 0.805 0.795 0.819 0.821 0.75 0.775 0.812
hepatitis DIE 0.657 0.473 0.667 0.656 0.536 0.519 0.423
LIVE 0.905 0.886 0.92 0.911 0.898 0.898 0.884
hypothyroid negative 0.977 0.975 0.978 0.967 0.967 0.999 0.998 compensated 0.47 0.304 0.483 0 0.084 0.977 0.977 primary 0.848 0.839 0.845 0.685 0.653 0.943 0.936
secondary 0 0 0 0 0 0 0
leukemia ALL 0.979 0.979 0.979 0.979 0.874 0.957 0.905
AML 0.958 0.958 0.958 0.958 0.683 0.923 0.816
liver-disorders class 1 0.6 0.607 0.55 0.027 0.515 0.659 0.639
class 2 0.538 0.752 0.731 0.732 0.684 0.773 0.778
lung-cancer class 1 0.5 0.632 0.4 0.556 0.556 0.526 0.632 class 2 0.483 0.4 0.417 0.385 0.444 0.333 0.483
class 3 0.632 0.6 0.64 0.6 0.632 0.571 0.375
lymphography normal 0.5 0 0 0.667 0 0 0 metastases 0.859 0.862 0.855 0.876 0.879 0.833 0.85 malign_lymph 0.8 0.826 0.8 0.838 0.828 0.746 0.773
fibrosis 0.857 0.667 0.75 0.857 0.4 0.75 0.75 postoperative-patient A 0.816 0.71 0.778 0.816 0.831 0.824 0.816 I 0 0 0 0 0 0 0
S 0 0.05 0.063 0 0 0 0
primary-tumor lung 0.69 0.696 0.643 0.688 0.699 0.573 0.531 head and neck 0.826 0.826 0.8 0.864 0.792 0.783 0.708 esophagus 0 0 0 0 0 0 0.167 thyroid 0.211 0.4 0.25 0.417 0.357 0.296 0.1 stomach 0.261 0.194 0.256 0.228 0.143 0.036 0.113 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0 0 0 0 0 rectum 0.286 0.4 0.25 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.277 0.207 0.233 0.172 0.156 0.305 0.14 gallbladder 0.431 0.256 0.242 0.356 0.408 0.444 0.154 liver 0 0 0 0 0 0 0 kidney 0.355 0.213 0.091 0.314 0.326 0.208 0.308 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.4 0.222 0.316 0.462 0.308 0.25 0.235 ovary 0.685 0.581 0.557 0.657 0.543 0.611 0.545 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.792 0.755 0.762 0.446 0.776 0.792 0.706
http://www.ssru.ac.th
52
656667686970717273747576
Accuracy
breast‐cancer
9595.295.495.695.896
96.296.496.696.897
Accuracy
breast‐w
70
71
72
73
74
75
76
77
78
Accuracy
diabetes
7677787980818283848586
Accuracy
heart‐c
74
76
78
80
82
84
86
Accuracy
heart‐statlog
76
78
80
82
84
86
88
Accuracy
hepatitis
ตารางท 4.24 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน Accuracy
Dataset NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer 72.028 71.3287 72.7273 68.5315 74.8252 73.4266 73.7762
breast-w 95.9943 95.9943 95.9943 96.7096 96.8526 95.8512 95.7082
diabetes 76.0417 75.1302 75.651 77.474 72.7865 74.0885 75.5208
heart-c 83.8284 81.5182 84.8185 85.1485 83.4983 79.2079 82.1782
heart-statlog 82.963 81.4815 84.0741 84.4444 77.7778 80 84.0741
hepatitis 85.1613 81.2903 87.0968 85.8065 83.2258 83.2258 80.6452
hypothyroid 95.4666 95.0159 95.5461 93.5843 93.5313 99.5758 99.4963
leukemia 97.2222 96.2222 97.2222 97.2222 81.9444 94.4444 87.5
liver-disorders 57.1014 69.5652 66.3768 57.971 61.7391 72.7536 72.4638
lung-cancer 53.125 53.125 50 50 53.125 46.875 50
lymphography 83.1081 83.7838 82.4324 85.8108 84.4595 79.0541 81.0811
postoperative-patient 68.8889 55.5556 63.3333 68.8889 71.1111 70 68.8889
primary-tumor 49.5575 45.1327 42.1829 48.6726 46.0177 42.1829 41.0029
http://www.ssru.ac.th
53
90919293949596979899
100
Accuracy
hypothyroid
70
75
80
85
90
95
100
Accuracy
leukemia
0
10
20
30
40
50
60
70
80
Accuracy
liver‐disorders
434445464748495051525354
Accuracy
lung‐cancer
74
76
78
80
82
84
86
88
Accuracy
lymphography
0
10
20
30
40
50
60
70
80
Accuracy
postoperative‐patient
0
10
20
30
40
50
60
Accuracy
primary‐tumor
http://www.ssru.ac.th
54
ผลการทดลองจากตารางท 4.24 เมอเรยนรกลมตวอยางโดยไมลดคณลกษณะ ดวยวธ
Bagging ตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ ซงประกอบดวยอลกอรทม Naïve
Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector Machine, K-
Nearest Neighbor, Decision Tree และ Ripper โดยวดประสทธภาพจากคาความความถกตอง
(Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม K-Nearest Neighbor ให
ประสทธภาพออกมาดทสดคอ 74.82% กลมขอมล breast-w อลกอรทม K-Nearest Neighbor
ใหประสทธภาพออกมาดทสดคอ 96.85% กลมขอมล diabetes อลกอรทม Support Vector
Machine ใหประสทธภาพออกมาดทสดคอ 77.47% กลมขอมล heart-c อลกอรทม Support
Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.14% กลมขอมล heart-statlog อลกอรทม
Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.44% กลมขอมล hepatitis
อลกอรทม Radial Basis Function ใหประสทธภาพออกมาดทสดคอ 87.09% กลมขอมล
hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.57% กลมขอมล
leukemia อลกอรทม Naive Bayes, Radial Basis Function กบ Support Vector Machine ให
ประสทธภาพออกมาดทสดคอ 97.22% กลมขอมล liver-disorders อลกอรทม Decision Tree ให
ประสทธภาพออกมาดทสดคอ 72.75% กลมขอมล lung-cancer อลกอรทม Naive
Bayes,Multilayer Perceptron กบ K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ
53.12% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพ
ออกมาดทสดคอ 85.81% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor
ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naive Bayes
ใหประสทธภาพออกมาดทสดคอ 49.55%
http://www.ssru.ac.th
55
4.3 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอเรยนรดวยวธ
Boosting
ตารางท 4.25 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Boosting ดวยอลกอรทม
NaiveBayes
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 64.6853 35.3147 0.791 0.729 0.791 0.759
recurrence-events 0.306 0.382 0.306 0.34
breast-w benign 95.5651 4.4349 0.967 0.965 0.967 0.966
malignant 0.934 0.938 0.934 0.936
diabetes tested_negative 76.1719 23.8281 0.846 0.8 0.846 0.822
tested_positive 0.604 0.678 0.604 0.639
heart-c <50 84.1584 15.8416 0.879 0.838 0.879 0.858
>50 0.797 0.846 0.797 0.821
heart-statlog absent 82.5926 17.4074 0.86 0.832 0.86 0.846
present 0.783 0.817 0.783 0.8
hepatitis DIE 85.8065 14.1935 0.563 0.692 0.563 0.621
LIVE 0.935 0.891 0.935 0.913
hypothyroid negative 95.281 4.719 0.993 0.961 0.993 0.977 compensated_hypothyroid 0.32 0.721 0.32 0.443 primary_hypothyroid 0.8 0.847 0.8 0.835
secondary_hypothyroid 0 0 0 0
leukemia ALL 98.6111 1.3889 1 0.979 1 0.989
AML 0.96 1 0.96 0.98
liver-disorders class 1 67.2464 32.7536 0.538 0.629 0.538 0.58
class 2 0.77 0.697 0.77 0.732
lung-cancer class 1 40.625 59.375 0.111 0.2 0.111 0.143 class 2 0.538 0.35 0.538 0.424
class 3 0.5 0.714 0.5 0.588
lymphography normal 80.4054 19.5946 0 0 0 0 metastases 0.815 0.846 0.815 0.83 malign_lymph 0.82 0.769 0.82 0.794
fibrosis 0.75 0.75 0.75 0.75
postoperative A 63.3333 36.6667 0.891 0.695 0.891 0.781 -patient I 0 0 0 0
S 0 0 0 0
primary-tumor lung 50.1475 49.8525 0.714 0.682 0.714 0.698 head and neck 0.95 0.731 0.95 0.826 esophagus 0 0 0 0 thyroid 0.214 0.273 0.214 0.24 stomach 0.282 0.355 0.282 0.314 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0.167 1 0.167 0.286 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.321 0.237 0.321 0.273 gallbladder 0.688 0.333 0.688 0.449 liver 0 0 0 0 kidney 0.417 0.303 0.417 0.351 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.667 0.2 0.308 ovary 0.862 0.568 0.862 0.685 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.792 0.792 0.792 0.792
http://www.ssru.ac.th
56
ตารางท 4.26 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Boosting ดวยอลกอรทม
MultilayerPerceptron
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 66.4336 33.5664 0.791 0.746 0.791 0.768
recurrence-events 0.365 0.425 0.365 0.392
breast-w benign 95.5651 4.4349 0.969 0.963 0.969 0.966
malignant 0.929 0.941 0.929 0.935
diabetes tested_negative 75.3906 24.6094 0.8 0.818 0.8 0.809
tested_positive 0.668 0.642 0.668 0.654
heart-c <50 78.2178 21.7822 0.818 0.789 0.818 0.804
>50 0.739 0.773 0.739 0.756
heart-statlog absent 78.8889 21.1111 0.787 0.825 0.787 0.805
present 0.792 0.748 0.792 0.769
hepatitis DIE 76.129 23.871 0.438 0.424 0.438 0.431
LIVE 0.846 0.852 0.846 0.849
hypothyroid negative 93.8494 6.1506 0.985 0.954 0.985 0.969 compensated_hypothyroid 0.201 0.402 0.201 0.268 primary_hypothyroid 0.768 0.89 0.768 0.825
secondary_hypothyroid 0 0 0 0
leukemia ALL 97.2222 2.7778 1 0.959 1 0.979
AML 0.92 1 0.92 0.958
liver-disorders class 1 65.5072 34.4928 0.655 0.579 0.655 0.615
class 2 0.655 0.724 0.655 0.688
lung-cancer class 1 40.625 59.375 0.556 0.385 0.556 0.455 class 2 0.231 0.273 0.231 0.25
class 3 0.5 0.625 0.5 0.556
lymphography normal 81.0811 18.9189 0.5 0.5 0.5 0.5 metastases 0.877 0.816 0.887 0.845 malign_lymph 0.77 0.81 0.77 0.79
fibrosis 0.25 1 0.25 0.4 postoperative-patient A 56.6667 43.3333 0.672 0.717 0.672 0.694 I 0 0 0 0
S 0.333 0.267 0.333 0.296
primary-tumor lung 46.6077 53.3923 0.762 0.667 0.762 0.711 head and neck 0.95 0.792 0.95 0.864 esophagus 0 0 0 0 thyroid 0.143 0.182 0.143 0.16 stomach 0.333 0.325 0.333 0.329 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0.333 0.667 0.333 0.444 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.393 0.289 0.393 0.333 gallbladder 0.25 0.2 0.25 0.222 liver 0 0 0 0 kidney 0.25 0.25 0.25 0.25 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 0.333 0.3 0.316 ovary 0.483 0.538 0.483 0.509 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.833 0.833 0.833 0.833
http://www.ssru.ac.th
57
ตารางท 4.27 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Boosting ดวยอลกอรทม
Radial Basis Function
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 68.8811 31.1189 0.811 0.762 0.811 0.786
recurrence-events 0.4 0.472 0.4 0.433
breast-w benign 95.422 4.578 0.961 0.969 0.961 0.965
malignant 0.942 0.927 0.942 0.934
diabetes tested_negative 75 25 0.848 0.785 0.848 0.815
tested_positive 0.567 0.667 0.567 0.613
heart-c <50 84.1584 15.8416 0.873 0.842 0.873 0.857
>50 0.804 0.841 0.804 0.822
heart-statlog absent 78.5185 21.4815 0.807 0.807 0.807 0.807
present 0.758 0.758 0.758 0.758
hepatitis DIE 83.871 16.129 0.594 0.613 0.594 0.603
LIVE 0.902 0.895 0.902 0.899
hypothyroid negative 95.8643 4.1357 0.988 0.971 0.988 0.979 compensated_hypothyroid 0.51 0.717 0.51 0.596 primary_hypothyroid 0.832 0.849 0.832 0.84
secondary_hypothyroid 0 0 0 0
leukemia ALL 93.0556 6.9444 0.957 0.938 0.957 0.947
AML 0.88 0.917 0.88 0.898
liver-disorders class 1 65.7971 34.2029 0.538 0.605 0.538 0.569
class 2 0.745 0.69 0.745 0.716
lung-cancer class 1 46.875 53.125 0.444 0.5 0.444 0.471 class 2 0.385 0.417 0.385 0.4
class 3 0.6 0.5 0.6 0.545
lymphography normal 83.7838 16.2162 0 0 0 0 metastases 0.877 0.855 0.877 0.866 malign_lymph 0.82 0.833 0.82 0.826
fibrosis 0.75 0.75 0.75 0.75 postoperative-patient A 64.4444 35.5556 0.859 0.733 0.859 0.791 I 0 0 0 0
S 0.125 0.231 0.125 0.162
primary-tumor lung 39.528 60.472 0.69 0.617 0.69 0.652 head and neck 0.85 0.81 0.85 0.829 esophagus 0.111 0.2 0.111 0.143 thyroid 0.286 0.364 0.286 0.32 stomach 0.179 0.163 0.179 0.171 duoden and sm.int 0 0 0 0 colon 0.071 0.056 0.071 0.063 rectum 0.167 0.25 0.167 0.2 anus 0 0 0 0 salivary glands 0.5 1 0.5 0.667 pancreas 0.214 0.167 0.214 0.188 gallbladder 0.063 0.083 0.063 0.071 liver 0 0 0 0 kidney 0.208 0.238 0.208 0.222 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 0.3 0.3 0.3 ovary 0.483 0.483 0.483 0.483 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.625 0.833 0.625 0.714
http://www.ssru.ac.th
58
ตารางท 4.28 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Boosting ดวยอลกอรทม
Support Vector Machine
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 69.5804 30.4196 0.856 0.748 0.856 0.798
recurrence-events 0.318 0.482 0.318 0.383
breast-w benign 96.7096 3.2904 0.974 0.976 0.974 0.975
malignant 0.954 0.95 0.954 0.952
diabetes tested_negative 77.3438 22.6563 0.898 0.785 0.898 0.838
tested_positive 0.541 0.74 0.541 0.625
heart-c <50 84.8185 15.1815 0.903 0.832 0.903 0.866
>50 0.783 0.871 0.783 0.824
heart-statlog absent 84.0741 15.9259 0.873 0.845 0.873 0.859
present 0.8 0.835 0.8 0.817
hepatitis DIE 81.2903 18.7097 0.438 0.56 0.438 0.491
LIVE 0.911 0.862 0.911 0.885
hypothyroid negative 94.9894 5.0106 0.996 0.953 0.996 0.974 compensated_hypothyroid 0.201 0.867 0.201 0.326 primary_hypothyroid 0.8 0.864 0.8 0.831
secondary_hypothyroid 0 0 0 0
leukemia ALL 98.6111 1.3889 1 0.979 1 0.989
AML 0.96 1 0.96 0.98
liver-disorders class 1 62.029 37.971 0.566 0.547 0.566 0.556
class 2 0.66 0.677 0.66 0.668
lung-cancer class 1 50 50 0.667 0.545 0.667 0.6 class 2 0.308 0.364 0.308 0.333
class 3 0.6 0.6 0.6 0.6
lymphography normal 83.7838 16.2162 0.5 1 0.5 0.667 metastases 0.889 0.828 0.889 0.857 malign_lymph 0.803 0.845 0.803 0.824
fibrosis 0.5 1 0.5 0.667 postoperative-patient A 64.4444 35.5556 0.906 0.69 0.906 0.784 I 0 0 0 0
S 0 0 0 0
primary-tumor lung 46.9027 53.0973 0.833 0.609 0.833 0.704 head and neck 0.95 0.76 0.95 0.844 esophagus 0 0 0 0 thyroid 0.286 0.4 0.286 0.333 stomach 0.231 0.2 0.231 0.214 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.107 0.111 0.107 0.109 gallbladder 0.5 0.286 0.5 0.36 liver 0 0 0 0 kidney 0.292 0.292 0.292 0.292 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.667 0.2 0.308 ovary 0.69 0.571 0.69 0.625 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.708 0.85 0.708 0.773
http://www.ssru.ac.th
59
ตารางท 4.29 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Boosting ดวยอลกอรทม
K-Nearest Neighbor
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 73.4266 26.5734 0.96 0.739 0.96 0.835
recurrence-events 0.2 0.68 0.2 0.309
breast-w benign 96.7096 3.2904 0.969 0.98 0.969 0.975
malignant 0.963 0.943 0.963 0.953
diabetes tested_negative 73.1771 26.8229 0.836 0.771 0.836 0.802
tested_positive 0.537 0.637 0.537 0.583
heart-c <50 81.1881 18.8119 0.83 0.825 0.83 0.828
>50 0.79 0.796 0.79 0.793
heart-statlog absent 74.4444 25.5556 0.767 0.772 0.767 0.769
present 0.717 0.711 0.717 0.714
hepatitis DIE 85.8065 14.1935 0.5 0.727 0.5 0.593
LIVE 0.951 0.88 0.951 0.914
hypothyroid negative 89.6341 10.3659 0.943 0.949 0.943 0.946 compensated_hypothyroid 0.237 0.189 0.237 0.21 primary_hypothyroid 0.558 0.791 0.558 0.654
secondary_hypothyroid 0 0 0 0
leukemia ALL 84.7222 15.2778 0.872 0.891 0.872 0.882
AML 0.8 0.769 0.8 0.784
liver-disorders class 1 59.1304 40.8696 0.483 0.515 0.483 0.498
class 2 0.67 0.641 0.67 0.655
lung-cancer class 1 40.625 59.375 0.667 0.429 0.667 0.522 class 2 0.154 0.2 0.154 0.174
class 3 0.5 0.625 0.5 0.556
lymphography normal 77.027 22.973 0.5 1 0.5 0.667 metastases 0.778 0.84 0.778 0.808 malign_lymph 0.787 0.696 0.787 0.738
fibrosis 0.5 0.667 0.5 0.571 postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0
S 0 0 0 0
primary-tumor lung 48.0826 51.9174 0.738 0.681 0.738 0.709 head and neck 0.95 0.679 0.95 0.792 esophagus 0 0 0 0 thyroid 0.357 0.333 0.357 0.345 stomach 0.154 0.3 0.154 0.203 duoden and sm.int 0 0 0 0 colon 0.071 0.2 0.071 0.105 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.25 0.189 0.25 0.215 gallbladder 0.625 0.357 0.625 0.455 liver 0 0 0 0 kidney 0.292 0.389 0.292 0.333 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.154 0.2 0.174 ovary 0.862 0.431 0.862 0.575 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.792 0.792 0.792 0.792
http://www.ssru.ac.th
60
ตารางท 4.30 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Boosting ดวยอลกอรทม
Decision Tree
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 64.6853 35.3147 0.771 0.738 0.771 0.754
recurrence-events 0.353 0.395 0.353 0.373
breast-w benign 95.9943 4.0057 0.974 0.965 0.974 0.97
malignant 0.934 0.949 0.934 0.941
diabetes tested_negative 72.9167 27.0833 0.812 0.781 0.812 0.796
tested_positive 0.575 0.621 0.575 0.597
heart-c <50 78.5479 21.4521 0.8 0.805 0.8 0.802
>50 0.768 0.763 0.768 0.765
heart-statlog absent 76.6667 23.3333 0.787 0.792 0.787 0.789
present 0.742 0.736 0.742 0.739
hepatitis DIE 87.0968 12.9032 0.594 0.731 0.594 0.655
LIVE 0.943 0.899 0.943 0.921
hypothyroid negative 99.6288 0.3712 0.997 0.999 0.997 0.998 compensated_hypothyroid 1 0.98 1 0.99 primary_hypothyroid 0.968 0.968 0.968 0.968
secondary_hypothyroid 0 0 0 0
leukemia ALL 87.5 12.5 0.915 0.896 0.915 0.905
AML 0.8 0.833 0.8 0.816
liver-disorders class 1 71.0145 28.9855 0.628 0.664 0.628 0.645
class 2 0.77 0.74 0.77 0.755
lung-cancer class 1 50 50 0.444 0.571 0.444 0.5 class 2 0.385 0.385 0.385 0.385
class 3 0.7 0.583 0.7 0.636
lymphography normal 83.1081 16.8919 0.5 0.5 0.5 0.5 metastases 0.877 0.855 0.877 0.866 malign_lymph 0.787 0.814 0.787 0.8
fibrosis 0.75 0.75 0.75 0.75 postoperative-patient A 60 40 0.828 0.679 0.828 0.746 I 0 0 0 0
S 0.042 0.083 0.042 0.056
primary-tumor lung 41.2979 58.7021 0.655 0.474 0.655 0.55 head and neck 0.9 0.692 0.9 0.783 esophagus 0 0 0 0 thyroid 0.214 0.333 0.214 0.261 stomach 0.077 0.12 0.077 0.094 duoden and sm.int 0 0 0 0 colon 0.071 0.111 0.071 0.087 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.286 0.267 0.286 0.276 gallbladder 0.5 0.308 0.5 0.381 liver 0 0 0 0 kidney 0.25 0.286 0.25 0.267 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.1 0.5 0.1 0.167 ovary 0.69 0.526 0.69 0.597 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.708 0.654 0.708 0.68
http://www.ssru.ac.th
61
ตารางท 4.31 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Boosting ดวยอลกอรทม
Ripper
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
breast-cancer no-recurrence-events 69.9301 30.0699 0.846 0.756 0.846 0.798
recurrence-events 0.353 0.492 0.353 0.411
breast-w benign 95.1359 4.8641 0.959 0.967 0.959 0.963
malignant 0.938 0.922 0.938 0.93
diabetes tested_negative 74.4792 25.5208 0.818 0.796 0.818 0.807
tested_positive 0.608 0.642 0.608 0.625
heart-c <50 76.5677 23.4323 0.83 0.761 0.83 0.794
>50 0.688 0.772 0.688 0.728
heart-statlog absent 80 20 0.84 0.808 0.84 0.824
present 0.75 0.789 0.75 0.769
hepatitis DIE 83.2258 16.7742 0.469 0.625 0.469 0.536
LIVE 0.927 0.87 0.927 0.898
hypothyroid negative 99.2047 0.7953 0.997 0.995 0.997 0.996 compensated_hypothyroid 0.954 0.979 0.954 0.966 primary_hypothyroid 0.905 0.935 0.905 0.92
secondary_hypothyroid 0 0 0 0
leukemia ALL 95.8333 4.1667 0.979 0.958 0.979 0.968
AML 0.92 0.958 0.92 0.939
liver-disorders class 1 73.3333 26.6667 0.676 0.685 0.676 0.681
class 2 0.775 0.767 0.775 0.771
lung-cancer class 1 46.875 53.125 0.556 0.556 0.556 0.556 class 2 0.308 0.364 0.308 0.333
class 3 0.6 0.5 0.6 0.545
lymphography normal 84.4595 15.5405 1 1 1 1 metastases 0.889 0.837 0.889 0.862 malign_lymph 0.787 0.842 0.787 0.814
fibrosis 0.75 1 0.75 0.857 postoperative-patient A 67.7778 32.2222 0.953 0.701 0.953 0.808 I 0 0 0 0
S 0 0 0 0
primary-tumor lung 37.7581 62.2419 0.833 0.327 0.833 0.47 head and neck 0.75 0.625 0.75 0.682 esophagus 0 0 0 0 thyroid 0.071 0.167 0.071 0.1 stomach 0 0 0 0 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.036 0.333 0.036 0.065 gallbladder 0.188 0.25 0.188 0.214 liver 0 0 0 0 kidney 0.208 0.25 0.208 0.227 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.586 0.5 0.586 0.548 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.667 0.762 0.667 0.711
http://www.ssru.ac.th
62
ตารางท 4.32 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน TP Rate
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.791 0.791 0.811 0.856 0.96 0.771 0.846
recurrence-events 0.306 0.365 0.4 0.318 0.2 0.353 0.353
breast-w benign 0.967 0.969 0.961 0.974 0.969 0.974 0.959
malignant 0.934 0.929 0.942 0.954 0.963 0.934 0.938
diabetes tested_negative 0.846 0.8 0.848 0.898 0.836 0.812 0.818
tested_positive 0.604 0.668 0.567 0.541 0.537 0.575 0.608
heart-c <50 0.879 0.818 0.873 0.903 0.83 0.8 0.83
>50 0.797 0.739 0.804 0.783 0.79 0.768 0.688
heart-statlog absent 0.86 0.787 0.807 0.873 0.767 0.787 0.84
present 0.783 0.792 0.758 0.8 0.717 0.742 0.75
hepatitis DIE 0.563 0.438 0.594 0.438 0.5 0.594 0.469
LIVE 0.935 0.846 0.902 0.911 0.951 0.943 0.927
hypothyroid negative 0.993 0.985 0.988 0.996 0.943 0.997 0.997 compensated 0.32 0.201 0.51 0.201 0.237 1 0.954 primary 0.8 0.768 0.832 0.8 0.558 0.968 0.905
secondary 0 0 0 0 0 0 0
leukemia ALL 1 1 0.957 1 0.872 0.915 0.979
AML 0.96 0.92 0.88 0.96 0.8 0.8 0.92
liver-disorders class 1 0.538 0.655 0.538 0.566 0.483 0.628 0.676
class 2 0.77 0.655 0.745 0.66 0.67 0.77 0.775
lung-cancer class 1 0.111 0.556 0.444 0.667 0.667 0.444 0.556 class 2 0.538 0.231 0.385 0.308 0.154 0.385 0.308
class 3 0.5 0.5 0.6 0.6 0.5 0.7 0.6
lymphography normal 0 0.5 0 0.5 0.5 0.5 1 metastases 0.815 0.877 0.877 0.889 0.778 0.877 0.889 malign_lymph 0.82 0.77 0.82 0.803 0.787 0.787 0.787
fibrosis 0.75 0.25 0.75 0.5 0.5 0.75 0.75 postoperative-patient A 0.891 0.672 0.859 0.906 1 0.828 0.953 I 0 0 0 0 0 0 0
S 0 0.333 0.125 0 0 0.042 0
primary-tumor lung 0.714 0.762 0.69 0.833 0.738 0.655 0.833 head and neck 0.95 0.95 0.85 0.95 0.95 0.9 0.75 esophagus 0 0 0.111 0 0 0 0 thyroid 0.214 0.143 0.286 0.286 0.357 0.214 0.071 stomach 0.282 0.333 0.179 0.231 0.154 0.077 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.071 0 0.071 0.071 0 rectum 0.167 0.333 0.167 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0.5 0 0 0 0 pancreas 0.321 0.393 0.214 0.107 0.25 0.286 0.036 gallbladder 0.688 0.25 0.063 0.5 0.625 0.5 0.188 liver 0 0 0 0 0 0 0 kidney 0.417 0.25 0.208 0.292 0.292 0.25 0.208 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.2 0.3 0.3 0.2 0.2 0.1 0 ovary 0.862 0.483 0.483 0.69 0.862 0.69 0.586 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.792 0.833 0.625 0.708 0.792 0.708 0.667
http://www.ssru.ac.th
63
ตารางท 4.33 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน Precision
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.729 0.746 0.762 0.748 0.739 0.738 0.756
recurrence-events 0.382 0.425 0.472 0.482 0.68 0.395 0.492
breast-w benign 0.965 0.963 0.969 0.976 0.98 0.965 0.967
malignant 0.938 0.941 0.927 0.95 0.943 0.949 0.922
diabetes tested_negative 0.8 0.818 0.785 0.785 0.771 0.781 0.796
tested_positive 0.678 0.642 0.667 0.74 0.637 0.621 0.642
heart-c <50 0.838 0.789 0.842 0.832 0.825 0.805 0.761
>50 0.846 0.773 0.841 0.871 0.796 0.763 0.772
heart-statlog absent 0.832 0.825 0.807 0.845 0.772 0.792 0.808
present 0.817 0.748 0.758 0.835 0.711 0.736 0.789
hepatitis DIE 0.692 0.424 0.613 0.56 0.727 0.731 0.625
LIVE 0.891 0.852 0.895 0.862 0.88 0.899 0.87
hypothyroid negative 0.961 0.954 0.971 0.953 0.949 0.999 0.995 compensated 0.721 0.402 0.717 0.867 0.189 0.98 0.979 primary 0.847 0.89 0.849 0.864 0.791 0.968 0.935
secondary 0 0 0 0 0 0 0
leukemia ALL 0.979 0.959 0.938 0.979 0.891 0.896 0.958
AML 1 1 0.917 1 0.769 0.833 0.958
liver-disorders class 1 0.629 0.579 0.605 0.547 0.515 0.664 0.685
class 2 0.697 0.724 0.69 0.677 0.641 0.74 0.767
lung-cancer class 1 0.2 0.385 0.5 0.545 0.429 0.571 0.556 class 2 0.35 0.273 0.417 0.364 0.2 0.385 0.364
class 3 0.714 0.625 0.5 0.6 0.625 0.583 0.5
lymphography normal 0 0.5 0 1 1 0.5 1 metastases 0.846 0.816 0.855 0.828 0.84 0.855 0.837 malign_lymph 0.769 0.81 0.833 0.845 0.696 0.814 0.842
fibrosis 0.75 1 0.75 1 0.667 0.75 1 postoperative-patient A 0.695 0.717 0.733 0.69 0.711 0.679 0.701 I 0 0 0 0 0 0 0
S 0 0.267 0.231 0 0 0.083 0
primary-tumor lung 0.682 0.667 0.617 0.609 0.681 0.474 0.327 head and neck 0.731 0.792 0.81 0.76 0.679 0.692 0.625 esophagus 0 0 0.2 0 0 0 0 thyroid 0.273 0.182 0.364 0.4 0.333 0.333 0.167 stomach 0.355 0.325 0.163 0.2 0.3 0.12 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.056 0 0.2 0.111 0 rectum 1 0.667 0.25 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 1 0 0 0 0 pancreas 0.237 0.289 0.167 0.111 0.189 0.267 0.333 gallbladder 0.333 0.2 0.083 0.286 0.357 0.308 0.25 liver 0 0 0 0 0 0 0 kidney 0.303 0.25 0.238 0.292 0.389 0.286 0.25 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.667 0.333 0.3 0.667 0.154 0.5 0 ovary 0.568 0.538 0.483 0.571 0.431 0.526 0.5 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.792 0.833 0.833 0.85 0.792 0.654 0.762
http://www.ssru.ac.th
64
ตารางท 4.34 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน Recall
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.791 0.791 0.811 0.856 0.96 0.771 0.846
recurrence-events 0.306 0.365 0.4 0.318 0.2 0.353 0.353
breast-w benign 0.967 0.969 0.961 0.974 0.969 0.974 0.959
malignant 0.934 0.929 0.942 0.954 0.963 0.934 0.938
diabetes tested_negative 0.846 0.8 0.848 0.898 0.836 0.812 0.818
tested_positive 0.604 0.668 0.567 0.541 0.537 0.575 0.608
heart-c <50 0.879 0.818 0.873 0.903 0.83 0.8 0.83
>50 0.797 0.739 0.804 0.783 0.79 0.768 0.688
heart-statlog absent 0.86 0.787 0.807 0.873 0.767 0.787 0.84
present 0.783 0.792 0.758 0.8 0.717 0.742 0.75
hepatitis DIE 0.563 0.438 0.594 0.438 0.5 0.594 0.469
LIVE 0.935 0.846 0.902 0.911 0.951 0.943 0.927
hypothyroid negative 0.993 0.985 0.988 0.996 0.943 0.997 0.997 compensated 0.32 0.201 0.51 0.201 0.237 1 0.954 primary 0.8 0.768 0.832 0.8 0.558 0.968 0.905
secondary 0 0 0 0 0 0 0
leukemia ALL 1 1 0.957 1 0.872 0.915 0.979
AML 0.96 0.92 0.88 0.96 0.8 0.8 0.92
liver-disorders class 1 0.538 0.655 0.538 0.566 0.483 0.628 0.676
class 2 0.77 0.655 0.745 0.66 0.67 0.77 0.775
lung-cancer class 1 0.111 0.556 0.444 0.667 0.667 0.444 0.556 class 2 0.538 0.231 0.385 0.308 0.154 0.385 0.308
class 3 0.5 0.5 0.6 0.6 0.5 0.7 0.6
lymphography normal 0 0.5 0 0.5 0.5 0.5 1 metastases 0.815 0.887 0.877 0.889 0.778 0.877 0.889 malign_lymph 0.82 0.77 0.82 0.803 0.787 0.787 0.787
fibrosis 0.75 0.25 0.75 0.5 0.5 0.75 0.75 postoperative-patient A 0.891 0.672 0.859 0.906 1 0.828 0.953 I 0 0 0 0 0 0 0
S 0 0.333 0.125 0 0 0.042 0
primary-tumor lung 0.714 0.762 0.69 0.833 0.738 0.655 0.833 head and neck 0.95 0.95 0.85 0.95 0.95 0.9 0.75 esophagus 0 0 0.111 0 0 0 0 thyroid 0.214 0.143 0.286 0.286 0.357 0.214 0.071 stomach 0.282 0.333 0.179 0.231 0.154 0.077 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.071 0 0.071 0.071 0 rectum 0.167 0.333 0.167 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0.5 0 0 0 0 pancreas 0.321 0.393 0.214 0.107 0.25 0.286 0.036 gallbladder 0.688 0.25 0.063 0.5 0.625 0.5 0.188 liver 0 0 0 0 0 0 0 kidney 0.417 0.25 0.208 0.292 0.292 0.25 0.208 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.2 0.3 0.3 0.2 0.2 0.1 0 ovary 0.862 0.483 0.483 0.69 0.862 0.69 0.586 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.792 0.833 0.625 0.708 0.792 0.708 0.667
http://www.ssru.ac.th
65
ตารางท 4.35 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน F-Measure
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.759 0.768 0.786 0.798 0.835 0.754 0.798
recurrence-events 0.34 0.392 0.433 0.383 0.309 0.373 0.411
breast-w benign 0.966 0.966 0.965 0.975 0.975 0.97 0.963
malignant 0.936 0.935 0.934 0.952 0.953 0.941 0.93
diabetes tested_negative 0.822 0.809 0.815 0.838 0.802 0.796 0.807
tested_positive 0.639 0.654 0.613 0.625 0.583 0.597 0.625
heart-c <50 0.858 0.804 0.857 0.866 0.828 0.802 0.794
>50 0.821 0.756 0.822 0.824 0.793 0.765 0.728
heart-statlog absent 0.846 0.805 0.807 0.859 0.769 0.789 0.824
present 0.8 0.769 0.758 0.817 0.714 0.739 0.769
hepatitis DIE 0.621 0.431 0.603 0.491 0.593 0.655 0.536
LIVE 0.913 0.849 0.899 0.885 0.914 0.921 0.898
hypothyroid negative 0.977 0.969 0.979 0.974 0.946 0.998 0.996 compensated 0.443 0.268 0.596 0.326 0.21 0.99 0.966 primary 0.835 0.825 0.84 0.831 0.654 0.968 0.92
secondary 0 0 0 0 0 0 0
leukemia ALL 0.989 0.979 0.947 0.989 0.882 0.905 0.968
AML 0.98 0.958 0.898 0.98 0.784 0.816 0.939
liver-disorders class 1 0.58 0.615 0.569 0.556 0.498 0.645 0.681
class 2 0.732 0.688 0.716 0.668 0.655 0.755 0.771
lung-cancer class 1 0.143 0.455 0.471 0.6 0.522 0.5 0.556 class 2 0.424 0.25 0.4 0.333 0.174 0.385 0.333
class 3 0.588 0.556 0.545 0.6 0.556 0.636 0.545
lymphography normal 0 0.5 0 0.667 0.667 0.5 1 metastases 0.83 0.845 0.866 0.857 0.808 0.866 0.862 malign_lymph 0.794 0.79 0.826 0.824 0.738 0.8 0.814
fibrosis 0.75 0.4 0.75 0.667 0.571 0.75 0.857 postoperative-patient A 0.781 0.694 0.791 0.784 0.831 0.746 0.808 I 0 0 0 0 0 0 0
S 0 0.296 0.162 0 0 0.056 0
primary-tumor lung 0.698 0.711 0.652 0.704 0.709 0.55 0.47 head and neck 0.826 0.864 0.829 0.844 0.792 0.783 0.682 esophagus 0 0 0.143 0 0 0 0 thyroid 0.24 0.16 0.32 0.333 0.345 0.261 0.1 stomach 0.314 0.329 0.171 0.214 0.203 0.094 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.063 0 0.105 0.087 0 rectum 0.286 0.444 0.2 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0.667 0 0 0 0 pancreas 0.273 0.333 0.188 0.109 0.215 0.276 0.065 gallbladder 0.449 0.222 0.071 0.36 0.455 0.381 0.214 liver 0 0 0 0 0 0 0 kidney 0.351 0.25 0.222 0.292 0.333 0.267 0.227 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.308 0.316 0.3 0.308 0.174 0.167 0 ovary 0.685 0.509 0.483 0.625 0.575 0.597 0.548 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.792 0.833 0.714 0.773 0.792 0.68 0.711
http://www.ssru.ac.th
66
60
62
64
66
68
70
72
74
76
Accuracy
breast‐cancer
94
94.5
95
95.5
96
96.5
97
Accuracy
breast‐w
70
71
72
73
74
75
76
77
78
Accuracy
diabetes
72
74
76
78
80
82
84
86
Accuracy
heart‐c
68
70
72
74
76
78
80
82
84
86
Accuracy
heart‐statlog
70
72
74
76
78
80
82
84
86
88
Accuracy
hepatitis
ตารางท 4.36 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน Accuracy
Dataset NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer 64.6853 66.4336 68.8811 69.5804 73.4266 64.6853 69.9301
breast-w 95.5651 95.5651 95.422 96.7096 96.7096 95.9943 95.1359
diabetes 76.1719 75.3906 75 77.3438 73.1771 72.9167 74.4792
heart-c 84.1584 78.2178 84.1584 84.8185 81.1881 78.5479 76.5677
heart-statlog 82.5926 78.8889 78.5185 84.0741 74.4444 76.6667 80
hepatitis 85.8065 76.129 83.871 81.2903 85.8065 87.0968 83.2258
hypothyroid 95.281 93.8494 95.8643 94.9894 89.6341 99.6288 99.2047
leukemia 98.6111 97.2222 93.0556 98.6111 84.7222 87.5 95.8333
liver-disorders 67.2464 65.5072 65.7971 62.029 59.1304 71.0145 73.3333
lung-cancer 40.625 40.625 46.875 50 40.625 50 46.875
lymphography 80.4054 81.0811 83.7838 83.7838 77.027 83.1081 84.4595
postoperative-patient 63.3333 56.6667 64.4444 64.4444 71.1111 60 67.7778
primary-tumor 50.1475 46.6077 39.528 46.9027 48.0826 41.2979 37.7581
http://www.ssru.ac.th
67
84
86
88
90
92
94
96
98
100
102
Accuracy
hypothyroid
0
10
20
30
40
50
60
70
80
Accuracy
liver‐disorders
0
10
20
30
40
50
60
Accuracy
lung‐cancer
72
74
76
78
80
82
84
86
Accuracy
lymphography
0
10
20
30
40
50
60
70
80
Accuracy
postoperative‐patient
0
10
20
30
40
50
60
Accuracy
primary‐tumor
http://www.ssru.ac.th
68
ผลการทดลองจากตารางท 4.36 เมอเรยนรกลมตวอยางโดยไมลดคณลกษณะ ดวยวธ
Boosting ตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ ซงประกอบดวยอลกอรทม Naïve
Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector Machine, K-
Nearest Neighbor, Decision Tree และ Ripper โดยวดประสทธภาพจากคาความความถกตอง
(Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม K-Nearest Neighbor ให
ประสทธภาพออกมาดทสดคอ 73.42% กลมขอมล breast-w อลกอรทม Support Vector
Machine กบ K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 96.70% กลมขอมล
diabetes อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 77.34% กลม
ขอมล heart-c อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.81%
กลมขอมล heart-statlog อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสด
คอ 84.07% กลมขอมล hepatitis อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ
87.09% กลมขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ
99.62% กลมขอมล leukemia อลกอรทม Naïve Bayes กบ Support Vector Machine ให
ประสทธภาพออกมาดทสดคอ 98.61% กลมขอมล liver-disorders อลกอรทม Ripper ให
ประสทธภาพออกมาดทสดคอ 73.33% กลมขอมล lung-cancer อลกอรทม Support Vector
Machine กบ Decision Treeใหประสทธภาพออกมาดทสดคอ 50% กลมขอมล lymphography
อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 84.45% กลมขอมล postoperative-
patient อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล
primary-tumor อลกอรทม Naïve Bayes ใหประสทธภาพออกมาดทสดคอ 50.14%
http://www.ssru.ac.th
69
4.4 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอลดคณลกษณะดวยวธ
Correlation-based Feature Subset Selection (CFS)
ตารางท 4.37 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย CFS และเรยนร
ดวยอลกอรทม NaiveBayes
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 72.3776 27.6224 0.836 0.785 0.836 0.81
recurrence-events 0.459 0.542 0.459 0.497
2. breast-w benign 95.9943 4.0057 0.952 0.986 0.952 0.969
malignant 0.975 0.914 0.975 0.944
3. diabetes tested_negative 77.474 22.526 0.876 0.798 0.876 0.835
tested_positive 0.586 0.717 0.586 0.645
4. heart-c <50 84.4884 15.5116 0.891 0.835 0.891 0.862
>50 0.79 0.858 0.79 0.823
5. heart-statlog absent 85.5556 14.4444 0.893 0.854 0.893 0.873
present 0.808 0.858 0.808 0.833
6. hepatitis DIE 87.7419 12.2581 0.719 0.697 0.719 0.708
LIVE 0.919 0.926 0.919 0.922
7. hypothyroid negative 94.6448 5.3552 0.993 0.956 0.993 0.974 compensated_hypothyroid 0.216 0.575 0.216 0.315 primary_hypothyroid 0.758 0.878 0.758 0.814
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 98.6111 1.3889 0.979 1 0.979 0.989
AML 1 0.962 1 0.98
9. liver-disorders class 1 56.5217 43.4783 0.497 0.483 0.497 0.49
class 2 0.615 0.628 0.615 0.621
10. lung-cancer class 1 71.875 28.125 0.889 0.727 0.889 0.8 class 2 0.615 0.667 0.615 0.64
class 3 0.7 0.778 0.7 0.737
11. lymphography normal 78.3784 21.6216 0 0 0 0 metastases 0.877 0.789 0.877 0.83 malign_lymph 0.689 0.824 0.689 0.75
fibrosis 0.75 0.75 0.75 0.75 12. postoperative-patient A 68.8889 31.1111 0.953 0.709 0.953 0.813 I 0 0 0 0
S 0.042 0.25 0.042 0.071
13. primary-tumor lung 47.7876 52.2124 0.738 0.633 0.738 0.681 head and neck 0.95 0.704 0.95 0.809 esophagus 0 0 0 0 thyroid 0.214 0.273 0.214 0.24 stomach 0.179 0.269 0.179 0.215 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.286 0.235 0.286 0.258 gallbladder 0.625 0.333 0.625 0.435 liver 0 0 0 0 kidney 0.333 0.267 0.333 0.296 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.5 0.2 0.286 ovary 0.828 0.471 0.828 0.6 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.792 0.731 0.792 0.76
http://www.ssru.ac.th
70
ตารางท 4.38 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย CFS และเรยนร
ดวยอลกอรทม MultilayerPerceptron
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 71.6783 28.3217 0.846 0.773 0.846 0.808
recurrence-events 0.412 0.53 0.412 0.464
2. breast-w benign 95.7082 4.2918 0.961 0.973 0.961 0.967
malignant 0.95 0.927 0.95 0.939
3. diabetes tested_negative 75.9115 24.0885 0.852 0.793 0.852 0.822
tested_positive 0.586 0.68 0.586 0.629
4. heart-c <50 78.2178 21.7822 0.776 0.815 0.776 0.795
>50 0.79 0.747 0.79 0.768
5. heart-statlog absent 80.7407 19.2593 0.84 0.818 0.84 0.829
present 0.767 0.793 0.767 0.78
6. hepatitis DIE 79.3548 20.6452 0.438 0.5 0.438 0.467
LIVE 0.886 0.858 0.886 0.872
7. hypothyroid negative 95.7052 4.2948 0.986 0.973 0.986 0.98 compensated_hypothyroid 0.557 0.635 0.557 0.593 primary_hypothyroid 0.716 0.919 0.716 0.805
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 98.6111 1.3889 0.979 1 0.979 0.989
AML 1 0.962 1 0.98
9. liver-disorders class 1 62.029 37.971 0.372 0.574 0.372 0.452
class 2 0.8 0.637 0.8 0.71
10. lung-cancer class 1 71.875 28.125 0.889 0.889 0.889 0.889 class 2 0.615 0.667 0.615 0.64
class 3 0.7 0.636 0.7 0.667
11. lymphography normal 78.3784 21.6216 0 0 0 0 metastases 0.827 0.817 0.827 0.822 malign_lymph 0.787 0.738 0.787 0.762
fibrosis 0.25 1 0.25 0.4 12. postoperative-patient A 64.4444 35.5556 0.875 0.709 0.875 0.783 I 0 0 0 0
S 0.083 0.182 0.083 0.114
13. primary-tumor lung 38.9381 61.0619 0.607 0.58 0.607 0.593 head and neck 0.9 0.72 0.9 0.8 esophagus 0 0 0 0 thyroid 0.143 0.2 0.143 0.167 stomach 0.128 0.167 0.128 0.145 duoden and sm.int 0 0 0 0 colon 0.143 0.118 0.143 0.129 rectum 0.333 0.667 0.333 0.444 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.179 0.161 0.179 0.169 gallbladder 0.125 0.154 0.125 0.138 liver 0 0 0 0 kidney 0.25 0.24 0.25 0.245 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.4 0.267 0.4 0.32 ovary 0.655 0.487 0.655 0.559 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.667 0.667 0.667 0.667
http://www.ssru.ac.th
71
ตารางท 4.39 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย CFS และเรยนร
ดวยอลกอรทม Radial Basis Function
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 71.3287 28.6713 0.876 0.755 0.876 0.811
recurrence-events 0.329 0.528 0.329 0.406
2. breast-w benign 95.8512 4.1488 0.954 0.982 0.954 0.968
malignant 0.967 0.917 0.967 0.941
3. diabetes tested_negative 76.5625 23.4375 0.858 0.797 0.858 0.827
tested_positive 0.593 0.691 0.593 0.639
4. heart-c <50 83.4983 16.5017 0.885 0.825 0.885 0.854
>50 0.775 0.849 0.775 0.811
5. heart-statlog absent 81.4815 18.5185 0.847 0.825 0.847 0.836
present 0.775 0.802 0.775 0.788
6. hepatitis DIE 86.4516 13.5484 0.594 0.704 0.594 0.644
LIVE 0.935 0.898 0.935 0.916
7. hypothyroid negative 94.9629 5.0371 0.99 0.961 0.99 0.975 compensated_hypothyroid 0.314 0.616 0.314 0.416 primary_hypothyroid 0.8 0.854 0.8 0.826
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 100 0 1 1 1 1
AML 1 1 1 1
9. liver-disorders class 1 58.5507 41.4493 0.414 0.508 0.414 0.456
class 2 0.71 0.626 0.71 0.665
10. lung-cancer class 1 71.875 28.125 0.889 0.727 0.889 0.8 class 2 0.615 0.667 0.615 0.64
class 3 0.7 0.778 0.7 0.737
11. lymphography normal 79.7297 20.2703 0 0 0 0 metastases 0.864 0.814 0.864 0.838 malign_lymph 0.738 0.789 0.738 0.763
fibrosis 0.75 0.75 0.75 0.75 12. postoperative-patient A 62.2222 37.7778 0.844 0.701 0.844 0.766 I 0 0 0 0
S 0.083 0.2 0.083 0.118
13. primary-tumor lung 33.6283 66.3717 0.429 0.522 0.429 0.471 head and neck 0.85 0.739 0.85 0.791 esophagus 0.111 0.077 0.111 0.091 thyroid 0.286 0.235 0.286 0.258 stomach 0.128 0.179 0.128 0.149 duoden and sm.int 0 0 0 0 colon 0.214 0.143 0.214 0.171 rectum 0.333 0.667 0.333 0.444 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.107 0.103 0.107 0.105 gallbladder 0.188 0.214 0.188 0.2 liver 0 0 0 0 kidney 0.167 0.133 0.167 0.148 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.25 0.2 0.222 ovary 0.621 0.409 0.621 0.493 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.667 0.889 0.667 0.762
http://www.ssru.ac.th
72
ตารางท 4.40 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย CFS และเรยนร
ดวยอลกอรทม Support Vector Machine
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 66.4336 33.5664 0.811 0.738 0.811 0.773
recurrence-events 0.318 0.415 0.318 0.36
2. breast-w benign 96.9957 3.0043 0.974 0.98 0.974 0.977
malignant 0.963 0.951 0.963 0.957
3. diabetes tested_negative 76.8229 23.1771 0.9 0.779 0.9 0.835
tested_positive 0.522 0.737 0.522 0.611
4. heart-c <50 83.4983 16.5017 0.891 0.821 0.891 0.855
>50 0.768 0.855 0.768 0.809
5. heart-statlog absent 83.7037 16.2963 0.867 0.844 0.867 0.855
present 0.8 0.828 0.8 0.814
6. hepatitis DIE 83.2258 16.7742 0.406 0.65 0.406 0.5
LIVE 0.943 0.859 0.943 0.899
7. hypothyroid negative 93.1336 6.8664 0.999 0.932 0.999 0.964 compensated_hypothyroid 0 0 0 0 primary_hypothyroid 0.368 0.897 0.368 0.522
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 98.6111 1.3889 0.979 1 0.979 0.989
AML 1 0.962 1 0.98
9. liver-disorders class 1 57.971 42.029 0 0 0 0
class 2 1 0.58 1 0.734
10. lung-cancer class 1 75 25 0.889 0.727 0.889 0.8 class 2 0.615 0.727 0.615 0.667
class 3 0.8 0.8 0.8 0.8
11. lymphography normal 85.8108 14.1892 0.5 1 0.5 0.667 metastases 0.926 0.843 0.926 0.882 malign_lymph 0.787 0.873 0.787 0.828
fibrosis 0.75 1 0.75 0.857 12. postoperative-patient A 67.7778 32.2222 0.953 0.701 0.953 0.808 I 0 0 0 0
S 0 0 0 0
13. primary-tumor lung 45.4277 54.5723 0.786 0.667 0.786 0.626
head and neck 0.95 0.731 0.95 0.826 esophagus 0 0 0 0 thyroid 0.357 0.455 0.357 0.4 stomach 0.231 0.31 0.231 0.265 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.214 0.194 0.214 0.203 gallbladder 0.375 0.261 0.375 0.308 liver 0 0 0 0 kidney 0.208 0.25 0.208 0.227 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 0.75 0.3 0.429 ovary 0.655 0.475 0.655 0.551 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.667 0.8 0.667 0.727
http://www.ssru.ac.th
73
ตารางท 4.41 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย CFS และเรยนร
ดวยอลกอรทม K-Nearest Neighbor
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 71.6783 28.3217 0.905 0.746 0.905 0.818
recurrence-events 0.271 0.548 0.271 0.362
2. breast-w benign 96.7096 3.2904 0.969 0.98 0.969 0.975
malignant 0.963 0.943 0.963 0.953
3. diabetes tested_negative 73.8281 26.1719 0.832 0.78 0.832 0.805
tested_positive 0.563 0.643 0.563 0.6
4. heart-c <50 81.5182 18.4818 0.861 0.811 0.861 0.835
>50 0.761 0.82 0.761 0.789
5. heart-statlog absent 82.5926 17.4074 0.887 0.816 0.887 0.85
present 0.75 0.841 0.75 0.793
6. hepatitis DIE 81.9355 18.0645 0.375 0.6 0.375 0.462
LIVE 0.935 0.852 0.935 0.891
7. hypothyroid negative 91.2513 8.7487 0.938 0.971 0.938 0.954 compensated_hypothyroid 0.546 0.465 0.546 0.502 primary_hypothyroid 0.758 0.391 0.758 0.516
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 98.6111 1.3889 0.979 1 0.979 0.989
AML 1 0.962 1 0.98
9. liver-disorders class 1 59.4203 40.5797 0.462 0.519 0.462 0.489
class 2 0.69 0.639 0.69 0.663
10. lung-cancer class 1 65.625 34.375 0.889 0.571 0.889 0.696 class 2 0.462 0.6 0.462 0.522
class 3 0.7 0.875 0.7 0.778
11. lymphography normal 83.7838 16.2162 0 0 0 0 metastases 0.926 0.806 0.926 0.862 malign_lymph 0.77 0.887 0.77 0.825
fibrosis 0.5 1 0.5 0.667 12. postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0
S 0 0 0 0
13. primary-tumor lung 47.7876 52.2124 0.798 0.604 0.798 0.687 head and neck 0.95 0.679 0.95 0.792 esophagus 0 0 0 0 thyroid 0.357 0.5 0.357 0.417 stomach 0.051 0.1 0.051 0.068 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.321 0.273 0.321 0.295 gallbladder 0.625 0.4 0.625 0.488 liver 0 0 0 0 kidney 0.25 0.375 0.25 0.3 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.182 0.2 0.19 ovary 0.862 0.472 0.862 0.61 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.708 0.739 0.708 0.723
http://www.ssru.ac.th
74
ตารางท 4.42 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย CFS และเรยนร
ดวยอลกอรทม Decision Tree
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 73.0769 26.9231 0.94 0.744 0.94 0.831
recurrence-events 0.235 0.625 0.235 0.342
2. breast-w benign 94.5637 5.4363 0.956 0.961 0.956 0.958
malignant 0.925 0.918 0.925 0.921
3. diabetes tested_negative 74.8698 25.1302 0.852 0.782 0.852 0.815
tested_positive 0.556 0.668 0.556 0.607
4. heart-c <50 77.2277 22.7723 0.842 0.764 0.842 0.801
>50 0.688 0.785 0.688 0.734
5. heart-statlog absent 81.1111 18.8889 0.853 0.815 0.853 0.834
present 0.758 0.805 0.758 0.781
6. hepatitis DIE 81.2903 18.7097 0.375 0.571 0.375 0.453
LIVE 0.927 0.851 0.927 0.887
7. hypothyroid negative 96.8187 3.1813 0.983 0.989 0.983 0.986 compensated_hypothyroid 0.835 0.678 0.835 0.748 primary_hypothyroid 0.716 0.919 0.716 0.805
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 84.7222 15.2778 0.83 0.929 0.83 0.876
AML 0.88 0.733 0.88 0.8
9. liver-disorders class 1 60.8696 39.1304 0.476 0.539 0.476 0.505
class 2 0.705 0.65 0.705 0.676
10. lung-cancer class 1 71.875 28.125 0.889 0.727 0.889 0.8 class 2 0.615 0.727 0.615 0.667
class 3 0.7 0.7 0.7 0.7
11. lymphography normal 77.027 22.973 0.5 0.2 0.5 0.286 metastases 0.802 0.833 0.802 0.818 malign_lymph 0.77 0.734 0.77 0.752
fibrosis 0.25 1 0.25 0.4 12. postoperative-patient A 70 30 0.984 0.708 0.984 0.824 I 0 0 0 0
S 0 0 0 0
13. primary-tumor lung 40.118 59.882 0.583 0.438 0.583 0.5 head and neck 0.95 0.76 0.95 0.844 esophagus 0 0 0 0 thyroid 0.286 0.308 0.286 0.296 stomach 0.051 0.105 0.051 0.069 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.179 0.161 0.179 0.169 gallbladder 0.563 0.333 0.563 0.419 liver 0 0 0 0 kidney 0.375 0.36 0.375 0.367 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.69 0.426 0.69 0.526 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.792 0.792 0.792 0.792
http://www.ssru.ac.th
75
ตารางท 4.43 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย CFS และเรยนร
ดวยอลกอรทม Ripper
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 73.7762 26.2238 0.92 0.758 0.92 0.831
recurrence-events 0.306 0.619 0.306 0.409
2. breast-w benign 95.422 4.578 0.952 0.978 0.952 0.965
malignant 0.959 0.913 0.959 0.935
3. diabetes tested_negative 75.5208 24.4792 0.864 0.783 0.864 0.821
tested_positive 0.552 0.685 0.552 0.612
4. heart-c <50 80.198 19.802 0.861 0.793 0.861 0.826
>50 0.732 0.815 0.732 0.771
5. heart-statlog absent 79.2593 20.7407 0.88 0.776 0.88 0.825
present 0.683 0.82 0.683 0.745
6. hepatitis DIE 77.4194 22.5806 0.344 0.44 0.344 0.386
LIVE 0.886 0.838 0.886 0.862
7. hypothyroid negative 97.1633 2.8367 0.979 0.997 0.979 0.988 compensated_hypothyroid 0.933 0.675 0.933 0.784 primary_hypothyroid 0.789 0.872 0.789 0.829
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 88.8889 11.1111 0.894 0.933 0.894 0.913
AML 0.88 0.815 0.88 0.846
9. liver-disorders class 1 62.029 37.971 0.517 0.551 0.517 0.534
class 2 0.695 0.665 0.695 0.68
10. lung-cancer class 1 65.625 34.375 0.889 0.667 0.889 0.762 class 2 0.615 0.667 0.615 0.64
class 3 0.5 0.625 0.5 0.556
11. lymphography normal 73.6486 26.3514 0 0 0 0 metastases 0.778 0.768 0.778 0.773 malign_lymph 0.705 0.694 0.705 0.699
fibrosis 0.75 0.75 0.75 0.75 12. postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0
S 0 0 0 0
13. primary-tumor lung 39.528 60.472 0.905 0.33 0.905 0.484 head and neck 0.8 0.696 0.8 0.744 esophagus 0.111 0.25 0.111 0.154 thyroid 0 0 0 0 stomach 0 0 0 0 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0 0 0 0 gallbladder 0.063 0.143 0.063 0.087 liver 0 0 0 0 kidney 0.167 0.4 0.167 0.235 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.621 0.545 0.621 0.581 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.75 0.818 0.75 0.783
http://www.ssru.ac.th
76
ตารางท 4.44 การเปรยบเทยบประสทธภาพดาน TP Rate เมอลดคณลกษณะดวย CFS
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.836 0.846 0.876 0.811 0.905 0.94 0.92
recurrence-events 0.459 0.412 0.329 0.318 0.271 0.235 0.306
breast-w benign 0.952 0.961 0.954 0.974 0.969 0.956 0.952
malignant 0.975 0.95 0.967 0.963 0.963 0.925 0.959
diabetes tested_negative 0.876 0.852 0.858 0.9 0.832 0.852 0.864
tested_positive 0.586 0.586 0.593 0.522 0.563 0.556 0.552
heart-c <50 0.891 0.776 0.885 0.891 0.861 0.842 0.861
>50 0.79 0.79 0.775 0.768 0.761 0.688 0.732
heart-statlog absent 0.893 0.84 0.847 0.867 0.887 0.853 0.88
present 0.808 0.767 0.775 0.8 0.75 0.758 0.683
hepatitis DIE 0.719 0.438 0.594 0.406 0.375 0.375 0.344
LIVE 0.919 0.886 0.935 0.943 0.935 0.927 0.886
hypothyroid negative 0.993 0.986 0.99 0.999 0.938 0.983 0.979
compensated 0.216 0.557 0.314 0 0.546 0.835 0.933
primary 0.758 0.716 0.8 0.368 0.758 0.716 0.789
secondary 0 0 0 0 0 0 0
leukemia ALL 0.979 0.979 1 0.979 0.979 0.83 0.894
AML 1 1 1 1 1 0.88 0.88
liver-disorders class 1 0.497 0.372 0.414 0 0.462 0.476 0.517
class 2 0.615 0.8 0.71 1 0.69 0.705 0.695
lung-cancer class 1 0.889 0.889 0.889 0.889 0.889 0.889 0.889
class 2 0.615 0.615 0.615 0.615 0.462 0.615 0.615
class 3 0.7 0.7 0.7 0.8 0.7 0.7 0.5
lymphography normal 0 0 0 0.5 0 0.5 0
metastases 0.877 0.827 0.864 0.926 0.926 0.802 0.778
malign_lymph 0.689 0.787 0.738 0.787 0.77 0.77 0.705
fibrosis 0.75 0.25 0.75 0.75 0.5 0.25 0.75 postoperative-patient A 0.953 0.875 0.844 0.953 1 0.984 1
I 0 0 0 0 0 0 0
S 0.042 0.083 0.083 0 0 0 0
primary-tumor lung 0.738 0.607 0.429 0.786 0.798 0.583 0.905
head and neck 0.95 0.9 0.85 0.95 0.95 0.95 0.8
esophagus 0 0 0.111 0 0 0 0.111
thyroid 0.214 0.143 0.286 0.357 0.357 0.286 0
stomach 0.179 0.128 0.128 0.231 0.051 0.051 0
duoden and sm.int 0 0 0 0 0 0 0
colon 0 0.143 0.214 0 0 0 0
rectum 0 0.333 0.333 0 0 0 0
anus 0 0 0 0 0 0 0
salivary glands 0 0 0 0 0 0 0
pancreas 0.286 0.179 0.107 0.214 0.321 0.179 0
gallbladder 0.625 0.125 0.188 0.375 0.625 0.563 0.063
liver 0 0 0 0 0 0 0
kidney 0.333 0.25 0.167 0.208 0.25 0.375 0.167
bladder 0 0 0 0 0 0 0
testis 0 0 0 0 0 0 0
prostate 0.2 0.4 0.2 0.3 0.2 0 0
ovary 0.828 0.655 0.621 0.655 0.862 0.69 0.621
corpus uteri 0 0 0 0 0 0 0
cervix uteri 0 0 0 0 0 0 0
vagina 0 0 0 0 0 0 0
breast 0.792 0.667 0.667 0.667 0.708 0.792 0.75
http://www.ssru.ac.th
77
ตารางท 4.45 การเปรยบเทยบประสทธภาพดาน Precision เมอลดคณลกษณะดวย CFS
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.785 0.773 0.755 0.738 0.746 0.744 0.758
recurrence-events 0.542 0.53 0.528 0.415 0.548 0.625 0.619
breast-w benign 0.986 0.973 0.982 0.98 0.98 0.961 0.978
malignant 0.914 0.927 0.917 0.951 0.943 0.918 0.913
diabetes tested_negative 0.798 0.793 0.797 0.779 0.78 0.782 0.783
tested_positive 0.717 0.68 0.691 0.737 0.643 0.668 0.685
heart-c <50 0.835 0.815 0.825 0.821 0.811 0.764 0.793
>50 0.858 0.747 0.849 0.855 0.82 0.785 0.815
heart-statlog absent 0.854 0.818 0.825 0.844 0.816 0.815 0.776
present 0.858 0.793 0.802 0.828 0.841 0.805 0.82
hepatitis DIE 0.697 0.5 0.704 0.65 0.6 0.571 0.44
LIVE 0.926 0.858 0.898 0.859 0.852 0.851 0.838
hypothyroid negative 0.956 0.973 0.961 0.932 0.971 0.989 0.997
compensated 0.575 0.635 0.616 0 0.465 0.678 0.675
primary 0.878 0.919 0.854 0.897 0.391 0.919 0.872
secondary 0 0 0 0 0 0 0
leukemia ALL 1 1 1 1 1 0.929 0.933
AML 0.962 0.962 1 0.962 0.962 0.733 0.815
liver-disorders class 1 0.483 0.574 0.508 0 0.519 0.539 0.551
class 2 0.628 0.637 0.626 0.58 0.639 0.65 0.665
lung-cancer class 1 0.727 0.889 0.727 0.727 0.571 0.727 0.667
class 2 0.667 0.667 0.667 0.727 0.6 0.727 0.667
class 3 0.778 0.636 0.778 0.8 0.875 0.7 0.625
lymphography normal 0 0 0 1 0 0.2 0
metastases 0.789 0.817 0.814 0.843 0.806 0.833 0.768
malign_lymph 0.824 0.738 0.789 0.873 0.887 0.734 0.694
fibrosis 0.75 1 0.75 1 1 1 0.75 postoperative-patient A 0.709 0.709 0.701 0.701 0.711 0.708 0.711
I 0 0 0 0 0 0 0
S 0.25 0.182 0.2 0 0 0 0
primary-tumor lung 0.633 0.58 0.522 0.667 0.604 0.438 0.33
head and neck 0.704 0.72 0.739 0.731 0.679 0.76 0.696
esophagus 0 0 0.077 0 0 0 0.25
thyroid 0.273 0.2 0.235 0.455 0.5 0.308 0
stomach 0.269 0.167 0.179 0.31 0.1 0.105 0
duoden and sm.int 0 0 0 0 0 0 0
colon 0 0.118 0.143 0 0 0 0
rectum 0 0.667 0.667 0 0 0 0
anus 0 0 0 0 0 0 0
salivary glands 0 0 0 0 0 0 0
pancreas 0.235 0.161 0.103 0.194 0.273 0.161 0
gallbladder 0.333 0.154 0.214 0.261 0.4 0.333 0.143
liver 0 0 0 0 0 0 0
kidney 0.267 0.24 0.133 0.25 0.375 0.36 0.4
bladder 0 0 0 0 0 0 0
testis 0 0 0 0 0 0 0
prostate 0.5 0.267 0.25 0.75 0.182 0 0
ovary 0.471 0.487 0.409 0.475 0.472 0.426 0.545
corpus uteri 0 0 0 0 0 0 0
cervix uteri 0 0 0 0 0 0 0
vagina 0 0 0 0 0 0 0
breast 0.731 0.667 0.889 0.8 0.739 0.792 0.818
http://www.ssru.ac.th
78
ตารางท 4.46 การเปรยบเทยบประสทธภาพดาน Recall เมอลดคณลกษณะดวย CFS
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.836 0.846 0.876 0.811 0.905 0.94 0.92
recurrence-events 0.459 0.412 0.329 0.318 0.271 0.235 0.306
breast-w benign 0.952 0.961 0.954 0.974 0.969 0.956 0.952
malignant 0.975 0.95 0.967 0.963 0.963 0.925 0.959
diabetes tested_negative 0.876 0.852 0.858 0.9 0.832 0.852 0.864
tested_positive 0.586 0.586 0.593 0.522 0.563 0.556 0.552
heart-c <50 0.891 0.776 0.885 0.891 0.861 0.842 0.861
>50 0.79 0.79 0.775 0.768 0.761 0.688 0.732
heart-statlog absent 0.893 0.84 0.847 0.867 0.887 0.853 0.88
present 0.808 0.767 0.775 0.8 0.75 0.758 0.683
hepatitis DIE 0.719 0.438 0.594 0.406 0.375 0.375 0.344
LIVE 0.919 0.886 0.935 0.943 0.935 0.927 0.886
hypothyroid negative 0.993 0.986 0.99 0.999 0.938 0.983 0.979
compensated 0.216 0.557 0.314 0 0.546 0.835 0.933
primary 0.758 0.716 0.8 0.368 0.758 0.716 0.789
secondary 0 0 0 0 0 0 0
leukemia ALL 0.979 0.979 1 0.979 0.979 0.83 0.894
AML 1 1 1 1 1 0.88 0.88
liver-disorders class 1 0.497 0.372 0.414 0 0.462 0.476 0.517
class 2 0.615 0.8 0.71 1 0.69 0.705 0.695
lung-cancer class 1 0.889 0.889 0.889 0.889 0.889 0.889 0.889
class 2 0.615 0.615 0.615 0.615 0.462 0.615 0.615
class 3 0.7 0.7 0.7 0.8 0.7 0.7 0.5
lymphography normal 0 0 0 0.5 0 0.5 0
metastases 0.877 0.827 0.864 0.926 0.926 0.802 0.778
malign_lymph 0.689 0.787 0.738 0.787 0.77 0.77 0.705
fibrosis 0.75 0.25 0.75 0.75 0.5 0.25 0.75 postoperative-patient A 0.953 0.875 0.844 0.953 1 0.984 1
I 0 0 0 0 0 0 0
S 0.042 0.083 0.083 0 0 0 0
primary-tumor lung 0.738 0.607 0.429 0.786 0.798 0.583 0.905
head and neck 0.95 0.9 0.85 0.95 0.95 0.95 0.8
esophagus 0 0 0.111 0 0 0 0.111
thyroid 0.214 0.143 0.286 0.357 0.357 0.286 0
stomach 0.179 0.128 0.128 0.231 0.051 0.051 0
duoden and sm.int 0 0 0 0 0 0 0
colon 0 0.143 0.214 0 0 0 0
rectum 0 0.333 0.333 0 0 0 0
anus 0 0 0 0 0 0 0
salivary glands 0 0 0 0 0 0 0
pancreas 0.286 0.179 0.107 0.214 0.321 0.179 0
gallbladder 0.625 0.125 0.188 0.375 0.625 0.563 0.063
liver 0 0 0 0 0 0 0
kidney 0.333 0.25 0.167 0.208 0.25 0.375 0.167
bladder 0 0 0 0 0 0 0
testis 0 0 0 0 0 0 0
prostate 0.2 0.4 0.2 0.3 0.2 0 0
ovary 0.828 0.655 0.621 0.655 0.862 0.69 0.621
corpus uteri 0 0 0 0 0 0 0
cervix uteri 0 0 0 0 0 0 0
vagina 0 0 0 0 0 0 0
breast 0.792 0.667 0.667 0.667 0.708 0.792 0.75
http://www.ssru.ac.th
79
ตารางท 4.47 การเปรยบเทยบประสทธภาพดาน F-Measure เมอลดคณลกษณะดวย CFS
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.81 0.808 0.811 0.773 0.818 0.831 0.831
recurrence-events 0.497 0.464 0.406 0.36 0.362 0.342 0.409
breast-w benign 0.969 0.967 0.968 0.977 0.975 0.958 0.965
malignant 0.944 0.939 0.941 0.957 0.953 0.921 0.935
diabetes tested_negative 0.835 0.822 0.827 0.835 0.805 0.815 0.821
tested_positive 0.645 0.629 0.639 0.611 0.6 0.607 0.612
heart-c <50 0.862 0.795 0.854 0.855 0.835 0.801 0.826
>50 0.823 0.768 0.811 0.809 0.789 0.734 0.771
heart-statlog absent 0.873 0.829 0.836 0.855 0.85 0.834 0.825
present 0.833 0.78 0.788 0.814 0.793 0.781 0.745
hepatitis DIE 0.708 0.467 0.644 0.5 0.462 0.453 0.386
LIVE 0.922 0.872 0.916 0.899 0.891 0.887 0.862
hypothyroid negative 0.974 0.98 0.975 0.964 0.954 0.986 0.988
compensated 0.315 0.593 0.416 0 0.502 0.748 0.784
primary 0.814 0.805 0.826 0.522 0.516 0.805 0.829
secondary 0 0 0 0 0 0 0
leukemia ALL 0.989 0.989 1 0.989 0.989 0.876 0.913
AML 0.98 0.98 1 0.98 0.98 0.8 0.846
liver-disorders class 1 0.49 0.452 0.456 0 0.489 0.505 0.534
class 2 0.621 0.71 0.665 0.734 0.663 0.676 0.68
lung-cancer class 1 0.8 0.889 0.8 0.8 0.696 0.8 0.762
class 2 0.64 0.64 0.64 0.667 0.522 0.667 0.64
class 3 0.737 0.667 0.737 0.8 0.778 0.7 0.556
lymphography normal 0 0 0 0.667 0 0.286 0
metastases 0.83 0.822 0.838 0.882 0.862 0.818 0.773
malign_lymph 0.75 0.762 0.763 0.828 0.825 0.752 0.699
fibrosis 0.75 0.4 0.75 0.857 0.667 0.4 0.75 postoperative-patient A 0.813 0.783 0.766 0.808 0.831 0.824 0.831
I 0 0 0 0 0 0 0
S 0.071 0.114 0.118 0 0 0 0
primary-tumor lung 0.681 0.593 0.471 0.626 0.687 0.5 0.484
head and neck 0.809 0.8 0.791 0.826 0.792 0.844 0.744
esophagus 0 0 0.091 0 0 0 0.154
thyroid 0.24 0.167 0.258 0.4 0.417 0.296 0
stomach 0.215 0.145 0.149 0.265 0.068 0.069 0
duoden and sm.int 0 0 0 0 0 0 0
colon 0 0.129 0.171 0 0 0 0
rectum 0 0.444 0.444 0 0 0 0
anus 0 0 0 0 0 0 0
salivary glands 0 0 0 0 0 0 0
pancreas 0.258 0.169 0.105 0.203 0.295 0.169 0
gallbladder 0.435 0.138 0.2 0.308 0.488 0.419 0.087
liver 0 0 0 0 0 0 0
kidney 0.296 0.245 0.148 0.227 0.3 0.367 0.235
bladder 0 0 0 0 0 0 0
testis 0 0 0 0 0 0 0
prostate 0.286 0.32 0.222 0.429 0.19 0 0
ovary 0.6 0.559 0.493 0.551 0.61 0.526 0.581
corpus uteri 0 0 0 0 0 0 0
cervix uteri 0 0 0 0 0 0 0
vagina 0 0 0 0 0 0 0
breast 0.76 0.667 0.762 0.727 0.723 0.792 0.783
http://www.ssru.ac.th
80
62
64
66
68
70
72
74
76
Accuracy
breast‐cancer
93
93.5
94
94.5
95
95.5
96
96.5
97
97.5
Accuracy
breast‐w
72
73
74
75
76
77
78
Accuracy
diabetes
72
74
76
78
80
82
84
86
Accuracy
heart‐c
767778798081828384858687
Accuracy
heart‐statlog
ตารางท 4.48 การเปรยบเทยบประสทธภาพดาน Accuracy เมอลดคณลกษณะดวย CFS
Dataset NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer 72.3776 71.6783 71.3287 66.4336 71.6783 73.0769 73.7762
breast-w 95.9943 95.7082 95.8512 96.9957 96.7096 94.5637 95.422
diabetes 77.474 75.9115 76.5625 76.8229 73.8281 74.8698 75.5208
heart-c 84.4884 78.2178 83.4983 83.4983 81.5182 77.2277 80.198
heart-statlog 85.5556 80.7407 81.4815 83.7037 82.5926 81.1111 79.2593
hepatitis 87.7419 79.3548 86.4516 83.2258 81.9355 81.2903 77.4194
hypothyroid 94.6448 95.7052 94.9629 93.1336 91.2513 96.8187 97.1633
leukemia 98.6111 98.6111 100 98.6111 98.6111 84.7222 88.8889
liver-disorders 56.5217 62.029 58.5507 57.971 59.4203 60.8696 62.029
lung-cancer 71.875 71.875 71.875 75 65.625 71.875 65.625
lymphography 78.3784 78.3784 79.7297 85.8108 83.7838 77.027 73.6486
postoperative-patient 68.8889 64.4444 62.2222 67.7778 71.1111 70 71.1111
primary-tumor 47.7876 38.9381 33.6283 45.4277 47.7876 40.118 39.528
72
74
76
78
80
82
84
86
88
90
Accuracy
hepatitis
http://www.ssru.ac.th
81
8889909192939495969798
Accuracy
hypothyroid
75
80
85
90
95
100
105
Accuracy
leukemia
5354555657585960616263
Accuracy
liver‐disorders
60
62
64
66
68
70
72
74
76
Accuracy
lung‐cancer
666870727476788082848688
Accuracy
lymphography
56
58
60
62
64
66
68
70
72
Accuracy
postoperative‐patient
0
10
20
30
40
50
60
Accuracy
primary‐tumor
http://www.ssru.ac.th
82
ผลการทดลองจากตารางท 4.48 เมอทาการลดคณลกษณะดวย CFS และทาการเรยนร
กลมตวอยางตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ ซงประกอบดวยอลกอรทม
Naïve Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector
Machine, K-Nearest Neighbor, Decision Tree และ Ripper โดยวดประสทธภาพจากคาความ
ความถกตอง (Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม Ripper ใหประสทธภาพ
ออกมาดทสดคอ 73.77% กลมขอมล breast-w อลกอรทม Support Vector Machine ให
ประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Support Vector
Machine ใหประสทธภาพออกมาดทสดคอ 76.82% กลมขอมล heart-c อลกอรทม Naïve
Bayesใหประสทธภาพออกมาดทสดคอ 84.48% กลมขอมล heart-statlog อลกอรทม Naïve
Bayesใหประสทธภาพออกมาดทสดคอ 85.55% กลมขอมล hepatitis อลกอรทม Naïve Bayes
ใหประสทธภาพออกมาดทสดคอ 87.74% กลมขอมล hypothyroid อลกอรทม Ripper ให
ประสทธภาพออกมาดทสดคอ 97.16% กลมขอมล leukemia อลกอรทม Radial Basis Function
Network ใหประสทธภาพออกมาดทสดคอ 100% กลมขอมล liver-disorders อลกอรทม
Multilayer Perceptron กบ Ripper ใหประสทธภาพออกมาดทสดคอ 62.02% กลมขอมล lung-
cancer อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 75% กลมขอมล
lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.81%
กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor กบ Ripper ให
ประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayes กบ
K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 47.78%
http://www.ssru.ac.th
83
4.5 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอลดคณลกษณะดวยวธ
Feature selection method based on correlation measureand relevance & redundancy
analysis (FCBF)
ตารางท 4.49 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย FCBF และเรยนร
ดวยอลกอรทม NaiveBayes
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 70.2797 29.7203 0.876 0.746 0.876 0.805
recurrence-events 0.294 0.5 0.294 0.37
2. breast-w benign 95.8512 4.1488 0.952 0.984 0.952 0.968
malignant 0.971 0.914 0.971 0.942
3. diabetes tested_negative 77.474 22.526 0.876 0.798 0.876 0.835
tested_positive 0.586 0.717 0.586 0.645
4. heart-c <50 84.4884 15.5116 0.891 0.835 0.891 0.862
>50 0.79 0.858 0.79 0.823
5. heart-statlog absent 84.0741 15.9259 0.873 0.845 0.873 0.859
present 0.8 0.835 0.8 0.817
6. hepatitis DIE 84.5161 15.4839 0.625 0.625 0.625 0.625
LIVE 0.902 0.902 0.902 0.902
7. hypothyroid negative 94.6182 5.3818 0.993 0.956 0.993 0.974 compensated_hypothyroid 0.216 0.568 0.216 0.313 primary_hypothyroid 0.747 0.877 0.747 0.807
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 98.6111 1.3889 0.979 1 0.979 0.989
AML 1 0.962 1 0.98
9. liver-disorders class 1 56.5217 43.4783 0.497 0.483 0.497 0.49
class 2 0.615 0.628 0.615 0.621
10. lung-cancer class 1 62.5 37.5 0.889 0.571 0.889 0.696 class 2 0.385 0.556 0.385 0.455
class 3 0.7 0.778 0.7 0.737
11. lymphography normal 79.7297 20.2703 0.5 0.5 0.5 0.5 metastases 0.852 0.821 0.852 0.836 malign_lymph 0.738 0.776 0.738 0.756
fibrosis 0.75 0.75 0.75 0.75 12. postoperative A 67.7778 32.2222 0.953 0.701 0.953 0.808 -patient I 0 0 0 0
S 0 0 0 0
13. primary-tumor lung 47.1976 52.8024 0.714 0.606 0.714 0.656 head and neck 0.95 0.704 0.95 0.809 esophagus 0 0 0 0 thyroid 0.214 0.429 0.214 0.286 stomach 0.179 0.219 0.179 0.197 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.286 0.229 0.286 0.254 gallbladder 0.625 0.357 0.625 0.455 liver 0 0 0 0 kidney 0.375 0.321 0.375 0.346 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 0.6 0.3 0.4 ovary 0.759 0.449 0.759 0.564 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.792 0.731 0.792 0.76
http://www.ssru.ac.th
84
ตารางท 4.50 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย FCBF และเรยนร
ดวยอลกอรทม MultilayerPerceptron
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 68.8811 31.1189 0.891 0.728 0.891 0.801
recurrence-events 0.212 0.45 0.212 0.288
2. breast-w benign 96.2804 3.7196 0.969 0.974 0.969 0.972
malignant 0.95 0.942 0.95 0.946
3. diabetes tested_negative 75.3906 24.6094 0.834 0.797 0.834 0.815
tested_positive 0.604 0.661 0.604 0.632
4. heart-c <50 81.8482 18.1518 0.848 0.824 0.848 0.836
>50 0.783 0.812 0.783 0.797
5. heart-statlog absent 81.4815 18.5185 0.867 0.813 0.867 0.839
present 0.75 0.818 0.75 0.783
6. hepatitis DIE 85.8065 14.1935 0.656 0.656 0.656 0.656
LIVE 0.911 0.911 0.911 0.911
7. hypothyroid negative 96.368 3.632 0.986 0.981 0.986 0.983 compensated_hypothyroid 0.649 0.685 0.649 0.667 primary_hypothyroid 0.811 0.875 0.811 0.842
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 100 0 1 1 1 1
AML 1 1 1 1
9. liver-disorders class 1 59.4203 40.5797 0.366 0.525 0.366 0.431
class 2 0.76 0.623 0.76 0.685
10. lung-cancer class 1 62.5 37.5 0.889 0.533 0.889 0.667 class 2 0.385 0.625 0.385 0.476
class 3 0.7 0.778 0.7 0.737
11. lymphography normal 80.4054 19.5946 0 0 0 0 metastases 0.852 0.821 0.852 0.836 malign_lymph 0.787 0.774 0.787 0.78
fibrosis 0.5 1 0.5 0.667 12. postoperative-patient A 66.6667 33.3333 0.922 0.702 0.922 0.797 I 0 0 0 0
S 0.042 0.2 0.042 0.069
13. primary-tumor lung 39.233 60.767 0.619 0.559 0.619 0.588 head and neck 0.9 0.692 0.9 0.783 esophagus 0 0 0 0 thyroid 0.357 0.455 0.357 0.4 stomach 0.154 0.222 0.154 0.182 duoden and sm.int 0 0 0 0 colon 0.143 0.143 0.143 0.143 rectum 0.333 0.5 0.333 0.4 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.107 0.097 0.107 0.102 gallbladder 0.188 0.214 0.188 0.2 liver 0 0 0 0 kidney 0.167 0.143 0.167 0.154 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.2 0.2 0.2 ovary 0.621 0.5 0.621 0.554 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.75 0.692 0.75 0.72
http://www.ssru.ac.th
85
ตารางท 4.51 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย FCBF และเรยนร
ดวยอลกอรทม Radial Basis Function
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 69.5804 30.4196 0.891 0.734 0.891 0.804
recurrence-events 0.235 0.476 0.235 0.315
2. breast-w benign 95.5651 4.4349 0.95 0.982 0.95 0.966
malignant 0.967 0.91 0.967 0.938
3. diabetes tested_negative 76.5625 23.4375 0.858 0.797 0.858 0.827
tested_positive 0.593 0.691 0.593 0.639
4. heart-c <50 83.4983 16.5017 0.885 0.825 0.885 0.854
>50 0.775 0.849 0.775 0.811
5. heart-statlog absent 82.5926 17.4074 0.84 0.846 0.84 0.843
present 0.808 0.802 0.808 0.805
6. hepatitis DIE 85.1613 14.8387 0.563 0.667 0.563 0.61
LIVE 0.927 0.891 0.927 0.908
7. hypothyroid negative 95.175 4.825 0.99 0.962 0.99 0.976 compensated_hypothyroid 0.325 0.643 0.325 0.432 primary_hypothyroid 0.842 0.87 0.842 0.856
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 98.6111 1.3889 0.979 1 0.979 0.989
AML 1 0.962 1 0.98
9. liver-disorders class 1 58.5507 41.4493 0.414 0.508 0.414 0.456
class 2 0.71 0.626 0.71 0.665
10. lung-cancer class 1 56.25 43.75 0.667 0.545 0.667 0.6 class 2 0.385 0.455 0.385 0.417
class 3 0.7 0.7 0.7 0.7
11. lymphography normal 78.3784 21.6216 0 0 0 0 metastases 0.852 0.802 0.852 0.826 malign_lymph 0.721 0.772 0.721 0.746
fibrosis 0.75 0.75 0.75 0.75 12. postoperative-patient A 67.7778 32.2222 0.953 0.701 0.953 0.808 I 0 0 0 0
S 0 0 0 0
13. primary-tumor lung 35.9882 64.0118 0.56 0.588 0.56 0.573 head and neck 0.9 0.783 0.9 0.837 esophagus 0 0 0 0 thyroid 0.143 0.222 0.143 0.174 stomach 0.051 0.061 0.051 0.056 duoden and sm.int 0 0 0 0 colon 0.143 0.1 0.143 0.118 rectum 0.333 0.333 0.333 0.333 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.143 0.154 0.143 0.148 gallbladder 0.188 0.214 0.188 0.2 liver 0 0 0 0 kidney 0.333 0.229 0.333 0.271 bladder 0.5 0.5 0.5 0.5 testis 0 0 0 0 prostate 0.2 0.222 0.2 0.211 ovary 0.621 0.5 0.621 0.554 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.542 0.722 0.542 0.619
http://www.ssru.ac.th
86
ตารางท 4.52 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย FCBF และเรยนร
ดวยอลกอรทม Support Vector Machine
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 72.3776 27.6224 0.876 0.765 0.876 0.817
recurrence-events 0.365 0.554 0.365 0.44
2. breast-w benign 96.8526 3.1474 0.974 0.978 0.974 0.976
malignant 0.959 0.951 0.959 0.955
3. diabetes tested_negative 77.0833 22.9167 0.9 0.781 0.9 0.836
tested_positive 0.53 0.74 0.53 0.617
4. heart-c <50 83.4983 16.5017 0.891 0.821 0.891 0.855
>50 0.768 0.855 0.768 0.809
5. heart-statlog absent 83.7037 16.2963 0.867 0.844 0.867 0.855
present 0.8 0.828 0.8 0.814
6. hepatitis DIE 83.871 16.129 0.438 0.667 0.438 0.528
LIVE 0.943 0.866 0.943 0.903
7. hypothyroid negative 93.1071 6.8929 0.999 0.931 0.999 0.964 compensated_hypothyroid 0 0 0 0 primary_hypothyroid 0.358 0.895 0.358 0.511
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 100 0 1 1 1 1
AML 1 1 1 1
9. liver-disorders class 1 57.971 42.029 0 0 0 0
class 2 1 0.58 1 0.734
10. lung-cancer class 1 59.375 40.625 0.889 0.571 0.889 0.696 class 2 0.385 0.5 0.385 0.435
class 3 0.6 0.75 0.6 0.667
11. lymphography normal 81.7568 18.2432 0.5 1 0.5 0.667 metastases 0.889 0.809 0.889 0.847 malign_lymph 0.738 0.818 0.738 0.776
fibrosis 0.75 1 0.75 0.857 12. postoperative-patient A 67.7778 32.2222 0.953 0.701 0.953 0.808 I 0 0 0 0
S 0 0 0 0
13. primary-tumor lung 44.5428 55.4572 0.774 0.546 0.774 0.64 head and neck 0.95 0.704 0.95 0.809 esophagus 0 0 0 0 thyroid 0.429 0.429 0.429 0.429 stomach 0.179 0.2 0.179 0.189 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.214 0.2 0.214 0.207 gallbladder 0.438 0.292 0.438 0.35 liver 0 0 0 0 kidney 0.167 0.222 0.167 0.19 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 0.375 0.3 0.333 ovary 0.586 0.436 0.586 0.5 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.708 0.81 0.708 0.756
http://www.ssru.ac.th
87
ตารางท 4.53 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย FCBF และเรยนร
ดวยอลกอรทม K-Nearest Neighbor
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 68.8811 31.1189 0.915 0.719 0.915 0.805
recurrence-events 0.153 0.433 0.153 0.226
2. breast-w benign 96.9957 3.0043 0.974 0.98 0.974 0.977
malignant 0.963 0.951 0.963 0.957
3. diabetes tested_negative 73.8281 26.1719 0.832 0.78 0.832 0.805
tested_positive 0.563 0.643 0.563 0.6
4. heart-c <50 81.5182 18.4818 0.861 0.811 0.861 0.835
>50 0.761 0.82 0.761 0.789
5. heart-statlog absent 82.963 17.037 0.887 0.821 0.887 0.853
present 0.758 0.843 0.758 0.798
6. hepatitis DIE 84.5161 15.4839 0.469 0.682 0.469 0.556
LIVE 0.943 0.872 0.943 0.906
7. hypothyroid negative 96.2089 3.7911 0.987 0.977 0.987 0.982 compensated_hypothyroid 0.613 0.692 0.613 0.65 primary_hypothyroid 0.789 0.882 0.789 0.833
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 98.6111 1.3889 1 0.979 1 0.989
AML 0.96 1 0.96 0.98
9. liver-disorders class 1 59.4203 40.5797 0.462 0.519 0.462 0.489
class 2 0.69 0.639 0.69 0.663
10. lung-cancer class 1 65.625 34.375 0.889 0.533 0.889 0.667 class 2 0.462 0.6 0.462 0.522
class 3 0.7 1 0.7 0.824
11. lymphography normal 81.0811 18.9189 0 0 0 0 metastases 0.938 0.792 0.938 0.859 malign_lymph 0.721 0.846 0.721 0.779
fibrosis 0 0 0 0 12. postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0
S 0 0 0 0
13. primary-tumor lung 45.7227 54.2773 0.75 0.589 0.75 0.66 head and neck 0.95 0.704 0.95 0.809 esophagus 0 0 0 0 thyroid 0.286 0.4 0.286 0.333 stomach 0.077 0.143 0.077 0.1 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.393 0.268 0.393 0.319 gallbladder 0.5 0.333 0.5 0.4 liver 0 0 0 0 kidney 0.292 0.412 0.292 0.341 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.182 0.2 0.19 ovary 0.724 0.412 0.724 0.525 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.708 0.739 0.708 0.723
http://www.ssru.ac.th
88
ตารางท 4.54 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย FCBF และเรยนร
ดวยอลกอรทม Decision Tree
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 69.9301 30.0699 0.886 0.739 0.886 0.805
recurrence-events 0.259 0.489 0.259 0.338
2. breast-w benign 95.8512 4.1488 0.963 0.974 0.963 0.968
malignant 0.95 0.931 0.95 0.94
3. diabetes tested_negative 74.8698 25.1302 0.852 0.782 0.852 0.815
tested_positive 0.556 0.668 0.556 0.607
4. heart-c <50 77.2277 22.7723 0.842 0.764 0.842 0.801
>50 0.688 0.785 0.688 0.734
5. heart-statlog absent 82.963 17.037 0.88 0.825 0.88 0.852
present 0.767 0.836 0.767 0.8
6. hepatitis DIE 82.5806 17.4194 0.375 0.632 0.375 0.471
LIVE 0.943 0.853 0.943 0.896
7. hypothyroid negative 97.3224 2.6776 0.981 0.999 0.981 0.99 compensated_hypothyroid 0.948 0.684 0.948 0.795 primary_hypothyroid 0.747 0.866 0.747 0.802
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 86.1111 13.8889 0.851 0.93 0.851 0.889
AML 0.88 0.759 0.88 0.815
9. liver-disorders class 1 60.8696 39.1304 0.476 0.539 0.476 0.505
class 2 0.705 0.65 0.705 0.676
10. lung-cancer class 1 56.25 43.75 0.889 0.615 0.889 0.727 class 2 0.385 0.455 0.385 0.417
class 3 0.5 0.625 0.5 0.556
11. lymphography normal 75.6757 24.3243 0.5 0.333 0.5 0.4 metastases 0.827 0.807 0.827 0.817 malign_lymph 0.721 0.721 0.721 0.721
fibrosis 0 0 0 0 12. postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0
S 0 0 0 0
13. primary-tumor lung 41.8879 58.1121 0.607 0.443 0.607 0.513 head and neck 0.95 0.76 0.95 0.844 esophagus 0 0 0 0 thyroid 0.143 0.2 0.143 0.167 stomach 0.103 0.133 0.103 0.116 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.25 0.212 0.25 0.23 gallbladder 0.563 0.36 0.563 0.439 liver 0 0 0 0 kidney 0.333 0.364 0.333 0.348 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.759 0.5 0.759 0.603 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0
breast 0.833 0.714 0.833 0.769
http://www.ssru.ac.th
89
ตารางท 4.55 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย FCBF และเรยนร
ดวยอลกอรทม Ripper
Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure
1. breast-cancer no-recurrence-events 72.3776 27.6224 0.876 0.765 0.876 0.817
recurrence-events 0.365 0.554 0.365 0.44
2. breast-w benign 95.1359 4.8641 0.952 0.973 0.952 0.962
malignant 0.95 0.912 0.95 0.931
3. diabetes tested_negative 75.5208 24.4792 0.862 0.784 0.862 0.821
tested_positive 0.556 0.683 0.556 0.613
4. heart-c <50 79.538 20.462 0.848 0.791 0.848 0.819
>50 0.732 0.802 0.732 0.765
5. heart-statlog absent 84.4444 15.5556 0.86 0.86 0.86 0.86
present 0.825 0.825 0.825 0.825
6. hepatitis DIE 78.7097 21.2903 0.344 0.478 0.344 0.4
LIVE 0.902 0.841 0.902 0.871
7. hypothyroid negative 97.5345 2.4655 0.981 0.998 0.981 0.989 compensated_hypothyroid 0.964 0.703 0.964 0.813 primary_hypothyroid 0.821 0.918 0.821 0.867
secondary_hypothyroid 0 0 0 0
8. leukemia ALL 90.2778 9.7222 0.936 0.917 0.936 0.926
AML 0.84 0.875 0.84 0.857
9. liver-disorders class 1 62.029 37.971 0.517 0.551 0.517 0.534
class 2 0.695 0.665 0.695 0.68
10. lung-cancer class 1 56.25 43.75 0.889 0.615 0.889 0.727 class 2 0.308 0.444 0.308 0.364
class 3 0.6 0.6 0.6 0.6
11. lymphography normal 77.027 22.973 0 0 0 0 metastases 0.852 0.775 0.852 0.812 malign_lymph 0.689 0.764 0.689 0.724
fibrosis 0.75 0.75 0.75 0.75 12. postoperative-patient A 70 30 0.984 0.708 0.984 0.824 I 0 0 0 0
S 0 0 0 0
13. primary-tumor lung 38.9381 61.0619 0.869 0.333 0.869 0.482 head and neck 0.8 0.593 0.8 0.681 esophagus 0 0 0 0 thyroid 0 0 0 0 stomach 0 0 0 0 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.107 0.375 0.107 0.167 gallbladder 0.063 0.167 0.063 0.091 liver 0 0 0 0 kidney 0.083 0.154 0.083 0.108 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.655 0.594 0.655 0.623 corpus uteri 0 0 0 cervix uteri 0 0 0 vagina 0 0 0
breast 0.75 0.818 0.75 0.783
http://www.ssru.ac.th
90
ตารางท 4.56 การเปรยบเทยบประสทธภาพดาน TP Rate เมอลดคณลกษณะดวย FCBF
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.876 0.891 0.891 0.876 0.915 0.886 0.876
recurrence-events 0.294 0.212 0.235 0.365 0.153 0.259 0.365
breast-w benign 0.952 0.969 0.95 0.974 0.974 0.963 0.952
malignant 0.971 0.95 0.967 0.959 0.963 0.95 0.95
diabetes tested_negative 0.876 0.834 0.858 0.9 0.832 0.852 0.862
tested_positive 0.586 0.604 0.593 0.53 0.563 0.556 0.556
heart-c <50 0.891 0.848 0.885 0.891 0.861 0.842 0.848
>50 0.79 0.783 0.775 0.768 0.761 0.688 0.732
heart-statlog absent 0.873 0.867 0.84 0.867 0.887 0.88 0.86
present 0.8 0.75 0.808 0.8 0.758 0.767 0.825
hepatitis DIE 0.625 0.656 0.563 0.438 0.469 0.375 0.344
LIVE 0.902 0.911 0.927 0.943 0.943 0.943 0.902
hypothyroid negative 0.993 0.986 0.99 0.999 0.987 0.981 0.981 compensated 0.216 0.649 0.325 0 0.613 0.948 0.964 primary 0.747 0.811 0.842 0.358 0.789 0.747 0.821
secondary 0 0 0 0 0 0 0
leukemia ALL 0.979 1 0.979 1 1 0.851 0.936
AML 1 1 1 1 0.96 0.88 0.84
liver-disorders class 1 0.497 0.366 0.414 0 0.462 0.476 0.517
class 2 0.615 0.76 0.71 1 0.69 0.705 0.695
lung-cancer class 1 0.889 0.889 0.667 0.889 0.889 0.889 0.889 class 2 0.385 0.385 0.385 0.385 0.462 0.385 0.308
class 3 0.7 0.7 0.7 0.6 0.7 0.5 0.6
lymphography normal 0.5 0 0 0.5 0 0.5 0 metastases 0.852 0.852 0.852 0.889 0.938 0.827 0.852 malign_lymph 0.738 0.787 0.721 0.738 0.721 0.721 0.689
fibrosis 0.75 0.5 0.75 0.75 0 0 0.75
postoperative-patient A 0.953 0.922 0.953 0.953 1 1 0.984 I 0 0 0 0 0 0 0
S 0 0.042 0 0 0 0 0
primary-tumor lung 0.714 0.619 0.56 0.774 0.75 0.607 0.869 head and neck 0.95 0.9 0.9 0.95 0.95 0.95 0.8 esophagus 0 0 0 0 0 0 0 thyroid 0.214 0.357 0.143 0.429 0.286 0.143 0 stomach 0.179 0.154 0.051 0.179 0.077 0.103 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0.143 0.143 0 0 0 0 rectum 0 0.333 0.333 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.286 0.107 0.143 0.214 0.393 0.25 0.107 gallbladder 0.625 0.188 0.188 0.438 0.5 0.563 0.063 liver 0 0 0 0 0 0 0 kidney 0.375 0.167 0.333 0.167 0.292 0.333 0.083 bladder 0 0 0.5 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.3 0.2 0.2 0.3 0.2 0 0 ovary 0.759 0.621 0.621 0.586 0.724 0.759 0.655 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.792 0.75 0.542 0.708 0.708 0.833 0.75
http://www.ssru.ac.th
91
ตารางท 4.57 การเปรยบเทยบประสทธภาพดาน Precision เมอลดคณลกษณะดวย FCBF
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.746 0.728 0.734 0.765 0.719 0.739 0.765
recurrence-events 0.5 0.45 0.476 0.554 0.433 0.489 0.554
breast-w benign 0.984 0.974 0.982 0.978 0.98 0.974 0.973
malignant 0.914 0.942 0.91 0.951 0.951 0.931 0.912
diabetes tested_negative 0.798 0.797 0.797 0.781 0.78 0.782 0.784
tested_positive 0.717 0.661 0.691 0.74 0.643 0.668 0.683
heart-c <50 0.835 0.824 0.825 0.821 0.811 0.764 0.791
>50 0.858 0.812 0.849 0.855 0.82 0.785 0.802
heart-statlog absent 0.845 0.813 0.846 0.844 0.821 0.825 0.86
present 0.835 0.818 0.802 0.828 0.843 0.836 0.825
hepatitis DIE 0.625 0.656 0.667 0.667 0.682 0.632 0.478
LIVE 0.902 0.911 0.891 0.866 0.872 0.853 0.841
hypothyroid negative 0.956 0.981 0.962 0.931 0.977 0.999 0.998 compensated 0.568 0.685 0.643 0 0.692 0.684 0.703 primary 0.877 0.875 0.87 0.895 0.882 0.866 0.918
secondary 0 0 0 0 0 0 0
leukemia ALL 1 1 1 1 0.979 0.93 0.917
AML 0.962 1 0.962 1 1 0.759 0.875
liver-disorders class 1 0.483 0.525 0.508 0 0.519 0.539 0.551
class 2 0.628 0.623 0.626 0.58 0.639 0.65 0.665
lung-cancer class 1 0.571 0.533 0.545 0.571 0.533 0.615 0.615 class 2 0.556 0.625 0.455 0.5 0.6 0.455 0.444
class 3 0.778 0.778 0.7 0.75 1 0.625 0.6
lymphography normal 0.5 0 0 1 0 0.333 0 metastases 0.821 0.821 0.802 0.809 0.792 0.807 0.775 malign_lymph 0.776 0.774 0.772 0.818 0.846 0.721 0.764
fibrosis 0.75 1 0.75 1 0 0 0.75
postoperative-patient A 0.701 0.702 0.701 0.701 0.711 0.711 0.708 I 0 0 0 0 0 0 0
S 0 0.2 0 0 0 0 0
primary-tumor lung 0.606 0.559 0.588 0.546 0.589 0.443 0.333 head and neck 0.704 0.692 0.783 0.704 0.704 0.76 0.593 esophagus 0 0 0 0 0 0 0 thyroid 0.429 0.455 0.222 0.429 0.4 0.2 0 stomach 0.219 0.222 0.061 0.2 0.143 0.133 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0.143 0.1 0 0 0 0 rectum 0 0.5 0.333 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.229 0.097 0.154 0.2 0.268 0.212 0.375 gallbladder 0.357 0.214 0.214 0.292 0.333 0.36 0.167 liver 0 0 0 0 0 0 0 kidney 0.321 0.143 0.229 0.222 0.412 0.364 0.154 bladder 0 0 0.5 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.6 0.2 0.222 0.375 0.182 0 0 ovary 0.449 0.5 0.5 0.436 0.412 0.5 0.594 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.731 0.692 0.722 0.81 0.739 0.714 0.818
http://www.ssru.ac.th
92
ตารางท 4.58 การเปรยบเทยบประสทธภาพดาน Recall เมอลดคณลกษณะดวย FCBF
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.876 0.891 0.891 0.876 0.915 0.886 0.876
recurrence-events 0.294 0.212 0.235 0.365 0.153 0.259 0.365
breast-w benign 0.952 0.969 0.95 0.974 0.974 0.963 0.952
malignant 0.971 0.95 0.967 0.959 0.963 0.95 0.95
diabetes tested_negative 0.876 0.834 0.858 0.9 0.832 0.852 0.862
tested_positive 0.586 0.604 0.593 0.53 0.563 0.556 0.556
heart-c <50 0.891 0.848 0.885 0.891 0.861 0.842 0.848
>50 0.79 0.783 0.775 0.768 0.761 0.688 0.732
heart-statlog absent 0.873 0.867 0.84 0.867 0.887 0.88 0.86
present 0.8 0.75 0.808 0.8 0.758 0.767 0.825
hepatitis DIE 0.625 0.656 0.563 0.438 0.469 0.375 0.344
LIVE 0.902 0.911 0.927 0.943 0.943 0.943 0.902
hypothyroid negative 0.993 0.986 0.99 0.999 0.987 0.981 0.981 compensated 0.216 0.649 0.325 0 0.613 0.948 0.964 primary 0.747 0.811 0.842 0.358 0.789 0.747 0.821
secondary 0 0 0 0 0 0 0
leukemia ALL 0.979 1 0.979 1 1 0.851 0.936
AML 1 1 1 1 0.96 0.88 0.84
liver-disorders class 1 0.497 0.366 0.414 0 0.462 0.476 0.517
class 2 0.615 0.76 0.71 1 0.69 0.705 0.695
lung-cancer class 1 0.889 0.889 0.667 0.889 0.889 0.889 0.889 class 2 0.385 0.385 0.385 0.385 0.462 0.385 0.308
class 3 0.7 0.7 0.7 0.6 0.7 0.5 0.6
lymphography normal 0.5 0 0 0.5 0 0.5 0 metastases 0.852 0.852 0.852 0.889 0.938 0.827 0.852 malign_lymph 0.738 0.787 0.721 0.738 0.721 0.721 0.689
fibrosis 0.75 0.5 0.75 0.75 0 0 0.75
postoperative-patient A 0.953 0.922 0.953 0.953 1 1 0.984 I 0 0 0 0 0 0 0
S 0 0.042 0 0 0 0 0
primary-tumor lung 0.714 0.619 0.56 0.774 0.75 0.607 0.869 head and neck 0.95 0.9 0.9 0.95 0.95 0.95 0.8 esophagus 0 0 0 0 0 0 0 thyroid 0.214 0.357 0.143 0.429 0.286 0.143 0 stomach 0.179 0.154 0.051 0.179 0.077 0.103 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0.143 0.143 0 0 0 0 rectum 0 0.333 0.333 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.286 0.107 0.143 0.214 0.393 0.25 0.107 gallbladder 0.625 0.188 0.188 0.438 0.5 0.563 0.063 liver 0 0 0 0 0 0 0 kidney 0.375 0.167 0.333 0.167 0.292 0.333 0.083 bladder 0 0 0.5 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.3 0.2 0.2 0.3 0.2 0 0 ovary 0.759 0.621 0.621 0.586 0.724 0.759 0.655 corpus uteri 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 vagina 0 0 0 0 0 0
breast 0.792 0.75 0.542 0.708 0.708 0.833 0.75
http://www.ssru.ac.th
93
ตารางท 4.59 การเปรยบเทยบประสทธภาพดาน F-Measure เมอลดคณลกษณะดวย FCBF
Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer no-recurrence-events 0.805 0.801 0.804 0.817 0.805 0.805 0.817
recurrence-events 0.37 0.288 0.315 0.44 0.226 0.338 0.44
breast-w benign 0.968 0.972 0.966 0.976 0.977 0.968 0.962
malignant 0.942 0.946 0.938 0.955 0.957 0.94 0.931
diabetes tested_negative 0.835 0.815 0.827 0.836 0.805 0.815 0.821
tested_positive 0.645 0.632 0.639 0.617 0.6 0.607 0.613
heart-c <50 0.862 0.836 0.854 0.855 0.835 0.801 0.819
>50 0.823 0.797 0.811 0.809 0.789 0.734 0.765
heart-statlog absent 0.859 0.839 0.843 0.855 0.853 0.852 0.86
present 0.817 0.783 0.805 0.814 0.798 0.8 0.825
hepatitis DIE 0.625 0.656 0.61 0.528 0.556 0.471 0.4
LIVE 0.902 0.911 0.908 0.903 0.906 0.896 0.871
hypothyroid negative 0.974 0.983 0.976 0.964 0.982 0.99 0.989 compensated 0.313 0.667 0.432 0 0.65 0.795 0.813 primary 0.807 0.842 0.856 0.511 0.833 0.802 0.867
secondary 0 0 0 0 0 0 0
leukemia ALL 0.989 1 0.989 1 0.989 0.889 0.926
AML 0.98 1 0.98 1 0.98 0.815 0.857
liver-disorders class 1 0.49 0.431 0.456 0 0.489 0.505 0.534
class 2 0.621 0.685 0.665 0.734 0.663 0.676 0.68
lung-cancer class 1 0.696 0.667 0.6 0.696 0.667 0.727 0.727 class 2 0.455 0.476 0.417 0.435 0.522 0.417 0.364
class 3 0.737 0.737 0.7 0.667 0.824 0.556 0.6
lymphography normal 0.5 0 0 0.667 0 0.4 0 metastases 0.836 0.836 0.826 0.847 0.859 0.817 0.812 malign_lymph 0.756 0.78 0.746 0.776 0.779 0.721 0.724
fibrosis 0.75 0.667 0.75 0.857 0 0 0.75
postoperative-patient A 0.808 0.797 0.808 0.808 0.831 0.831 0.824 I 0 0 0 0 0 0 0
S 0 0.069 0 0 0 0 0
primary-tumor lung 0.656 0.588 0.573 0.64 0.66 0.513 0.482 head and neck 0.809 0.783 0.837 0.809 0.809 0.844 0.681 esophagus 0 0 0 0 0 0 0 thyroid 0.286 0.4 0.174 0.429 0.333 0.167 0 stomach 0.197 0.182 0.056 0.189 0.1 0.116 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0.143 0.118 0 0 0 0 rectum 0 0.4 0.333 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.254 0.102 0.148 0.207 0.319 0.23 0.167 gallbladder 0.455 0.2 0.2 0.35 0.4 0.439 0.091 liver 0 0 0 0 0 0 0 kidney 0.346 0.154 0.271 0.19 0.341 0.348 0.108 bladder 0 0 0.5 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.4 0.2 0.211 0.333 0.19 0 0 ovary 0.564 0.554 0.554 0.5 0.525 0.603 0.623 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0
breast 0.76 0.72 0.619 0.756 0.723 0.769 0.783
http://www.ssru.ac.th
94
67
68
69
70
71
72
73
Accuracy
breast‐cancer
94
94.5
95
95.5
96
96.5
97
97.5
Accuracy
breast‐w
72
73
74
75
76
77
78
Accuracy
diabetes
72
74
76
78
80
82
84
86
Accuracy
heart‐c
8080.581
81.582
82.583
83.584
84.585
Accuracy
heart‐statlog
74
76
78
80
82
84
86
88
Accuracy
hepatitis
ตารางท 4.60 การเปรยบเทยบประสทธภาพดาน Accuracy เมอลดคณลกษณะดวย FCBF
Dataset NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer 70.2797 68.8811 69.5804 72.3776 68.8811 69.9301 72.3776
breast-w 95.8512 96.2804 95.5651 96.8526 96.9957 95.8512 95.1359
diabetes 77.474 75.3906 76.5625 77.0833 73.8281 74.8698 75.5208
heart-c 84.4884 81.8482 83.4983 83.4983 81.5182 77.2277 79.538
heart-statlog 84.0741 81.4815 82.5926 83.7037 82.963 82.963 84.4444
hepatitis 84.5161 85.8065 85.1613 83.871 84.5161 82.5806 78.7097
hypothyroid 94.6182 96.368 95.175 93.1071 96.2089 97.3224 97.5345
leukemia 98.6111 100 98.6111 100 98.6111 86.1111 90.2778
liver-disorders 56.5217 59.4203 58.5507 57.971 59.4203 60.8696 62.029
lung-cancer 62.5 62.5 56.25 59.375 65.625 56.25 56.25
lymphography 79.7297 80.4054 78.3784 81.7568 81.0811 75.6757 77.027
postoperative-patient 67.7778 66.6667 67.7778 67.7778 71.1111 71.1111 70
primary-tumor 47.1976 39.233 35.9882 44.5428 45.7227 41.8879 38.9381
http://www.ssru.ac.th
95
90
91
92
93
94
95
96
97
98
Accuracy
hypothyroid
75
80
85
90
95
100
105
Accuracy
leukemia
5354555657585960616263
Accuracy
liver‐disorders
50
52
54
56
58
60
62
64
66
68
Accuracy
lung‐cancer
727374757677787980818283
Accuracy
lymphography
64
65
66
67
68
69
70
71
72
Accuracy
postoperative‐patient
05101520253035404550
Accuracy
primary‐tumor
http://www.ssru.ac.th
96
ผลการทดลองจากตารางท 4.60 เมอทาการลดคณลกษณะดวย FCBF และทาการเรยนร
กลมตวอยางตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ ซงประกอบดวยอลกอรทม
Naïve Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector
Machine, K-Nearest Neighbor, Decision Tree และ Ripper โดยวดประสทธภาพจากคาความ
ความถกตอง (Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม Support Vector
Machine กบ Ripper ใหประสทธภาพออกมาดทสดคอ 72.37% กลมขอมล breast-w อลกอรทม
K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม
Naïve Bayesใหประสทธภาพออกมาดทสดคอ 77.47% กลมขอมล heart-c อลกอรทม Naïve
Bayesใหประสทธภาพออกมาดทสดคอ 84.48% กลมขอมล heart-statlog อลกอรทม Ripper
ใหประสทธภาพออกมาดทสดคอ 84.44% กลมขอมล hepatitis อลกอรทม Multilayer
Perceptron ใหประสทธภาพออกมาดทสดคอ 85.80% กลมขอมล hypothyroid อลกอรทม
Ripper ใหประสทธภาพออกมาดทสดคอ 97.53% กลมขอมล leukemia อลกอรทม Multilayer
Perceptron กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 100% กลมขอมล
liver-disorders อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 62.02% กลมขอมล lung-
cancer อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 65.62% กลมขอมล
lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 81.75%
กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor กบ Decision Tree ให
ประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayesให
ประสทธภาพออกมาดทสดคอ 47.19% จากขอมลกราฟดงกลาว ทาใหเราสามารถสรปไดวา
อลกอรทมประเภทไหนเหมาะสมกบชดขอมลแบบใด ทสงผลใหคาความความถกตองสงทสด
http://www.ssru.ac.th
97
4.6 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมโดยไมลดคณลกษณะดวย
วธ Single learning กบ Multiple learning ใชเพมประสทธภาพดวยวธ Bagging และ
Boosting
ตารางท 4.61 การเปรยบเทยบประสทธภาพดาน Accuracy ของ Single learning กบ Multiple
learning
Single learning
Dataset NaiveBayes Perceptron RBF SVM KNN J48 Ripper
breast-cancer 71.6783 66.7832 70.979 69.5804 73.4266 75.5245 70.979 breast-w 95.9943 96.1373 95.8512 96.9957 96.7096 94.5637 95.422 diabetes 76.3021 75.2604 75.3906 77.3438 73.1771 73.8281 76.0417 heart-c 83.4983 76.2376 83.8284 84.1584 81.8482 77.5578 81.5182 heart-statlog 83.7037 81.1111 84.0741 84.0741 78.5185 76.6667 78.8889 hepatitis 84.5161 78.0645 85.8065 85.1613 85.8065 83.871 78.0645 hypothyroid 95.281 93.8494 95.228 93.6108 93.2662 99.5758 99.3372 leukemia 98.6111 97.2222 97.2222 98.6111 81.9444 81.9444 88.8889 liver-disorders 55.3623 63.4783 64.3478 58.2609 59.1304 68.6957 64.6377 lung-cancer 62.5 40.625 53.125 50 40.625 40.625 59.375 lymphography 83.1081 81.0811 80.4054 86.4865 83.7838 77.027 77.7027 postoperative-patient 66.6667 52.2222 56.6667 67.7778 71.1111 70 71.1111 primary-tumor 50.1475 45.7227 35.3982 46.9027 48.0826 39.823 39.233
Multiple learning (Bagging)
Dataset Bagging NaiveBayes
Bagging Perceptron
Bagging RBF
Bagging SVM
Bagging KNN
Bagging J48
Bagging Ripper
breast-cancer 72.028 71.3287 72.7273 68.5315 74.8252 73.4266 73.7762
breast-w 95.9943 95.9943 95.9943 96.7096 96.8526 95.8512 95.7082
diabetes 76.0417 75.1302 75.651 77.474 72.7865 74.0885 75.5208
heart-c 83.8284 81.5182 84.8185 85.1485 83.4983 79.2079 82.1782
heart-statlog 82.963 81.4815 84.0741 84.4444 77.7778 80 84.0741
hepatitis 85.1613 81.2903 87.0968 85.8065 83.2258 83.2258 80.6452
hypothyroid 95.4666 95.0159 95.5461 93.5843 93.5313 99.5758 99.4963
leukemia 97.2222 96.2222 97.2222 97.2222 81.9444 94.4444 87.5
liver-disorders 57.1014 69.5652 66.3768 57.971 61.7391 72.7536 72.4638
lung-cancer 53.125 53.125 50 50 53.125 46.875 50
lymphography 83.1081 83.7838 82.4324 85.8108 84.4595 79.0541 81.0811
postoperative-patient 68.8889 55.5556 63.3333 68.8889 71.1111 70 68.8889
primary-tumor 49.5575 45.1327 42.1829 48.6726 46.0177 42.1829 41.0029
Multiple learning (Boosting)
Dataset Boosting NaiveBayes
Boosting Perceptron
Boosting RBF
Boosting SVM
Boosting KNN
Boosting J48
Boosting Ripper
breast-cancer 64.6853 66.4336 68.8811 69.5804 73.4266 64.6853 69.9301
breast-w 95.5651 95.5651 95.422 96.7096 96.7096 95.9943 95.1359
diabetes 76.1719 75.3906 75 77.3438 73.1771 72.9167 74.4792
heart-c 84.1584 78.2178 84.1584 84.8185 81.1881 78.5479 76.5677
heart-statlog 82.5926 78.8889 78.5185 84.0741 74.4444 76.6667 80
hepatitis 85.8065 76.129 83.871 81.2903 85.8065 87.0968 83.2258
hypothyroid 95.281 93.8494 95.8643 94.9894 89.6341 99.6288 99.2047
leukemia 98.6111 97.2222 93.0556 98.6111 84.7222 87.5 95.8333
liver-disorders 67.2464 65.5072 65.7971 62.029 59.1304 71.0145 73.3333
lung-cancer 40.625 40.625 46.875 50 40.625 50 46.875
lymphography 80.4054 81.0811 83.7838 83.7838 77.027 83.1081 84.4595
postoperative-patient 63.3333 56.6667 64.4444 64.4444 71.1111 60 67.7778
primary-tumor 50.1475 46.6077 39.528 46.9027 48.0826 41.2979 37.7581
http://www.ssru.ac.th
98
breast-cancer
5860626466687072747678
NaiveB
ayes
Perce
ptro
nRBF
SVMKNN
J48
Ripper
Baggi
ng N
aiveB
ayes
Baggi
ng P
erce
ptro
n
Baggi
ng R
BF
Baggi
ng S
VM
Baggi
ng K
NN
Baggi
ng J4
8
Baggi
ng R
ipper
Boost
ing N
aive
Bayes
Boost
ing P
erce
ptro
n
Boost
ing R
BF
Boost
ing S
VM
Boost
ing K
NN
Boost
ing J
48
Boost
ing R
ippe
r
breast-w
9393.5
9494.5
9595.5
9696.5
9797.5
NaiveB
ayes
Perce
ptro
nRBF
SVMKNN
J48
Ripper
Baggi
ng N
aiveB
ayes
Baggi
ng P
erce
ptro
n
Baggi
ng R
BF
Baggi
ng S
VM
Baggi
ng K
NN
Baggi
ng J4
8
Baggi
ng R
ipper
Boost
ing N
aive
Bayes
Boost
ing P
erce
ptro
n
Boost
ing R
BF
Boost
ing S
VM
Boost
ing K
NN
Boost
ing J
48
Boost
ing R
ippe
r
diabetes
70
71
72
73
74
75
76
77
78
Naive
Bayes
Perce
ptro
nRBF
SVM KNNJ4
8
Rippe
r
Bagging
Naive
Baye
s
Bagging
Per
cept
ron
Bagging
RBF
Bagging
SVM
Bagging
KNN
Bagging
J48
Bagging
Rippe
r
Boosting
Naive
Baye
s
Boosting
Perce
ptro
n
Boosting
RBF
Boosting
SVM
Boosting
KNN
Boosting
J48
Boosting
Rippe
r
heart-c
70
72
74
76
78
80
82
84
86
Naive
Bayes
Perce
ptron
RBFSVM KNN
J48
Rippe
r
Bagging
Naive
Baye
s
Bagging
Per
ceptro
n
Bagging
RBF
Bagging
SVM
Bagging
KNN
Bagging
J48
Bagging
Rippe
r
Boosting Naive
Baye
s
Boosting Per
ceptro
n
Boosting RBF
Boosting SVM
Boosting KNN
Boosting J4
8
Boosting Rippe
r
http://www.ssru.ac.th
99
heart-statlog
6870727476
7880828486
Naive
Bayes
Perce
ptron
RBFSVM KNN
J48
Rippe
r
Bagging
Naive
Baye
s
Bagging
Per
ceptro
n
Bagging
RBF
Bagging
SVM
Bagging
KNN
Bagging
J48
Bagging
Rippe
r
Boosting Naive
Baye
s
Boosting
Perce
ptro
n
Boosting
RBF
Boosting SVM
Boosting KNN
Boosting J4
8
Boosting Rippe
r
hepatitis
7072747678
8082848688
Naive
Bayes
Perce
ptro
nRBF
SVM KNNJ4
8
Rippe
r
Bagging
Naive
Baye
s
Bagging
Per
ceptro
n
Bagging
RBF
Bagging
SVM
Bagging
KNN
Bagging
J48
Bagging
Rippe
r
Boosting
Naive
Baye
s
Boosting
Perce
ptro
n
Boosting
RBF
Boosting SVM
Boosting
KNN
Boosting
J48
Boosting
Rippe
r
hypothyroid
8486889092
949698
100102
Naive
Bayes
Perce
ptro
nRBF
SVM KNNJ4
8
Rippe
r
Bagging
Naive
Baye
s
Bagging
Per
cept
ron
Bagging
RBF
Bagging
SVM
Bagging
KNN
Bagging
J48
Bagging
Rippe
r
Boosting
Naive
Baye
s
Boosting
Perce
ptro
n
Boosting
RBF
Boosting
SVM
Boosting
KNN
Boosting
J48
Boosting
Rippe
r
leukemia
0
20
40
60
80
100
120
Naive
Bayes
Perce
ptron
RBFSVM KNN
J48
Rippe
r
Bagging
Naive
Baye
s
Bagging
Per
cept
ron
Bagging
RBF
Bagging
SVM
Bagging
KNN
Bagging
J48
Bagging
Rippe
r
Boosting Naive
Baye
s
Boosting Per
ceptro
n
Boosting RBF
Boosting SVM
Boosting KNN
Boosting J4
8
Boosting Rippe
r
http://www.ssru.ac.th
100
liver-disorders
0
10
20
30
40
50
60
70
80
Naive
Bayes
Perce
ptron
RBFSVM KNN
J48
Rippe
r
Bagging
Naive
Baye
s
Bagging
Per
ceptro
n
Bagging
RBF
Bagging
SVM
Bagging
KNN
Bagging
J48
Bagging
Rippe
r
Boosting
Naive
Baye
s
Boosting Per
ceptro
n
Boosting RBF
Boosting SVM
Boosting
KNN
Boosting J4
8
Boosting Rippe
r
lung-cancer
0
10
20
30
40
50
60
70
Naive
Bayes
Perce
ptron
RBFSVM KNN
J48
Rippe
r
Bagging
Naive
Baye
s
Bagging
Per
ceptro
n
Bagging
RBF
Bagging
SVM
Bagging
KNN
Bagging
J48
Bagging
Rippe
r
Boosting
Naive
Baye
s
Boosting Per
ceptro
n
Boosting RBF
Boosting SVM
Boosting
KNN
Boosting J4
8
Boosting Rippe
r
lymphography
72
74
76
78
80
82
84
86
88
Naive
Bayes
Perce
ptron
RBFSVM KNN
J48
Rippe
r
Bagging
Naive
Baye
s
Bagging
Per
ceptro
n
Bagging
RBF
Bagging
SVM
Bagging
KNN
Bagging
J48
Bagging
Rippe
r
Boosting Naive
Baye
s
Boosting
Perce
ptro
n
Boosting RBF
Boosting SVM
Boosting KNN
Boosting
J48
Boosting Rippe
r
postoperative-patient
0
10
20
30
40
50
60
70
80
Naive
Bayes
Perce
ptron
RBFSVM KNN
J48
Rippe
r
Bagging
Naive
Baye
s
Bagging
Per
ceptro
n
Bagging
RBF
Bagging
SVM
Bagging
KNN
Bagging
J48
Bagging
Rippe
r
Boosting Naive
Baye
s
Boosting
Perce
ptro
n
Boosting RBF
Boosting SVM
Boosting KNN
Boosting
J48
Boosting Rippe
r
http://www.ssru.ac.th
101
primary-tumor
0
10
20
30
40
50
60
Naive
Bayes
Perce
ptron
RBFSVM KNN
J48
Rippe
r
Bagging
Naive
Baye
s
Bagging
Per
ceptro
n
Bagging
RBF
Bagging
SVM
Bagging
KNN
Bagging
J48
Bagging
Rippe
r
Boosting Naive
Baye
s
Boosting Per
ceptro
n
Boosting RBF
Boosting SVM
Boosting KNN
Boosting J4
8
Boosting Rippe
r
ผลการทดลองจากตารางท 4.61 เมอทาการเปรยบเทยบประสทธภาพดาน Accuracy
ของ Single learning กบ Multiple learning จากการเรยนรกลมตวอยางตามแบบจาลองการ
วเคราะหโรคอตโนมตทนาเสนอ ซงประกอบดวยอลกอรทม Naïve Bayes,Multilayer
Perceptron,Radial Basis Function Network, Support Vector Machine, K-Nearest
Neighbor, Decision Tree และ Ripper โดยวดประสทธภาพจากคาความความถกตอง
(Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม Decision Tree ใหประสทธภาพ
ออกมาดทสดคอ 75.52% กลมขอมล breast-w อลกอรทม Support Vector Machine ให
ประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Bagging Support
Vector Machine ใหประสทธภาพออกมาดทสดคอ 77.47% กลมขอมล heart-c อลกอรทม
Bagging Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.14% กลมขอมล
heart-statlog อลกอรทม Bagging Support Vector Machine ใหประสทธภาพออกมาดทสดคอ
84.44% กลมขอมล hepatitis อลกอรทม Bagging RBF กบ Boosting J48 ใหประสทธภาพ
ออกมาดทสดคอ 87.09% กลมขอมล hypothyroid อลกอรทม Boosting Decision Tree ให
ประสทธภาพออกมาดทสดคอ 99.62% กลมขอมล leukemia อลกอรทม Naïve Bayes
,Boosting Naïve Bayes กบ Support Vector Machine ,Boosting Support Vector Machine
ใหประสทธภาพออกมาดทสดคอ 98.61% กลมขอมล liver-disorders อลกอรทม Boosting
Ripper ใหประสทธภาพออกมาดทสดคอ 73.33% กลมขอมล lung-cancer อลกอรทม Naïve
Bayes ใหประสทธภาพออกมาดทสดคอ 62.5% กลมขอมล lymphography อลกอรทม Support
Vector Machine ใหประสทธภาพออกมาดทสดคอ 86.48% กลมขอมล postoperative-patient
http://www.ssru.ac.th
102
อลกอรทม K-Nearest Neighbor ,Ripper, Bagging และ Boosting K-Nearest Neighbor ให
ประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayes กบ
Boosting Naïve Bayesใหประสทธภาพออกมาดทสดคอ 50.14% จากขอมลกราฟดงกลาว ทาให
เราสามารถสรปไดวาอลกอรทมประเภทไหนเหมาะสมกบชดขอมลแบบใด ทสงผลใหคาความ
ความถกตองสงทสด
http://www.ssru.ac.th
103
4.7 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมโดยไมลดคณลกษณะกบ
การลดคณลกษณะดวยวธ CFS และวธ FCBF
ตารางท 4.62 การเปรยบเทยบประสทธภาพดาน Accuracy เมอไมลดคณลกษณะกบลด
คณลกษณะดวยวธ CFS และวธ FCBF
No Feature Selection Dataset
NaiveBayes
Perceptron
RBF
SVM
KNN
J48
Ripper
breast-cancer 71.6783 66.7832 70.979 69.5804 73.4266 75.5245 70.979 breast-w 95.9943 96.1373 95.8512 96.9957 96.7096 94.5637 95.422 diabetes 76.3021 75.2604 75.3906 77.3438 73.1771 73.8281 76.0417 heart-c 83.4983 76.2376 83.8284 84.1584 81.8482 77.5578 81.5182 heart-statlog 83.7037 81.1111 84.0741 84.0741 78.5185 76.6667 78.8889 hepatitis 84.5161 78.0645 85.8065 85.1613 85.8065 83.871 78.0645 hypothyroid 95.281 93.8494 95.228 93.6108 93.2662 99.5758 99.3372 leukemia 98.6111 97.2222 97.2222 98.6111 81.9444 81.9444 88.8889 liver-disorders 55.3623 63.4783 64.3478 58.2609 59.1304 68.6957 64.6377 lung-cancer 62.5 40.625 53.125 50 40.625 40.625 59.375 lymphography 83.1081 81.0811 80.4054 86.4865 83.7838 77.027 77.7027 postoperative-patient 66.6667 52.2222 56.6667 67.7778 71.1111 70 71.1111 primary-tumor 50.1475 45.7227 35.3982 46.9027 48.0826 39.823 39.233
Correlation-based Feature Subset Selection (CFS)
Dataset CFS
NaiveBayes CFS
Perceptron CFS RBF
CFS SVM
CFS KNN
CFS J48
CFS Ripper
breast-cancer 72.3776 71.6783 71.3287 66.4336 71.6783 73.0769 73.7762
breast-w 95.9943 95.7082 95.8512 96.9957 96.7096 94.5637 95.422
diabetes 77.474 75.9115 76.5625 76.8229 73.8281 74.8698 75.5208
heart-c 84.4884 78.2178 83.4983 83.4983 81.5182 77.2277 80.198
heart-statlog 85.5556 80.7407 81.4815 83.7037 82.5926 81.1111 79.2593
hepatitis 87.7419 79.3548 86.4516 83.2258 81.9355 81.2903 77.4194
hypothyroid 94.6448 95.7052 94.9629 93.1336 91.2513 96.8187 97.1633
leukemia 98.6111 98.6111 100 98.6111 98.6111 84.7222 88.8889
liver-disorders 56.5217 62.029 58.5507 57.971 59.4203 60.8696 62.029
lung-cancer 71.875 71.875 71.875 75 65.625 71.875 65.625
lymphography 78.3784 78.3784 79.7297 85.8108 83.7838 77.027 73.6486
postoperative-patient 68.8889 64.4444 62.2222 67.7778 71.1111 70 71.1111
primary-tumor 47.7876 38.9381 33.6283 45.4277 47.7876 40.118 39.528
Feature selection method based on correlation measureand relevance & redundancy analysis (FCBF)
Dataset FCBF NaiveBayes
FCBF Perceptron
FCBF RBF
FCBF SVM
FCBF KNN
FCBF J48
FCBF Ripper
breast-cancer 70.2797 68.8811 69.5804 72.3776 68.8811 69.9301 72.3776
breast-w 95.8512 96.2804 95.5651 96.8526 96.9957 95.8512 95.1359
diabetes 77.474 75.3906 76.5625 77.0833 73.8281 74.8698 75.5208
heart-c 84.4884 81.8482 83.4983 83.4983 81.5182 77.2277 79.538
heart-statlog 84.0741 81.4815 82.5926 83.7037 82.963 82.963 84.4444
hepatitis 84.5161 85.8065 85.1613 83.871 84.5161 82.5806 78.7097
hypothyroid 94.6182 96.368 95.175 93.1071 96.2089 97.3224 97.5345
leukemia 98.6111 100 98.6111 100 98.6111 86.1111 90.2778
liver-disorders 56.5217 59.4203 58.5507 57.971 59.4203 60.8696 62.029
lung-cancer 62.5 62.5 56.25 59.375 65.625 56.25 56.25
lymphography 79.7297 80.4054 78.3784 81.7568 81.0811 75.6757 77.027
postoperative-patient 67.7778 66.6667 67.7778 67.7778 71.1111 71.1111 70
primary-tumor 47.1976 39.233 35.9882 44.5428 45.7227 41.8879 38.9381
http://www.ssru.ac.th
104
breast-cancer
60626466687072747678
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naiv
eBay
es
FCBF Perce
ptron
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Ripp
er
breast-w
9393.5
9494.5
9595.5
9696.5
9797.5
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naiv
eBay
es
FCBF Perce
ptron
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Ripp
er
diabetes
7172737475767778
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naiv
eBay
es
FCBF Perce
ptron
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Ripp
er
heart-c
7274767880828486
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naiv
eBay
es
FCBF Perce
ptron
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Ripp
er
http://www.ssru.ac.th
105
heart-statlog
727476788082848688
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naiv
eBay
es
FCBF Perce
ptro
n
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Ripp
er
hepatitis
72747678808284868890
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naive
Bayes
FCBF Perc
eptron
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Ripp
er
hypothyroid
86889092949698
100102
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naiv
eBay
es
FCBF Perce
ptro
n
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Ripp
er
leukemia
020406080
100120
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naiv
eBay
es
FCBF Perce
ptron
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Ripp
er
http://www.ssru.ac.th
106
liver-disorders
01020304050607080
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naiv
eBay
es
FCBF Perce
ptron
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Ripp
er
lung-cancer
01020304050607080
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naiv
eBay
es
FCBF Perce
ptron
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Ripp
er
lymphography
65
70
75
80
85
90
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naive
Bayes
FCBF Perc
eptron
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Ripp
er
postoperative-patient
01020304050607080
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naiv
eBay
es
FCBF Perc
eptro
n
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Rippe
r
http://www.ssru.ac.th
107
primary-tumor
0102030405060
NaiveBay
es
Perce
ptro
nRBF
SVMKNN
J48
Rippe
r
CFS Naiv
eBay
es
CFS Per
cept
ron
CFS
RBF
CFS
SVM
CFS
KNN
CFS
J48
CFS Ripp
er
FCBF Naive
Bayes
FCBF Perc
eptron
FCBF
R
BF
FCBF SVM
FCBF K
NN
FCBF J48
FCBF Ripp
er
ผลการทดลองจากตารางท 4.62 เมอทาการเปรยบเทยบประสทธภาพดาน Accuracy
เมอไมลดคณลกษณะกบลดคณลกษณะดวยวธ CFS และวธ FCBF จากการเรยนรกลมตวอยาง
ตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ ซงประกอบดวยอลกอรทม Naïve
Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector Machine, K-
Nearest Neighbor, Decision Tree และ Ripper โดยวดประสทธภาพจากคาความความถกตอง
(Accuracy) พบวา
กลมแรกการลดคณลกษณะไมสงผลใหคาความความถกตองเพมขน มดงน กลมขอมล
breast-cancer อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 75.52% กลมขอมล
breast-w อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 96.99% กลม
ขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.57% กลม
ขอมล liver-disorders อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 68.69%
กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสด
คอ 86.48% และกลมขอมล primary-tumor อลกอรทม Naïve Bayesใหประสทธภาพออกมาด
ทสดคอ 50.14%
กลมสองการลดคณลกษณะสามารถลดขนาดของมตของขอมลไดเปนอยางดแลว ยง
สงผลใหคาความความถกตองเพมมากขน มดงน กลมขอมล diabetes อลกอรทม CFS Naïve
Bayes กบ FCBF Naïve Bayes ใหประสทธภาพสงขนเปน 77.47% กลมขอมล heart-c
http://www.ssru.ac.th
108
อลกอรทม CFS Naïve Bayes กบ FCBF Naïve Bayes ใหประสทธภาพออกมาสงขนเปน
84.48% กลมขอมล heart-statlog อลกอรทม CFS Naïve Bayes ใหประสทธภาพสงขนเปน
85.55% กลมขอมล hepatitis อลกอรทม CFS Naïve Bayes ใหประสทธภาพสงขนเปน 87.74%
กลมขอมล leukemia อลกอรทม CFS RBF,FCBF Multilayer Perceptron และ FCBF Support
Vector Machine ใหประสทธภาพสงขนเปน 100% กลมขอมล lung-cancer อลกอรทม CFS
Support Vector Machine ใหประสทธภาพสงขนเปน 75% กลมขอมล postoperative-patient
อลกอรทม K-Nearest Neighbor,Ripper และ CFS K-Nearest Neighbor,CFS Ripper เมอลด
คณลกษณะแลวใหประสทธภาพออกมาเทาเดมคอ 71.11% จากขอมลกราฟดงกลาวทาใหเรา
สามารถสรปไดวา อลกอรทมประเภทไหนเหมาะสมกบชดขอมลแบบใดและการลดคณลกษณะ
ประเภทใดสงผลใหคาความความถกตองเพมขนสงสด
http://www.ssru.ac.th
บทท 5
สรป อภปรายผล และขอเสนอแนะ 5.1 สรป
การทาเหมองขอมล (Data Mining) หรอการคนหาความรในฐานขอมล (Knowledge Discovery in Databases – KDD) เปนเทคนคเพอคนหารปแบบ (pattern) ของจากขอมลจานวนมหาศาลโดยอตโนมต โดยใชข นตอนวธจากสถต การเรยนรของเครอง และ การรจาแบบ หรอในอกนยามหนง การทาเหมองขอมล คอ กระบวนการทกระทากบขอมลทมจานวนมาก เพอคนหารปแบบแนวทาง และความสมพนธทซอนอยในชดขอมลนน โดยอาศยหลกสถต การรจา การเรยนรของเครอง และหลกคณตศาสตร ซงเปนเทคโนโลยใหมของการประยกตใชขอมลทเกบอยในฐานขอมล เพอใหเกดประโยชนสงสดในการใชขอมล การประยกตใชขอมลทกลาวถงนมไดหลายแนวทาง แตโดยทวไปมกจะเปนการสรปภาพรวมของขอมลในฐานขอมล การวเคราะหแนวโนม พฤตกรรมการเปลยนแปลงของขอมล หรอ การคนหาความสมพนธทซอนอยภายในกลมของขอมล งานวจยนมงเนนการคนหาเทคนคดานเหมองขอมล เพอสรางโมเดลการวเคราะหโรคอตโนมต โดยมจดมงหมายทจะทดสอบประสทธภาพของอลกอรทมตางๆ ทใชในการทาเหมองขอมล มงเนนการจาแนกขอมล (Classification) เพอคนหาอลกอรทมทเหมาะสมทสดสาหรบฐานขอมลทางการแพทย โดยใชอลกอรทมพนฐาน 7 อลกอรทม ซงประกอบดวย Naïve Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector Machine, K-Nearest Neighbor, Decision Tree, Ripper รวมถงศกษาเปรยบเทยบวธลดคณลกษณะทเหมาะสมดวยวธ Correlation-based Feature Subset Selection (CFS) และวธ Feature selection method based on correlation measureand relevance & redundancy analysis (FCBF) รวมถงทดสอบกบอลกอรทมประเภท Single learning กบ Multiple learning โดยเพมประสทธภาพดวยวธ Bagging และ Boosting โดยทดสอบกบขอมลทางการแพทยทง 13 ชด ซงประกอบดวย breast-cancer,breast-w,diabetes,heart-c,heart-statlog,hepatitis,hypothyroid, leukemia,liver-disorders,lung-cancer,lymphography,postoperative-patient,primary-tumor ซงผลการทดลองสามารถสรปไดดงน
http://www.ssru.ac.th
110
5.1.1. ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทม โดยไมลดคณลกษณะ
เมอเรยนรกลมตวอยางโดยไมลดคณลกษณะ ตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 75.52% กลมขอมล breast-w อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 77.34% กลมขอมล heart-c อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.15% กลมขอมล heart-statlog อลกอรทม Radial Basis Function กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.07% กลมขอมล hepatitis อลกอรทม Radial Basis Function กบ K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 85.80% กลมขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.57% กลมขอมล leukemia อลกอรทม Naive Bayes กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 98.61% กลมขอมล liver-disorders อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 68.69% กลมขอมล lung-cancer อลกอรทม Naive Bayes ใหประสทธภาพออกมาดทสดคอ 62.5% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 86.48% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor กบ Ripperใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naive Bayes ใหประสทธภาพออกมาดทสดคอ 50.14%
5.1.2. ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอเรยนรดวย
วธ Bagging เมอเรยนรกลมตวอยางโดยไมลดคณลกษณะดวยวธ Bagging ตามแบบจาลองการ
วเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 74.82% กลมขอมล breast-w อลกอรทม K-Nearest Neighborใหประสทธภาพออกมาดทสดคอ 96.85% กลมขอมล diabetes อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 77.47% กลมขอมล heart-c อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.14% กลมขอมล heart-statlog อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.44% กลมขอมล hepatitis อลกอรทม Radial
http://www.ssru.ac.th
111
Basis Function ใหประสทธภาพออกมาดทสดคอ 87.09% กลมขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.57% กลมขอมล leukemia อลกอรทม Naive Bayes, Radial Basis Function กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 97.22% กลมขอมล liver-disorders อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 72.75% กลมขอมล lung-cancer อลกอรทม Naive Bayes,Multilayer Perceptron กบ K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 53.12% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.81% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naive Bayes ใหประสทธภาพออกมาดทสดคอ 49.55%
5.1.3. ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอเรยนรดวย
วธ Boosting เมอเรยนรกลมตวอยางโดยไมลดคณลกษณะดวยวธ Boosting ตามแบบจาลองการ
วเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 73.42% กลมขอมล breast-w อลกอรทม Support Vector Machine กบ K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 96.70% กลมขอมล diabetes อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 77.34% กลมขอมล heart-c อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.81% กลมขอมล heart-statlog อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.07% กลมขอมล hepatitis อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 87.09% กลมขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.62% กลมขอมล leukemia อลกอรทม Naïve Bayes กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 98.61% กลมขอมล liver-disorders อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 73.33% กลมขอมล lung-cancer อลกอรทม Support Vector Machine กบ Decision Tree ใหประสทธภาพออกมาดทสดคอ 50% กลมขอมล lymphography อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 84.45% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayes ใหประสทธภาพออกมาดทสดคอ 50.14%
http://www.ssru.ac.th
112
5.1.4. ผลการวเคราะหเปรยบเทยบประสทธภาพเมอลดคณลกษณะดวยวธ CFS เมอทาการลดคณลกษณะดวย CFS และทาการเรยนรกลมตวอยางตามแบบจาลองการ
วเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 73.77% กลมขอมล breast-w อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 76.82% กลมขอมล heart-c อลกอรทม Naïve Bayesใหประสทธภาพออกมาดทสดคอ 84.48% กลมขอมล heart-statlog อลกอรทม Naïve Bayesใหประสทธภาพออกมาดทสดคอ 85.55% กลมขอมล hepatitis อลกอรทม Naïve Bayes ใหประสทธภาพออกมาดทสดคอ 87.74% กลมขอมล hypothyroid อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 97.16% กลมขอมล leukemia อลกอรทม Radial Basis Function Network ใหประสทธภาพออกมาดทสดคอ 100% กลมขอมล liver-disorders อลกอรทม Multilayer Perceptron กบ Ripper ใหประสทธภาพออกมาดทสดคอ 62.02% กลมขอมล lung-cancer อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 75% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.81% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor กบ Ripper ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayes กบ K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 47.78%
5.1.5. ผลการวเคราะหเปรยบเทยบประสทธภาพเมอลดคณลกษณะดวยวธ FCBF เมอทาการลดคณลกษณะดวย FCBF และทาการเรยนรกลมตวอยางตามแบบจาลองการ
วเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวากลมขอมล breast-cancer อลกอรทม Support Vector Machine กบ Ripper ใหประสทธภาพออกมาดทสดคอ 72.37% กลมขอมล breast-w อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Naïve Bayesใหประสทธภาพออกมาดทสดคอ 77.47% กลมขอมล heart-c อลกอรทม Naïve Bayesใหประสทธภาพออกมาดทสดคอ 84.48% กลมขอมล heart-statlog อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 84.44% กลมขอมล hepatitis อลกอรทม Multilayer Perceptron ใหประสทธภาพออกมาดทสดคอ 85.80% กลมขอมล hypothyroid อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 97.53% กลมขอมล leukemia อลกอรทม Multilayer Perceptron
http://www.ssru.ac.th
113
กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 100% กลมขอมล liver-disorders อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 62.02% กลมขอมล lung-cancer อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 65.62% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 81.75% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor กบ Decision Tree ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayesใหประสทธภาพออกมาดทสดคอ 47.19%
5.1.6. ผลการวเคราะหเปรยบเทยบประสทธภาพวธ Single learning กบ Multiple learning
เมอทาการเปรยบเทยบประสทธภาพดาน Accuracy ของ Single learning กบ Multiple learning จากการเรยนรกลมตวอยางตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวากลมขอมล breast-cancer อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 75.52% กลมขอมล breast-w อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Bagging Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 77.47% กลมขอมล heart-c อลกอรทม Bagging Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.14% กลมขอมล heart-statlog อลกอรทม Bagging Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.44% กลมขอมล hepatitis อลกอรทม Bagging RBF กบ Boosting J48 ใหประสทธภาพออกมาดทสดคอ 87.09% กลมขอมล hypothyroid อลกอรทม Boosting Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.62% กลมขอมล leukemia อลกอรทม Naïve Bayes ,Boosting Naïve Bayes กบ Support Vector Machine ,Boosting Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 98.61% กลมขอมล liver-disorders อลกอรทม Boosting Ripper ใหประสทธภาพออกมาดทสดคอ 73.33% กลมขอมล lung-cancer อลกอรทม Naïve Bayes ใหประสทธภาพออกมาดทสดคอ 62.5% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 86.48% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor ,Ripper, Bagging และ Boosting K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayes กบ Boosting Naïve Bayes ใหประสทธภาพออกมาดทสดคอ 50.14%
http://www.ssru.ac.th
114
5.1.7. ผลการวเคราะหเปรยบเทยบประสทธภาพการลดคณลกษณะดวยวธ CFS
และ FCBF เมอทาการเปรยบเทยบประสทธภาพดาน Accuracy เมอไมลดคณลกษณะกบลด
คณลกษณะดวยวธ CFS และวธ FCBF จากการเรยนรกลมตวอยางตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวา
กลมแรกการลดคณลกษณะไมสงผลใหคาความความถกตองเพมขน มดงน กลมขอมล breast-cancer อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 75.52% กลมขอมล breast-w อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.57% กลมขอมล liver-disorders อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 68.69% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 86.48% และกลมขอมล primary-tumor อลกอรทม Naïve Bayesใหประสทธภาพออกมาดทสดคอ 50.14%
กลมสองการลดคณลกษณะสามารถลดขนาดของมตของขอมลไดเปนอยางดแลว ยงสงผลใหคาความความถกตองเพมมากขนมดงน กลมขอมล diabetes อลกอรทม CFS Naïve Bayes กบ FCBF Naïve Bayes ใหประสทธภาพสงขนเปน 77.47% กลมขอมล heart-c อลกอรทม CFS Naïve Bayes กบ FCBF Naïve Bayes ใหประสทธภาพออกมาสงขนเปน 84.48% กลมขอมล heart-statlog อลกอรทม CFS Naïve Bayes ใหประสทธภาพสงขนเปน 85.55% กลมขอมล hepatitis อลกอรทม CFS Naïve Bayes ใหประสทธภาพสงขนเปน 87.74% กลมขอมล leukemia อลกอรทม CFS RBF,FCBF Multilayer Perceptron และ FCBF Support Vector Machine ใหประสทธภาพสงขนเปน 100% กลมขอมล lung-cancer อลกอรทม CFS Support Vector Machine ใหประสทธภาพสงขนเปน 75% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor,Ripper และ CFS K-Nearest Neighbor,CFS Ripper เมอลดคณลกษณะแลวใหประสทธภาพออกมาเทาเดมคอ 71.11% จากขอมลกราฟดงกลาวทาใหเราสามารถสรปไดวา อลกอรทมประเภทไหนเหมาะสมกบชดขอมลแบบใดและการลดคณลกษณะประเภทใดสงผลใหคาความความถกตองเพมขนสงสด
http://www.ssru.ac.th
115
5.2 อภปรายผล ผลจากการทดลองการคนหาเทคนคดานเหมองขอมล เพอสรางโมเดลการวเคราะหโรคอตโนมต โดยมจดมงหมายทจะทดสอบประสทธภาพของอลกอรทมทใชในการจาแนกขอมล (Classification) เพอคนหาอลกอรทมทเหมาะสมทสดสาหรบฐานขอมลทางการแพทย สามารถอภปรายผลได�ดงน 5.2.1 โมเดลการวเคราะหโรคอตโนมตทสรางได มประสทธภาพความถกตองในการจาแนกประเภทของโรคในระดบ 80 % ขนไป โดยไมลดคณลกษณะ ทาการเรยงตามคาความถกตอง (Accuracy) ประกอบดวย กลมขอมล hypothyroid สรางโมเดลดวยอลกอรทม Decision Tree ใหประสทธภาพ 99.57% กลมขอมล leukemia สรางโมเดลดวยอลกอรทม Naive Bayes กบ Support Vector Machine ใหประสทธภาพ 98.61% กลมขอมล breast-w สรางโมเดลดวยอลกอรทม Support Vector Machine ใหประสทธภาพ 96.99% กลมขอมล lymphography สรางโมเดลดวยอลกอรทม Support Vector Machine ใหประสทธภาพ 86.48% กลมขอมล hepatitis สรางโมเดลดวยอลกอรทม Radial Basis Function กบ K-Nearest Neighbor ใหประสทธภาพ 85.80% กลมขอมล heart-c สรางโมเดลดวยอลกอรทม Support Vector Machine ใหประสทธภาพ 84.15% กลมขอมล heart-statlog สรางโมเดลดวยอลกอรทม Radial Basis Function กบ Support Vector Machine ใหประสทธภาพ 84.07% ตามลาดบ ซงโมเดลดงกลาวมคณภาพในระดบทยอมรบไดตามเกณฑ 80 % สามารถโมเดลดงกลาวไปพฒนาเปนซอฟตแวรในการวนจฉยโรคอตโนมตได 5.2.2 การเพมประสทธภาพความถกตอง (Accuracy) ดวยวธ Multiple learning โดยใชอลกอรทม Bagging และ Boosting นน สงผลใหคาความถกตอง เพมขนเฉพาะบางกลมขอมล เทานน โดยมขอสงเกตวา สดสวนของกลมตวอยางในแตละคลาสจะตองมปรมาณใกลเคยงกน หรอเทากน กรณทการกระจายของของกลมตวอยางในแตละคลาส มสดสวนทแตกตางกนมาก สงผลใหเทคนค Bagging และ Boosting ไมชวยเพมประสทธภาพการจาแนกขอมล หรอกลาวอกนยหนงคอ ถาตองการใชเทคนค Multiple learning จะตองไมใหขอมลในคลาสใดคลาสหนง มปรมาณสงเกนกวาคลาสอนๆ ทเหลออยางมนยสาคญ 5.2.3 การลดคณลกษณะดวยวธ Correlation-based Feature Subset Selection (CFS) และวธ Feature selection method based on correlation measureand relevance & redundancy analysis (FCBF) สงผลใหประสทธภาพความถกตอง (Accuracy) ในการจาแนก
http://www.ssru.ac.th
116
ประเภทของโรคใกลเคยงกบการไมลดคณลกษณะ แตสามารถลดมตของขอมลลงไดอยางมาก ซงการลดมตของขอมลดงกลาว ทาใหประหยดทรพยากรของระบบคอมพวเตอรในการเรยนรเพอสรางโมเดล ทงหนวยประมวลผลและหนวยความจาไดเปนอยางมาก เมอนาไปพฒนาเปนซอฟตแวรวนจฉยโรคอตโนมต ยอมสงผลใหระบบซอฟตแวรโดยรวมมประสทธภาพดขนอยางมนยสาคญ 5.3 ข�อเสนอแนะ
จากการทดลองการจาแนกกลมขอมลทางการแพทย เพอสรางโมเดลการวเคราะหโรคอตโนมต โดยมจดมงหมายทจะทดสอบประสทธภาพของอลกอรทมตางๆ ทใชในการทาเหมองขอมล มงเนนคนหาอลกอรทมทเหมาะสมทสดสาหรบฐานขอมลทางการแพทย พบวาไมมอลกอรทมใดทสามารถทางานไดดทสดกบทกกลมขอมล สามารถสรปไดวาลกษณะของขอมลแตละประเภทสงผลตอประสทธภาพการทางานของแตละอลกอรทม มขอเสนอแนะวาควรศกษาพฒนาอลกอรทมทสามารถใชไดกบทกกลมขอมลทางการแพทย โดยใหประสทธภาพออกมาดกบทกลกษณะขอมล และจากการทดลอง เวลาในการสงเคราะหโมเดลจากขอมลทง 13 ชด พบวาบางอลกอรทม ใชเวลาในการสงเคราะหโมเดลนานมาก รวมถงใชหนวยประมวลผลและหนวยความจาปรมาณมาก โดยเฉพาะอลกอรทม Multilayer Perceptron,Radial Basis Function Network ดงนน ควรมการศกษา วธการลดระยะเวลา และทรพยากรของระบบในการประมวลผล เพอการสงเคราะหโมเดล รวมถงควรมการศกษาวธการลดคณลกษณะแบบอนๆ ทแตกตางจากงานวจยดงกลาว ทสงผลใหมตของขอมลลดลงและเพมประสทธภาพในการจาแนกกลมขอมลทางการแพทยใหสงขน
http://www.ssru.ac.th
บรรณานกรม คงเดช บญยกจสมบต. 2548. การพฒนาระบบคลงขอมลและการทาเหมองขอมลสาหรบขอมล ผตดเชอ HIV ในโรงพยาบาล สงกดสานกอนามย กรงเทพมหานคร สารนพนธ วทยาศาสตร มหาบณฑต เทคโนโลยสารสนเทศ มหาวทยาลยเทคโนโลยพระจอมเกลาพระนครเหนอ ณฐวรรณ รตนากรกล. 2545. ระบบจาแนกประเภทโครงสรางของโปรตนโดยใชเทคนคดาตา ไมนนง. งานประชมวชาการ มก. ครงท 40. นเวศ จระวชตชย ปรญญา สงวนสตย และพยง มสจ. 2553. การศกษาทดลองเทคนคการลด คณลกษณะและอลกอรทมการจดหมวดหมของเอกสารภาษาไทย. วารสารวทยาศาสตร ลาดกระบง. ป 2552. ฉบบท 2. หนา 11-24. บญเสรม กจศรกล. 2546. รายงานวจยฉบบสมบรณ โครงการยอยท 7: อลกอรทมการทาเหมอง ขอมล. จฬาลงกรณมหาวทยาลย. พรพล ธรรมรงครตน ลดดา ปรชาวรกล และวภาดา เวทยประสทธ. 2553. การจาแนกประเภท เวบเพจโดยใชคาความถเอกสารและซพพอรตเวกเตอรแมชชน. The 12th National Computer Science and Engineering Conference 2008. ภทราวฒ แสงศร ศจมาจ ณ วเชยร และพยง มสจ. 2553. การคดแยกประเภทของมะเรง เมดเลอดขาวโดยใชวธการจดอนดบรวมกบเทคนคซพพอรตเวกเตอรแมชชน. การประชมทางวชาการเสนอผลงานวจยระดบบณฑตศกษา ครงท 11. อจฉรา วรารกษ. 2547. Data Mining เทคนค กบการจดการขอมล HIV/AIDS. สมมนาวชาการ กรมควบคมโรค กระทรวงสาธารณสข. อกฤษ ปจฉม. 2546. การประยกตใชเทคนคการทาเหมองขอมลในการทานายระดบนาสงสด. วทยานพนธวศวกรรมศาสตรมหาบณฑต สาขาวชาวศวกรรมทรพยากรนา คณะวศวกรรมศาสตร มหาวทยาลยเทคโนโลยพระจอมเกลาธนบร.
http://www.ssru.ac.th
ประวตผวจย ชอ : นเวศ จระวชตชย ประวตการศกษา ปรญญาตร สาขาการจดการอตสาหกรรม มหาวทยาลยรามคาแหง ปรญญาโท สาขาเทคโนโลยคอมพวเตอร สถาบนเทคโนโลยพระจอมเกลาพระนครเหนอ ปรญญาเอก สาขาเทคโนโลยสารสนเทศ สถาบนเทคโนโลยพระจอมเกลาพระนครเหนอ ตาแหนงและสถานททางาน อาจารยประจา ภาควชาวทยาการคอมพวเตอร คณะวทยาศาสตรและเทคโนโลย มหาวทยาลยราชภฏสวนสนนทา ผลงานทางวชาการ 1. นเวศ จระวชตชย “Developing an Effective Text-Compression by Using Combination of BWT and LZW Algorithms” การประชมทางวชาการระดบชาตดานคอมพวเตอรและเทคโนโลยสารสนเทศ (NCCIT05) สถาบนเทคโนโลยพระจอมเกลาพระนครเหนอ
2. นเวศ จระวชตชย กนตพงษ วรรตนปญญา “Thai tradition drawing image retrieval using wavelet transform” Joint Computer Science and Software Engineering 2006 (JCSSE2006) สถาบนเทคโนโลยพระจอมเกลาพระนครเหนอ
3. นเวศ จระวชตชย สพจน นตยสวรรณ “Developing an effective image retrieval using color histogram” การประชมทางวชาการระดบชาตดานคอมพวเตอรและเทคโนโลยสารสนเทศ (NCCIT06) สถาบนเทคโนโลยพระจอมเกลาพระนครเหนอ
4. นเวศ จระวชตชย กนตพงษ วรรตนปญญา “Developing an Effective Image-Lossless Compression Using Combination of BWT and Arithmetic Algorithms “ การประชมวชาการวทยาศาสตรและเทคโนโลยแหงประเทศไทย ครงท 32 (STT32) จฬาลงกรณมหาวทยาลย
http://www.ssru.ac.th
5. นเวศ จระวชตชย กนตพงษ วรรตนปญญา “Developing an Effective Text-Lossless Compression “ การประชมทางวชาการระดบชาตดานเทคโนโลยสารสนเทศ (NCIT2006) คณะเทคโนโลยสารสนเทศ มหาวทยาลยเทคโนโลยพระจอมเกลาธนบร
6.นเวศ จระวชตชย ปรญญา สงวนสตย พยง มสจ “An Experimental Study on Feature Reduction Techniques and Classification Algorithms of Thai Documents “ วารสารวทยาศาสตร สถาบนเทคโนโลยพระจอมเกลาเจาคณทหารลาดกระบง ป 2552
7.นเวศ จระวชตชย ปรญญา สงวนสตย พยง มสจ “A Comparative Study on Term Weighting Techniques for Thai Documents Categorization “ วารสารวทยาศาสตร สถาบนเทคโนโลยพระจอมเกลาเจาคณทหารลาดกระบง ป 2553
8.นเวศ จระวชตชย ปรญญา สงวนสตย พยง มสจ “Automatic Thai Document Categorization with Support Vector Machines“ การประชมทางวชาการระดบชาตดานคอมพวเตอรและเทคโนโลยสารสนเทศ (NCCIT10) สถาบนเทคโนโลยพระจอมเกลาพระนครเหนอ
9.นเวศ จระวชตชย ปรญญา สงวนสตย พยง มสจ “Developing and Effective Automatic Thai Document Categorization” การประชมวชาการระดบชาต สถาบนบณฑต
พฒนบรหารศาสตร ประจาป 2553
10. Nivet Chirawichitchai , Parinya Sa-nguansat, Phayung Meesad
“A Comparative Study on Feature Weight in Thai Document Categorization Framework”
Lecture Notes in Informatics (LNI) by the Gesellschaft für Informatik (GI). 2010
http://www.ssru.ac.th