KonsepLearning Naivebayes Knn
Transcript of KonsepLearning Naivebayes Knn
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 1/31
BBABAB 22
K K ONSEPONSEP LLEARNINGEARNING
POKOK BAHASAN :
Konsep Learning
Algoritma Find-S
TUJUAN PEMBELAJARAN :
Setelah mempelajari materi dalam bab ini, mahasiswa diharapkan mampu:
Mengenal dan memahami konsep pembelajaran pada mesin
Memahami cara mengambil sebuah mesin mengambil kesimpulan
Membuat rancangan sebuah mesin yang dapat belajar dari data contoh yang diberikan
dana dapat menganalisa sebuah permasalahan
2.1. Konsep Learning
Learning mempunyai arti belajar, yaitu menambah pengetahuan atau memahami
dan menganalisa sesuatu dengan cara mengikuti aturan-aturan yang ada atau pengalaman
yang dimiliki !ada Konsep Learning disini yang dimaksud dengan learning adalah sebuah
studi yang mempelajari cara untuk memprogram sebuah komputer untuk dapat berbelajar
Manusia selama hidupnya selalu melakukan learning "al ini terjadi tanpa disadaridan alamiah Manusia belajar melalui pengalaman yang dia alami sehari-hari #ari
pengalaman tersebut, manusia akan mendapatkan knowledge$ntuk mendapatkan
knowledge dapat melalui berbagai cara %ara yang paling sederhana adalah rote learning
atau menyimpan in&ormasi yang sudah dikalkulasi %ara lainnya adalah dengan
mendapatkan pengetahuan dari orang lain yang sudah ahli Manusia juga dapat belajar
melalui pengalaman pemecahan masalah yang ia lakukan Setelah berhasil mengatasi
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 2/31
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 3/31
Gamar 2.2 Analisa #ari ambar #ata !embelajaran
(ika gambar a, c dan e mengambarkan raut muka tersenyum maka dari
pembelajaran table diatas dapat direpresentasikan dalam bentuk table sebagai berikut:
Tae! 2.1. .abel "asil Analisa #ata Keseluruhan
no Kepala Mata "idung Mulut Senyum
a lingkaran bulat Segi tiga melengkung keatas ya
b bujursangkar kotak Segi empat melengkung kebawah tidak
c lingkaran kotak Segi tiga melengkung keatas ya
d lingkaran bulat Segi tiga melengkung kebawah tidak
e lingkaran kotak Segi empat melengkung keatas ya
#ari tabel diatas maka didapat data bahwa untuk senyum yang bernilai /ya0 adalah
sebagai berikut:
Tae! 2.2. .abel "asil Analisa #ata Senyum 12ya2
no Kepala Mata "idung Mulut senyum
a lingkaran bulat segitiga melengkung keatas ya
c lingkaran kotak segitiga melengkung keatas ya
e lingkaran kotak segiempat melengkung keatas ya
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 4/31
Maka hipotesa yang dapat dari tabel diatas Senyum adalah ya jika bentuk kepala
lingkaran, bentuk mata terserah, bentuk "idung terserah dan bentuk mulut melengkug
keatas Atau dapat ditulis
3Kepala1lingkaran,mata14, hidung14,Mulut1melengkung keatas5
atau aturan untuk senyum adalah
3lingkaran,4, 4,melengkung keatas5
Sedangkan untuk aturan Senyum 1 tidak disimpulkan dengan cara sebagai berikut:
Tae! 2." "asil Analisa #ata Senyum 12.idak2
no Kepala Mata "idung Mulut senyum
b bujursankar kotak segiempat melengkung kebawah tidak
d lingkaran bulat segitiga melengkung kebawah tidak
#ari tabel diatas bisa dibaca bahwa untuk senyum yang bernilai tidak3tidak
tersenyum5 dapat di simpulkan dengan hipotersa adalah bentuk kepala terserah, bentuk
mata terserah, bentuk hidung terserah, bentuk mulut melengkung ke bawah Atau dapat
ditulis menjadi
3Kepala14,mata14, hidung14,Mulut1melengkung kebawah5
atau aturan untuk tidak senyum adalah
34,4, 4,melengkung kebawah5
%ontoh diatas dapat juga di terapkan dipada data yang berbentuk katagorikal, data
katagorikal adalah data yang sudah dalam bentuk pengelompokan, misalnya tua, muda
besar kecil, bukan dalam bentuk angka
#engan cara membuat tabel kemudian dilanjutkan dengan pengambilan hipotesa
maka proses tersebut dapat diterap pada perhitungan menggunakan computer Atau dengankata lain proses pembelajaran tersebut dapat dikalukan oleh mesin
.etapi proses pembelajan tersebut membutuhkan data training yang konsisten dan
tidak bias 6ang dimaksud dengan data konsisten adalah atribut dari data tersebut
mempunyai nilai yang sama dalam satu keputusan sedangkan data bias adalah jika ada dua
atau lebih data mempunyai data sama persis 3identik5 tetapi keputusannya berbeda
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 5/31
Tae! 2.#. #ata .idak Konsisten
no Kepala Mata "idung Mulut
senyu
m
b bujursankar kotak segiempat melengkung kebawah tidak
d lingkaran bulat segitiga melengkung kebawah tidak
%ontoh diatas menunjukkan bahwa atribut Mulut memiliki data yang konsisten
terhadap keputusan tidak senyum
Tae! 2.$. #ata +ias
no Kepala Mata "idung Mulut
senyu
m
- bujursankar kotak segiempat melengkung kebawah ya
- bujursankar kotak segiempat melengkung kebawah tidak
Kedua atribut dari data diatas masing-masing nilai atributnya sama tetapi
keputusannya berbeda data yang demikian disebut dengan data yang bias
!ada penerapan di dunia nyata data yang tidak bias dan konsisten itu sulit
ditemukan sehingga perlu pengembangan cara pembelajaran yang lain
2.2 A!gori%ma &in'(S
Find-S adalah suatu metode paling sederhana yang dapat digunakan untuk
mendapatkan suatu hipotesa berdasarkan data Sehingga Find-S ini digukanan untuk
member inspirasi bahwa manusia dapat membuat sebuah mesin bisa menarik sebuah
kesimpulan atau hipotesa Sehingga Find-S ini sesuai jika digunakan untuk penengalan
konsep pembelajaran
$ntuk membuat sebuah hipotesa Find-S mencari kesamaan nilai attribut dari data
contoh yang diberikan Sehingga hipotesa sangat terpengaruh oleh data contoh yang
diberikan, hal ini menjadikan Find-S mempunyai kelemahan yaitu data yang digunakanharus bersi&at konsisten dan tidak bias !adahal terlalu sulit untuk dapat memperoleh data
semacam ini pada persoalan nyata
+erikut adalah contoh dari Find-S
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 6/31
Tae! 2.). #ata %uaca
#ay %uaca .emperatur Kecepatan Angin +erolah-raga
#) %erah 7ormal !elan 6a
#* %erah 7ormal !elan 6a
#8 "ujan .inggi !elan .idak
#9 %erah 7ormal Kencang 6a
# "ujan .inggi Kencang .idak
#; %erah 7ormal !elan 6a
$ntuk memperoleh hipotesa dengan Find-S dari data training di atas, langkah
pertama yang harus dilakukan adalah memecah data berdasarkan keputusannya, sehingga
akan diperoleh * data: pertama untuk keputusan1ya dan kedua untuk keputusan1tidak ,
seperti dibawah ini
Tae! 2.*. #ata %uaca +erolahraga1 6a
#a
y %uaca .emperatur
Kecepatan
Angin +erolah-raga
#) %erah 7ormal !elan 6a
#* %erah 7ormal !elan 6a
#9 %erah 7ormal Kencang 6a
#; %erah 7ormal !elan 6a
Tae! 2.+. #ata %uaca +erolahraga1 .idak
#a
y %uaca .emperatur
Kecepatan
Angin
+erolah-
raga
#8 "ujan .inggi !elan .idak
# "ujan .inggi Kencang .idak
#ari hasil pemisahan tersebut, terlihat bahwa data training tersebut Konsisten dan
tidak bias Langkah berikutnya adalah membuat hipotesa untuk masing-masing keputusan
!embuatan hipotesa ini dilakukan dengan mengambil data pertama sebagai hipotesa awal
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 7/31
yang dianggap sebagai hipotesa spesi&ik, dan diteruskan hingga data terakhir dengan
memperhatikan kesamaan sampai didapatkan hipotesa umum
Langkah ini digunakan untuk menentukan hipotesa dari keputusan1ya seperti pada table*<
) "ipotesa awal disamakan dengan data pertama:
"3%erah, 7ormal, !elan5 1 6a
* #ata kedua, tidak ada perubahan karena semua nilai instancenya sama:
"3%erah, 7ormal, !elan5 1 6a
8 #ata ketiga, ada perubahan di attribut kec angin, sehingga :
"3%erah, 7ormal, 45 1 6a
9 #ata keenam, ada perubahan di attribut kec angin, sehingga :
"3%erah, 7ormal, 45 1 6a
Sehingga "ipotesa ya adalah
H,-era/ Norma!/ 0 3a
Langkah ini digunakan untuk menentukan hipotesa dari keputusan1tidak dengan
memperhatikan table *=
) "ipotesa awal disamakan dengan data pertama 3#85:
"3"ujan, .inggi, !elan5 1 .idak
* #ata kelima, ada perubahan di kecangin
"3"ujan, .inggi, 45 1 .idak
Sehingga "ipotesa tidak adalah
H,H45an/ Tinggi/ 0 Ti'a6
jika ada kondisi +ila cuaca cerah, apakah akan berolahraga> jawabnya dibandingkan
dengan kedua hipotersa tersebut yaitu
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 8/31
,-era/0/07 'ian'ing6an 'engan
H,-era/ Norma!/ 0 3a
H,H45an/ Tinggi/ 0 Ti'a6
(awabnya adalah 6A
".$. La%ian Soa!
) +uatlah hipotesa dari mahasiswa yang dapat biasiswa dan yang tidak dapat biasiswa
dari table dibawah
Tae! 2.8. #ata +iasiswa
!intar ajin Sopan pendapatan ortu +iasiswa
iya iya tidak rendah dapatiya tidak iya rendah dapat
tidak tidak tidak rendah tidak
tidak tidak tidak tinggi tidak
iya iya iya rendah dapat
tidak iya tidak rendah tidak
iya tidak tidak rendah dapat
tidak iya tidak tinggi tidak
* +uatlah hipotesa dari jenis ikan koi dan ikan koi dari tabel dibawahTae! 2.19. #ata (enis ?kan
gerakan panjang lebar warna jenis ikan
cepat kecil kecil cerah koi
lambat kecil kecil cerah koi
lambat kecil lebar cerah koi
cepat panjang kecil cerah lele
lambat panjang kecil cerah lele
cepat panjang kecil buram lele
lambat panjang kecil buram lele
cepat kecil kecil cerah koi
lambat kecil kecil cerah koi
lambat panjang kecil cerah lele
cepat panjang kecil buram lele
cepat kecil lebar cerah koi
lambat kecil lebar cerah koi
cepat kecil lebar cerah koi
lambat panjang kecil buram lele
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 9/31
cepat panjang kecil cerah lele
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 10/31
BBABAB 33MMETODEETODE NNAÏVEAÏVE BBAYESAYES
POKOK BAHASAN : !robabilitas +ersyarat
.eorima +ayes
"MA! Metode 7ai@e +ayes
TUJUAN PEMBELAJARAN :
Setelah mempelajari materi dalam bab ini, mahasiswa diharapkan mampu:
Mengenal dan memahami Metode +ayes
Memahami cara kerja dari teori bayes
Membuat rancangan sebuah program yang dapat menyelesaikan permasalahan dengan
menggunakan metode 7ai@e +ayes
Metode Find-S tidak dapat digunakan untuk data yang tidak konsisten dan data
yang bias, sehingga untuk bentuk data semacam ini salah satu metode sederhana yang
dapat digunakan adalah metode bayes Metode +ayes ini merupakan metode yang baik didalam mesin pembelajaran berdasarkan data training, dengan menggunakan probabilitas
bersyarat sebagai dasarnya
".1 Proai!i%as Bersara%
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 11/31
#itentukan set + dan set A !robabilitas terjadinya A sama dengan syarat bahwa +
sudah terjadi atau akan terjadi #itulis :
dimana !3+5 B #engan kata lain kejadian + merupakan syarat terjadinya
kejadian A
(ika yang menjadi syarat adalah kejadian A maka dapat ditulis sebagai berikut :
Gamar ".1 Kemungkinan A dan + adalah irisan A dan +
Misalkan dari )BB orang mahasiswa menunjukkan *B orang mahasiswa menyukai
keduanya, 8B orang mahasiswa menyukai bulu tangkis tapi tidak menyukai bola @olley, 9B
orang mahasiswa menyukai bola @olley tapi tidak menyukai bulu tangkis, dan )B orang
mahasiswa tidak menyukai kuduanya
#ari data ini dapat disusun bentuk distribusi bersama sebagai berikut:
Tae! ".1. .abel probabilitas
Suka Suka bola @olley 3+5
!3A5 bulu tangkis 3A5 6a .idak
6a B* B8 9.$
.idak B9 B) 9.$
!3+5 9.) 9.# )
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 12/31
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 13/31
XnX2 …
.X1
Y
.eori +ayes atau lebih dikenal dengan kaidah +ayes, memainkan peranan yang
sangat penting dalam penerapan probabilitas bersyarat .eori ini pertama kali
dikembangkan oleh .homas bayes 3)<B*-)<;85 Kaidah +ayes merupakan kaidah yang
memperbaiki atau mere@isi suatu probabilitas dengan cara meman&aatkan in&ormasi
tambahan Maksudnya, dari probabilitas awal 3prior probability5 yang belum diperbaiki
dengan rumuskan berdasarkan in&ormasi yang tersedia saat ini, kemudian dibentuklah
probabilitas berikutnya 3posterior probability5
.eori lain mengatakan .eori +ayes adalah kesimpulan statistik yang membuktikan
atau pengamatan yang digunakan untuk memperbarui atau menarik kesimpulan yang baru
suatu probabilitas yang mungkin benar .eori +ayes berasal dari kebiasaan menggunakan
rumus bayes untuk memproses suatu kesimpulan'dugaan
Keadaan !osteriror 3!robabilitas Ek di dalam 65 dapat dihitung dari keadaan prior
3!robabilitas 6 di dalam Ek dibagi dengan jumlah dari semua probabilitas 6 di dalam
semua Ei5
Gamar ".2 Kemungkinan Ek didalam 6
"." HMAP , Hypothesis Maximum Appropri Probability
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 14/31
P(S
|X)
=ar g
max
x
∈
X
P(Y |X )
P(X)
P(X)
=ar
gmax
P(Y |
X )P(X)
x
∈
X
"MA! 3"ypothesis Maimum Appropri !robability5 menyatakan hipotesa yang
diambil berdasarkan nilai probabilitas berdasarkan kondisi prior yang diketahui "MA!
adalah model penyederhanaan dari metode bayes yang disebut dengan 7ai@e +ayes
"MA! inilah yang digunakan di dalam macine learning sebagai metode untuk mendapatkan hipotesis untuk suatu keputusan
2.3.1. Contoh permasalahan 1 HMAP atau naïve Bayes
#iketahui hasil sur@ey yang dilakukan sebuah lembaga kesehatan menyatakan
bahwa 8BG penduduk di dunia menderita sakit paru-paru #ari HBG penduduk yang sakit
paru-paru ini ;BG adalah perokok, dan dari penduduk yang tidak menderita sakit paru-paru
*BG perokok
Fata ini bisa !i!e"inisian !engan# $%sait paru&paru !an '%peroo.
Maa # P($) % *.+
P(,$) % *.1
P('-$) % *. à P(,'-$) % *./
P('-,$) % *.2 à P(,'-,$) % *.0
#engan metode bayes dapat dihitung:
P('-$) % P('-$).P($) % (*.) . (*.+) % *./
P('-,$) % P('-,$) P(,$) % (*.2).(*.1) % *.*2
+ila diketahui seseorang merokok, maka dia menderita sakit paru-paru karana
!3C6DIE5 lebih besar dari !3C6DIJE5 "MA! diartikan mencari probabilitas terbesar dari
semua instance pada attribut target atau semua kemungkinan keputusan !ada persoalan
keputusan adalah sakit paru-paru atau tidak
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 15/31
2.3.2 Contoh permasalahan 2 HMAP atau naïve Bayes Dari Data 4raining
+ila diketahui kebiasaan olah raga seseorang dan sudah ditabelkan dalam bentuk
sebagai berikut:
Tae! ".2. .abel olahraga
%uaca .emperatur Kecepatan Angin +erolah-raga
) %erah 7ormal !elan 6a
* %erah 7ormal !elan 6a
8 "ujan .inggi !elan .idak
9 %erah 7ormal Kencang 6a
"ujan .inggi Kencang .idak
; %erah 7ormal !elan 6a
Asumsi#
' % berolahraga5
$ 1 % 6ua6a5
$ 2 % temperatur5
$ 3 % e6epatan angin
Fakta menunjukkan:
P('%ya) % /7 à P('%ti!a) % 27
Apakah bila cuaca cerah dan kecepatan angin kencang, orang akan berolahraga>
Fakta: !3E)1cerahI61ya5 1 ), !3E)1cerahI61tidak5 1 B
!3E81kencangI61ya5 1 )'9 , !3E81kencangI61tidak5 1 )'*
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 16/31
"MA! dari keadaan ini dapat dihitung dengan:
!3 E)1cerah,E81kencang I 61ya 5
1 C !3E)1cerahI61ya5!3E81kencangI61ya5 D !361ya5
1 C 3)5 3)'95 D 39';5 1 )';
!3 E)1cerah,E81kencang I 61tidak 5
1 C !3E)1cerahI61tidak5!3E81kencangI61tidak5 D !361tidak5
1 C 3B5 3)'*5 D 3*';5 1 B
Keputusannya adalah berolahraga 1 6A
2.3.3 Contoh 2 HMAP atau naïve Bayes Dari Data 4raining
(ika diketahui dari data kelulusan mahasiswa disebuh perguruan tinggi adalah
sebagai berikut:
Tae! ".". .abel kelulusan mahasiswa
NOJEN;S
KELAM;N
STATUS
MAHAS;S<A
STATUS
PREN;KAHAN
;PK
Semes%er
1()
STATUS
KELULUSAN
) LAK? - LAK? MA"AS?SA +L$M 8)< .!A.* LAK? - LAK? +K(A +L$M 88B .!A.
8 !M!$A7 MA"AS?SA +L$M 8B) .!A.
9 !M!$A7 MA"AS?SA M7?KA" 8* .!A.
LAK? - LAK? +K(A M7?KA" 8*B .!A.
; LAK? - LAK? +K(A M7?KA" *B .LAM+A.
< !M!$A7 +K(A M7?KA" 8BB .LAM+A.
= !M!$A7 +K(A +L$M *<B .LAM+A.
H LAK? - LAK? +K(A +L$M *9B .LAM+A.
)B !M!$A7 MA"AS?SA M7?KA" *B .LAM+A.)) !M!$A7 MA"AS?SA +L$M *B .LAM+A.
)* !M!$A7 MA"AS?SA +L$M 8B .!A.
)8 LAK? - LAK? +K(A M7?KA" 88B .!A.
)9 LAK? - LAK? MA"AS?SA M7?KA" 8* .!A.
) LAK? - LAK? MA"AS?SA +L$M *8B .LAM+A.
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 17/31
(ika seorang mahasiswa dengan data sebagai berikut, buatlah prediksi kelulusannyaN
Tae! ".#. .abel .esting
KLAM?7
S.A.$S!7?KA"
A7?!K
K.A7A7
LAK? -
LAK?
MA"AS?S
A
+L$M*<B >>>
(awab:
.ahap ) menghitung jumlah class'label
O !361 .!A.5 1 =') / jumlah data P.!A.2 pada komom /S.A.$S
KL$L$SA70 dibagi jumlah data
O !361 .LAM+A.5 1 <') / jumlah data P.LAM+A.2 pada komom
/S.A.$S KL$L$SA70 dibagi jumlah data
.ahap * menghitung jumlah kasus yang sama dengan class yang sama
O !3(7?S KLAM?7 1 LAK? - LAK? I 61 .!A.5 1 '= /jumlah data jenis kelamin
Plaki-laki2 dengan keterangan P.!A.2 dibagi jumlah data .!A.
O !3(7?S KLAM?7 1 LAK? - LAK? I 61 .LAM+A.5 1 8'< /jumlah data jenis
kelamin Plaki-laki2 dengan keterangan P.LAM+A.2 dibagi jumlah data
.LAM+A.
O !3S.A.$S MA"AS?SA 1 MA"AS?SA I 61 .!A.5 1 '= /jumlah data
dengan status mahasiswa dengan keterangan P.!A.2 dibagi jumlah data .!A.
O !3S.A.$S MA"AS?SA 1 MA"AS?SA I 61 .LAM+A.5 1 8'< /jumlahdata dengan status mahasiswa dengan keterangan P.LAM+A.2 dibagi jumlah
data .LAM+A.
O !3S.A.$S !7?KA"A7 1 +L$MI 61 .!A.5 1 9'= /jumlah data dengan
status pernikahan P+elum menikah2 dan keterangan P.!A.2 dibagi jumlah data
.!A.
O !3S.A.$S !7?KA"A7 1 +L$MI 61 .LAM+A.5 1 9'< /jumlah data
dengan status pernikahan P+elum menikah2 dan keterangan
P.LAM+A.2dibagi jumlah data .LAM+A.
O !3?!K 1 *<BI 61 .!A.5 1 B'= /jumlah data ?!K P*<B2 dengan keterangan
P.!A.2 dibagi jumlah data .!A.
O !3?!K 1 *<BI 61 .LAM+A.5 1 )'< /jumlah data ?!K P*<B2 dengan keterangan
P.LAM+A.2 dibagi jumlah data .LAM+A.
.ahap 8 kalikan semua hasil @ariable .!A. Q .LAM+A.
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 18/31
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 19/31
* Metode +ayes memerlukan pengetahuan awal untuk dapat mengambil suatu
keputusan .ingkat keberhasilan metode ini sangat tergantung pada pengetahuan
awal yang diberikan
".$. La%ian Soa!
) #iketahui hasil sur@ey yang dilakukan sebuah lembaga kesehatan menyatakan bahwa
8BG penduduk di dunia menderita sakit paru-paru #ari HBG penduduk yang sakit
paru-paru ini ;BG adalah perokok, dan dari penduduk yang tidak menderita sakit paru-
paru *BG perokok #engan menggunakan "MA! 3"ypothesis Maimum Appropri
!robability5, hitunglah kemungkinan seseorang perokok mengidap penyakit paru-paru,
dan kemungkinan orang tersebut tidak sakit paru-paruN
* Misalkan populasi penduduk di suatu desa dibagi menurut jenis kelamin dan status
pekerjaan sebagai berikut:
Tae! ".). .abel data penduduk
(enis
kelamin
+ekerja Menganggur (umlah
Laki-laki 9;B 9B BBanita )9B *;B 9BB
(umlah ;BB 8BB HBB
+ila diambil seorang dari mereka secara acak maka berapakah peluang yang terpilih
adalah status yang bekerja dan berjenis kelamin laki-laki Serta berapa peulang yang
terpilih adalah status yang bekerja dan berjenis kelamin perempuanN
8 #ibawah ini adalah data ?kan Lele dan ?kan urami
Tae! ".). .abel data jenis ikan
Pan5an
g
Lear Bera% Jenis ;6an
!anjang kecil ringan ?kan Lele
!anjang sedang +erat ?kan Lele
!anjang Lebar +erat urami
Sedang kecil +erat ?kan Lele
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 20/31
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 21/31
BBABAB 44
K-NK-NEARESTEAREST
NNEIGHBOREIGHBOR (KNN)(KNN)
POKOK BAHASAN :
!rinsip K-77 %ontoh K-77
TUJUAN PEMBELAJARAN :
Setelah mempelajari materi dalam bab ini, mahasiswa diharapkan mampu:
Mengenal dan memahami algoritma K-77
#apat menyelesaikan pemasalahan dengan menggunakan K-77
Membuat rancangan sebuah program yang dapat menyelesaikan permasalahan dengan
menggunakan metode K-77
#.1. Prinsip K(NN
8&9earest 9eighbor 3K775 adalah suatu metode yang menggunakan algoritma
supervise! dimana hasil dari Uuery instance yang baru diklasi&ikan berdasarkan mayoritas
dari kategori pada K77 .ujuan dari algoritma ini adalah mengklasi&ikasikan obyek baru bedasarkan atribut dan training sample %lassi&ier tidak menggunakan model apapun untuk
dicocokkan dan hanya berdasarkan pada memori #iberikan titik Uuery, akan ditemukan
sejumlah k obyek atau 3titik training5 yang paling dekat dengan titik Uuery Klasi&ikasi
menggunakan @oting terbanyak diantara klasi&ikasi dari k obyek algoritma K77
menggunakan klasi&ikasi ketetanggaan sebagai nilai prediksi dari Uuery instance yang baru
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 22/31
Algoritma metode K77 sangatlah sederhana, bekerja berdasarkan jarak terpendek
dari Uuery instance ke training sample untuk menentukan K77-nya .raining sample
diproyeksikan ke ruang berdimensi banyak, dimana masing-masing dimensi
merepresentasikan &itur dari data uang ini dibagi menjadi bagian-bagian berdasarkan
klasi&ikasi training sample Sebuah titik pada ruang ini ditandai kelas tertentu jika
kelas itu merupakan klasi&ikasi yang paling banyak ditemui pada k buah tetangga terdekat
dari titik tersebut #ekat atau jauhnya tetangga biasanya dihitung berdasarkan :u6li!ean
Distan6e yang direpresentasikan sebagai berikut :
E ( x , y )❑=√∑i=0
n
( xi− yi)2
7ama lain dari 77
V laWy algorithm
V memory-based
V instance-based
V eemplar-based
V case-based
V eperience-based
Algoritma K77 sangat sederhana Algoritma ini bekerja berdasarkan jarak
minimum dari data baru terhadap K tetangga terdekat yang telah ditetapkan Setelah
diperoleh K tetangga terdekat, prediksi kelas dari data baru akan ditentukan berdasarkan
mayoritas K tetangga terdekat
K77 dapat dibagi menjadi * jenis bersadarkan tetangga yang digunakan sebagai
acuan perhitungan yaitu :
O )-77 yaitu pengklasi&ikasikan dilakukan terhadap ) data tetangga yang memiliki label
terdekat O k-77 yaitu pengklasi&ikasikan dilakukan terhadap k data tetangga yang memiliki
label terdekat dengan K harus lebih besar ) dan ganjil
Algoritma K77:
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 23/31
) .entukan parameter K 1 jumlah tetangga terdekat
* hitung jarak antara data baru dengan semua data training
8 urutkan jarak tersebut dan tetapkan tetangga terdekat berdasarkan jarak minimum
ke-K
9 periksa kelas dari tetangga terdekat
gunakan mayoritas sederhana dari kelas tetangga terdekat sebagai nilai prediksi data
baru
%ontoh kasus:
!engenalan untuk menentukan seseorang itu mempunyai hipertensi atau tidak
Tae! #.1. .abel data hipertensi
$mur Kegemukan "ipertensi
muda gemuk .idak
muda sangat gemuk .idak
paruh baya gemuk .idak
paruh baya terlalu gemuk 6a
tua terlalu gemuk 6a
(ika data uji sebagai berikut maka termasuk hipertensi atau tidak>
Tae! #.2. .abel uji data hipertensi
$mur Kegemukan "ipertensitua sangat gemuk >
!enyelesaian dengan )-77
) ambarkan dalam bentuk gra&ik sebagai berikut
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 24/31
Gamar #.1. "asil gra&ik dari tabel data hipertensi
* "itunglah jarak titik yang diujikan dengan menggunakan uclidean #istance,
dengan asumsi nilai sebagai berikut:
Tae! #.". tabel kon@ersi katagorikal ke interger
muda ) gemuk )
paruh baya * sangat gemuk *tua 8 terlalu gemuk 8
8 %ari data terdekat
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 25/31
Gamar #.2. #ata baru masuk didalam kelas hipertensi
9 +erilah label data uji sesui dengan label data terdekat
Algoritma k-77
) .entukan k misalkan 8
* "itung jarak antara data baru ke setiap data
8 .entukan k atau 8 data yang memilki label dan mempunyai jarak yang paling
dekat
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 26/31
Gamar #.". #ata baru dibandingkan dengan 8 data terdekat
9 Klasi&ikasikan data baru ke dalam data yang memilili label mayoritas
Gamar #.#. #ata baru termasuk kedalam kelas hipertensi
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 27/31
#.2. -on%o Permasa!aan 1
#iberikan data training berikut dibawah ini, terdiri dari * atribut dengan skala
kuantitati& yaitu E) dan E* serta * kelas yaitu baik dan buruk (ika terdapat data baru
dengan nilai E)18 dan E*1<, tentukan kelasnya
data training:Tae! #.#. data latih K-77
E) E* 6
< < +uruk
< 9 +uruk
8 9 +aik
) 9 +aik
) .entukan parameter K 1 jumlah tetangga terdekat
Misalkan ditetapkan K 1 8
* "itung jarak antara data baru dengan semua data training
Tae! #.$. (arak data latih dengan data uji
E) E*
Kuadrar jarak dengan data
baru38,<5
< < 3<-85*X3<-<5*1);
< 9 3<-85*X39-<5*1*
8 9 38-85*X39-<5*1H
) 9 3)-85*X39-<5*1)8
8 $rutkan jarak tersebut dan tetapkan tetangga terdekat berdasarkan jarak minimum
ke-K
Tae! #.). Mencari 8 data terdekat
E) E*
Kuadrar jarak dengan data
baru38,<5
!eringkat
(arak minimu
m
.ermasuk 8tetangga
terdekat
< < 3<-85*X3<-<5*1); 8 6a
< 9 3<-85*X39-<5*1* 9 .idak
8 9 38-85*X39-<5*1H ) 6a
) 9 3)-85*X39-<5*1)8 * 6a
9 !eriksa kelas dari tetangga terdekat
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 28/31
Tae! #.*. Memberi label berdasarkan label terbanyak dari 8 data terdekat
E) E*Kuadrar jarak dengan
data baru38,<5
!eringkat
(arak minimum
.ermasuk
8
tetanggaterdekat
61
kelas
tetanggaterdekat
< < 3<-85*X3<-<5*1); 8 6a +uruk
< 9 3<-85*X39-<5*1* 9 .idak -
8 9 38-85*X39-<5*1H ) 6a +aik
) 9 3)-85*X39-<5*1)8 * 6a +aik
gunakan mayoritas sederhana dari kelas tetangga terdekat sebagai nilai prediksi data
baru
"asil pada no 9 menunjukkan bahwa dari 8 tetangga terdekat, terdapat * kelas +aik
dan ) kelas +uruk, maka disimpulkan bahwa data baru termasuk ke dalam kelas Baik.
#.". -on%o Permasa!aan 2
(ika diketahui data seperti dalam gambar berikut ini, rubahlah dalam bentuk tabel
untuk mempermudah perhitungan K-77
0 2 4 6 80
2
4
6
8
Gamar #.$. #ata training Y0dan /X0 data, data testing
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 29/31
#ata uji adalah data 38,95, &itur E18, 619 Akan dilakukan prediksi, masuk dalam kelas
yang manakah seharusnya jika mengunakan jarak uclidean
Tae! #.*. #ata dalam bentuk tabel
#ata E 6 Kelas
) ) ) B* * ) B
8 8 ) B
9 8 * B
< * )
; ) 8 B
< * 8 B
= 8 )
H 9 9 )
)B ; 9 )
)) ) B)* ; )
)8 ) ; B
)9 9 ; )
) ; )
); * < )
)< 9 < )
"itung jarak data uji 38,95 ke )< data latih
Tae! #.*. (arak ke data latih dengan ),8,< 77
7omor data y
Kelasasli
(arak data
uji ke datalatih )-77 8-77 <-77
) ) ) B 8;B B B B
* * ) B 8);** B B B
8 8 ) B 8 B B B
9 8 * B * B ) )
< * ) 99<*) B B B
; ) 8 B **8; B B )
< * 8 B )9)9* B ) )= 8 ) **8; B B )
H 9 9 ) ) ) ) )
)B ; 9 ) 8 B B B
)) ) B **8; B B )
)* ; ) 8);** B B B
)8 ) ; B *=*=9 B B B
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 30/31
)9 9 ; ) **8; B B )
) ; ) *=*=9 B B B
); * < ) 8);** B B B
)< 9 < ) 8);** B B B
!rediksi dengan K-77
$ntuk K1)
#ata latih yang terdekat adalah data nomor H 39,95 dengan kelas ), maka data uji 38,95
diprediksi masuk elas 1
$ntuk K18
#ata latih yang terdekat adalah data nomor H 39,95 dengan kelas ), data nomor < 3*,85
dan data nomor 9 38,*5 dengan kelas B, karena kelas ) berjumlah ) dan kelas B berjumlah * 3lebih banya elas * !aripa!a elas 15 maka data uji 38,95 diprediksi
masuk elas *.
$ntuk K1<
#ata latih yang terdekat adalah data nomor = 3,85, H 39,95, )9 39,;5 dengan kelas ),
data nomor 9 38,*5, ; 3),85, < 3*,85, dan )) 3),5 dengan kelas B, karena kelas )
berjumlah 8 dan kelas B berjumlah 9 3lebih banya elas * !aripa!a elas 15 maka data
uji 38,95 diprediksi masuk elas *
#.#. Rang64man
Algoritma K-77 dihitung berdasarkan tetangga terdekat dengan menggunakan jarak
ecludian Algoritma ini memiliki kelebihan sebagai berkikut:
• Analytically tractable• ?mplementasi sangat sederhana
• .ingkat error bayesian, *bayesian• Memungkinkan parallel implementation• obust terhadap data training yang memiliki noise 3terutama jika digunakan
in@ers kuadrat jarak terboboti sebagai Pjarak25
• &ekti& jika data training berukuran besar
Sedangan kelemahan dari algoritma ini adalah:
• +utuh memori besar• Komputasi besar
8/16/2019 KonsepLearning Naivebayes Knn
http://slidepdf.com/reader/full/konseplearning-naivebayes-knn 31/31
#.$. La%ian Soa!
) #ibawah ini adalah data Sapi dan Kambing
Tae! #.*. (enis "ewan
+erat .inggi (enis "ewan
+erat !endek Kambing
+erat sedang Sapi
+erat .inggi Sapi
Sedang !endek Kambing
Sedang sedang Kambing
Sedang .inggi Kambing
ingan .inggi Sapi
(ika terdapat data baru yang +eratnya ingan dan .ingginya sedang, maka data
tersebut kemungkinan Kambing atau Sapi> !akailah metode )-77 dan k-77 3k185
untuk menyelesaikan persoalan diatasN
* .erdapat beberapa data yang berasal dari sur@ey Uuestioner tentang klasi&ikasi
kualitas kertas tissue apakah baik atau jelek, dengan objek training menggunakan
dua attribute yaitu daya tahan terhadap asam dan kekuatan
Tae! #.*. (enis klasi&ikasi tisue
E)1 #aya
tahan
asam3detik
5
E*1
Kekuatan
3Kg'm*5 61Klasi&ikasi
= 9 +aik
9 (elek
9 ; (elek
< < +aik
; (elek
; +aik
Akan diproduksi kembali kertas tisu dengan attribute E)1< dan E*19 tanpa harus
mengeluarkan biaya untuk melakukan sur@ey, maka dapat diklasi&ikasikan kertastise tersebut termasuk yang baik atau jelek