Kaj je strojno učenje?
Transcript of Kaj je strojno učenje?
![Page 1: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/1.jpg)
Kaj je strojno učenje?Prišel bo čas, ko bomo morali pozabiti vse, kar smo se naučili. (Ramana Maharshi)
• Strojno učenje (machine learning)
• Odkrivanje zakonitosti v podatkovnih bazah(knowledge discovery in databases)
• Podatkovno rudarjenje (data mining)
![Page 2: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/2.jpg)
model
hipotezateorijapravilo
MLizvajalnialgoritem
neznaniproces
novi problem
rešitevpodatki opisi (rešenih) problemov
(nadzorovano) učenje
![Page 3: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/3.jpg)
model
hipotezateorijapravilo
MLizvajalnialgoritem
neznaniproces
novi problem
rešitev = eden od možnih
razredov
podatki opisi (rešenih) problemov
(nadzorovano) učenjeklasifikacija
![Page 4: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/4.jpg)
Atributni opis primerov: klasifikacija
Primer Atribut1 Atribut2 Atribut3 … … … … AtributA Razred
1 V11 V12 V13 V1A R1
2 V21 V22 V23 V2A R2
3 V31 V31 V33 V3A R3
…
…
…
n Vn1 Vn2 Vn3 VnA Rn
![Page 5: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/5.jpg)
Atributni opis primerov: klasifikacija, npr.
Pacient Spol Starost Teža … … … … Glavobol Razred
1 m 39 81 Da Diagnoza1
2 ž 27 63 Ne Diagnoza4
3 ž 45 72 Da Diagnoza2
…
…
…
n m 63 75 Da Diagnoza2
![Page 6: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/6.jpg)
model
hipotezateorijapravilo
MLizvajalnialgoritem
neznaniproces
novi problem
rešitev = realno število
podatki opisi (rešenih) problemov
(nadzorovano) učenjeregresija
![Page 7: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/7.jpg)
Atributni opis primerov: regresija
Primer Atribut1 Atribut2 Atribut3 … … … … AtributA Ciljna spr.Regresijska spr.
1 V11 V12 V13 V1A R1
2 V21 V22 V23 V2A R2
3 V31 V31 V33 V3A R3
…
…
…
n Vn1 Vn2 Vn3 VnA Rn
![Page 8: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/8.jpg)
Atributni opis primerov: regresija, npr.
Pacient Spol Starost Teža … … … … Glavobol Dolžinazdravljenja
1 m 39 81 Da 10 dni
2 ž 27 63 Ne 14 dni
3 ž 45 72 Da 45 dni
…
…
…
n m 63 75 Da 25 dni
![Page 9: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/9.jpg)
Pregled metod strojnega učenja
• klasifikacija:• Odločitvena drevesa• naivni Bayesov klasifikator• Klasifikator z najbližjimi sosedi• Diskriminantne funkcije• metoda podpornih vektorjev (SVM)• Naključni gozdovi• Umetne nevronske mreže• Globoke nevronske mreže
• regresija:• Regresijska drevesa• Linearna regresija• Lokalno utežena regresija• Regresijske funkcije• Metoda podpornih vektorjev• Naključni gozdovi• Umetne nevronske mreže• Globoke nevronske mreže
![Page 10: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/10.jpg)
Root
nLymph > 1.5
Leaves: 1, MSE = 41.46
Leaves: 2, MSE = 36.32
Leaves: 5, MSE = 34.81
nLymph > 2.5grade > 1.5
stage > 1.5
(130 instances, y = 13.42)
(229 instances, y = 11.16) (288 instances, y = 8.92)
(83 instances, y = 2.76)
(119 instances, y = 5.63)
Predicting Breast Cancer Recurrence
Odločitvena in regresijska drevesa
![Page 11: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/11.jpg)
𝑘 najbližjih sosedov in lokalno utežena regresija
Hastie, Tibshirani, Friedman: Elements of Statistical Learning, 2009
![Page 12: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/12.jpg)
Naivni Bayes in linearna regresija• Predpostavka: atributi so med seboj neodvisni pri danem razredu
𝑃 𝐶 𝑋1𝑋2…𝑋𝑛 =𝑃 𝐶 ⋅𝑃 𝑋1𝑋2…𝑋𝑛 𝐶
𝑃 𝑋1𝑋2…𝑋𝑛=
𝑃 𝐶 ⋅ς𝑖 𝑃 𝑋𝑖 𝐶ς𝑖 𝑃 𝑋𝑖
𝑃 𝐶 𝑋1𝑋2…𝑋𝑛 =𝑃 𝐶 ⋅ ς𝑖 𝑃 𝐶 𝑋𝑖
ς𝑖 𝑃 𝐶
![Page 13: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/13.jpg)
Diskriminantne in regresijske funkcije
![Page 14: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/14.jpg)
SVM- metoda podpornih vektorjev
![Page 15: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/15.jpg)
SVM za regresijo
![Page 16: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/16.jpg)
Naključni gozdovi (RF) – klasifikacija in regresija
![Page 17: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/17.jpg)
Umetne nevronske mreže
![Page 18: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/18.jpg)
Globoke nevronske mreže (DNN)
![Page 19: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/19.jpg)
Globoke nevronske mreže: DNN
• Polno povezane
• Konvolucijske
• Autoenkoderji
• GAN
![Page 20: Kaj je strojno učenje?](https://reader034.fdocuments.net/reader034/viewer/2022051323/627c4580e0de4530e02bfca3/html5/thumbnails/20.jpg)
Rekurentne nevronske mreže: RNN
• 2.1 Fully recurrent• 2.2 Recursive• 2.3 Hopfield
• 2.3.1 Bidirectionalassociative memory
• 2.4 Elman networks andJordan networks
• 2.5 Echo state• 2.6 Neural history
compressor• 2.7 Long short-term
memory• 2.7.1 Second order RNN
• 2.8 Gated recurrent unit
• 2.9 Bi-directional• 2.10 Continuous-time• 2.11 Hierarchical• 2.12 Recurrent multilayer
perceptron• 2.13 Multiple timescales
model• 2.14 Neural Turing
machines• 2.15 Differentiable neural
computer• 2.16 Neural network
pushdown automata