RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs...
-
Upload
roch-pommier -
Category
Documents
-
view
113 -
download
2
Transcript of RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs...
![Page 1: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/1.jpg)
RECONNAISSANCE DE FORMES
IAR-6002
![Page 2: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/2.jpg)
Approches non-paramétriques
Les histogrammes Les estimateurs de densités Technique de classification NN Technique de classification k-NN Erreurs de classification NN
![Page 3: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/3.jpg)
Les histogrammes
Les histogrammes nous permettent d’estimer les pdf lorsque nous ne connaissons pas leurs formes paramétriques
Un histogramme est formé d’intervalles adjacents représentant un découpage de la plage des valeurs des caractéristiques x
Le nombre d’observations tombant dans chaque intervalle est ensuite affiché en fonction de x
![Page 4: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/4.jpg)
Les histogrammes (exemples d’histogrammes)
50 observations
![Page 5: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/5.jpg)
Les histogrammes Les probabilités sont alors estimées par
j
jjNw
nP
nj: nombre d’observations dans l’intervalle jwj: largeur de l’intervalle j
![Page 6: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/6.jpg)
Les histogrammes (Exemple)
Avec 2 classes et 1 caractéristique
![Page 7: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/7.jpg)
Les histogrammes (Exemple) Sachant que N=60 et wj=1, nous devons diviser les
nombres d’occurences par 60, P(A) = P(B) = 0.5 Pour classifier une observation x=7.5, nous devons
calculer des estimations de p(x|A) et p(x|B)
7860
145.7
7860
25.7
BP
AP
![Page 8: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/8.jpg)
Les histogrammes (Exemple) Par le théorème de Bayes
875.0)5.7(15.7
125.0)5.0)(5.7(5.0)5.7(
5.0)5.7(5.7
)()5.7()()5.7(
)()5.7(5.7
APBP
BPAP
APAP
BPBPAPAP
APAPAP
P(B|7.5) > P(A|7.5) alors x est classé dans B
![Page 9: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/9.jpg)
Les estimateurs de densités
Les observations représentent une approximation grossière de la fonction de densité réelle
Les observations sont en fait un ensemble de delta de dirac, un pour chaque observation
La surface de chaque pic correspond au nombre d’observations divisé par le nombre total d’obser-vations
![Page 10: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/10.jpg)
Les estimateurs de densités
Si nous remplaçons chaque pic par un noyau (kernel), leur sommation produira alors une estimation plus douce de la densité
De plus, si nous estimons des valeurs ponctuelles de densité, nous pouvons alors centrée une fonction (window function) à une position donnée x et ainsi calculée par convolution l’estimation de la densité à cette position
![Page 11: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/11.jpg)
Les estimateurs de densités
Si nous remplaçons chaque pic par un noyau (kernel), leur sommation produira alors une estimation plus douce de la densité
De plus, si nous estimons des valeurs ponctuelles de densité, nous pouvons alors centrée une fonction (window function) à une position donnée x et ainsi calculée par convolution l’estimation de la densité à cette position
![Page 12: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/12.jpg)
Les estimateurs de densités (Exemple noyau triangulaire)
![Page 13: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/13.jpg)
Les estimateurs de densités
L’expression de convolution
)(1
)(ˆ
)()(ˆ)(*)(ˆ)(ˆ
1i
N
is
ss
xyN
yP
dyyxKyPxKxPxP
![Page 14: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/14.jpg)
Les estimateurs de densités (formes de divers noyaux)
Formes des noyaux (K(x))
![Page 15: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/15.jpg)
Les estimateurs de densités (exemples d’estimation de densité)
Noyau triangulaire Noyau gaussien
![Page 16: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/16.jpg)
Technique de classification NN
La technique du voisin le plus proche nous permet d’éviter le problème de calcul des probabilités
En fait, nous classons une observation x inconnue dans la classe la plus proche (NN), ou à l’observa-tion la plus proche dans les données d’entraînement
![Page 17: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/17.jpg)
Technique de classification NN
Nous devons alors déterminer l’observation de référence la plus proche. La distance Euclidienne est donnée par
n
iiie
n
n
abbad
bbb
aaa
1
2
1
1
)(),(
),....,(
),....,(
![Page 18: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/18.jpg)
Technique de classification NN
Autres distances
rrn
iiir
ii
n
im
n
iiicb
abbad
abbad
abbad
/1
1
1
1
),(
max),(
),(
Différence absolue
Distance maximale
Minkowski
![Page 19: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/19.jpg)
Technique de classification NN
Exemple de classification NN
![Page 20: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/20.jpg)
Technique de classification k-NN
Une généralisation de la technique NN consiste à associer la classe Ci à une observation x dont font partie une majorité des k voisins les plus proches de x
Si nous utilisons 3 voisins, l’observation de l’exemple précédent sera classé dans B puisque 2/3 voisin appartiennent à B
![Page 21: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/21.jpg)
Technique de classification k-NN (Comparaison de l’erreur)
![Page 22: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/22.jpg)
Erreurs de classification NN
La probabilité d’erreur d’un classificateur NN est toujours plus grande ou égale à celle d’un classifica-teur de Bayes
Le classificateur de Bayes choisit toujours la classe la plus vraisemblable, ce qui représente le choix optimale
Avec un classificateur NN, il peut arriver qu’un voi-sin d’une classe donnée qui n’est pas la classe la plus vraisemblable soit le plus proche d’une obser-vation à classifier
![Page 23: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/23.jpg)
Erreurs de classification NN
La probabilité de bonne classification des éléments de la classe Ci, est obtenue par
)()()(
)(
)()()(
)()()(
2
ii
i
R
iiNNi
R iiNNi
CxpCpxp
dxxp
CxpCPCCP
dxCxpxCpCCP
n
n
![Page 24: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/24.jpg)
Erreurs de classification NN
La probabilité d’erreur de classification des éléments de la classe Ci, est obtenue par
)()()(
)(1)()(
)(
)()()()(
ii
i
ijiji
R
ii
iNNi
CxpCpxp
CPCPCP
dxxp
CxpCxpCPCEP
n
![Page 25: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/25.jpg)
Erreurs de classification NN
La probabilité d’erreur de classification totale, est obtenue par
c
iR
iiNN
c
iNNiiNN
dxxp
CxpCPEP
CEPCpEP
n
1
2
2
1
)(
)()(1)(
)()()(
![Page 26: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/26.jpg)
Erreurs de classification NN (Exemple)
Si nous avons 2 classes A et B avec P(A) = P(B) = 0.5, et p(x|A) est distribué uniformément entre 0 et 2 alors que p(x|B) est distribué uniformément entre 1 et 5
Quelle est l’erreur de classification NN ? Comment cette erreur se compare-t-elle à l’erreur
Bayesienne
![Page 27: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/27.jpg)
Erreurs de classification NN (Exemple)
p(x|A), p(x|B) avec p(x) en pointillée
![Page 28: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/28.jpg)
Erreurs de classification NN (Exemple)
Calcul des probabilités d’erreur
6
1
3
21
2
11
0)4/1)(2/1()2/1)(2/1(
2/1
0)2/1)(2/1(
2/1
2
11)(
)(1)(
5
2
2
1
2
1
0
2
dxdx
dxAEP
ACPAEP
NN
NN
![Page 29: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/29.jpg)
Erreurs de classification NN (Exemple)
Calcul des probabilités d’erreur
6
1)4/1)(2/1(0
4/1
)4/1)(2/1()2/1)(2/1(
4/10
2
11)(
5
2
2
2
1
21
0
dx
dxdxBEP NN
![Page 30: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/30.jpg)
Erreurs de classification NN (Exemple)
Calcul de la probabilité d’erreur totale
6
16
1
2
1
6
1
2
1)()()()()(
NNNNNN BEPBPAEPAPEP
![Page 31: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/31.jpg)
Erreurs de classification NN (Exemple)
Calcul de la probabilité d’erreur totale Bayesienne
BayesNN
BayesBayesBayes
EPEP
BEPBPAEPAPEP
)()(8
14
1
2
10
2
1
)()()()()(
![Page 32: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/32.jpg)
Erreurs de classification NN (Exemple)
Calcul de la probabilité d’erreur totale Bayesienne
BayesNN
BayesBayesBayes
EPEP
BEPBPAEPAPEP
)()(8
14
1
2
10
2
1
)()()()()(
![Page 33: RECONNAISSANCE DE FORMES IAR-6002. Approches non-paramétriques u Les histogrammes u Les estimateurs de densités u Technique de classification NN u Technique.](https://reader035.fdocuments.net/reader035/viewer/2022062404/551d9da2497959293b8d1dcb/html5/thumbnails/33.jpg)
Erreurs de classification NN (Borne)
La borne d’erreur de P(E)NN
2)(1
)(2)( BayesBayesNN EPc
cEPEP