Zone de rejet et scoring

Introduction

Classifieur permet de décider Quelle est la qualité de cette décision?

Exemple:

Règle de Bayes dit « X est Malade »

Et vous?

4999.0

5001.0

XPasMaladeP

XMaladeP

Autre exempleClassifieur voiture/vélo

classifieurx xVéloP

xVoitureP

Décision (c’est la forme voiture)

Donnée(vecteur forme)

Cadre de discernement: C={Voiture,Vélo}

Vecteur forme(vecteur de caractéristiques)

Décision: x est une voiture

05.0

95.0

xVéloP

xVoiturePclassifieurx

x

85.0

15.0

xVéloP

xVoitureP

Décision: x est un vélo

classifieurx

x

40.0

60.0

xVéloP

xVoitureP

Décision: x est une voiture!!!

classifieurx

x

Rappel : cadre de discernement: C={Voiture,Vélo}

Introduction de la notion de rejet Rejet d’ambiguïté Rejet en distance

Un peu de prudence dans un monde d’incertitude !

Règle de décision classique

Cas paramétrique– On connaît les ddp

Règle de décision classique (Bayes)

iyxp

Exemple

Bonne classification = 88,5%

Décision

réalité

Décision

réalitéerreur

x x’

Exemple (suite)

xclassePMême problème vu du côté

Décision

réalité

Décision

réalité

Règle de décision avec rejet

Cas paramétrique– On connaît les ddp iyxp

Règle de décision avec rejet (Chow, 1957)

d0 : rejet du résultat du classifieur : seuil de rejet

dens

itée

et lo

i à p

oste

riori

classe 0classe 1classe 0classe 1

Rejet d’ambiguité

sinon rejet

P si

P si

2/1)(100

2/1)(11

)(A

A

xrxy

xrxy

xD

Définition : règle de décision du maximum a posteriori (MAP)

1/2

1

A

xclasse 0 rejet classe 1

Règle de Chow

Loisa posteriori

densités

Exemple de rejet avec A=0,75

Bonne classification = 94,5% ; points rejetés = 15,2%

0.75

Exemple de rejet avec A=0,75

classepclassexpMême problème vu du côté de la distribution

Exemple de rejet avec A=0,85

Bonne classification = 96,3% ; points rejetés = 24,2%

0.85

Exemple de rejet avec A=0,85

classepclassexpMême problème vu du côté de la distribution

Exemple de rejet avec A=0,89

Bonne classification = 98,5% ; points rejetés = 43,0%

0.89

Exemple de rejet avec A=0,89

classepclassexpMême problème vu du côté de la distribution

Exemple de rejet avec A=0,99

Exemple de rejet avec A=0,9

Exemple de rejet avec A=0,8

Exemple de rejet avec A=0,6

Exemple de rejet avec A=0,51

Extension de la notion de rejet

Rejet précédent = rejet d’ambiguïtéMais…

?

Rejet en distance

Rejet en distance

Règle de décision avec rejet d’ambiguïté et de distance

(Dubuisson, 1990)

D : rejet du résultat du classifieur si le point x appartient à une zone éloignée des zones « usuelles » des classes.Cd: seuil de rejet en distanced0 : résultat du classifieur : seuil de rejet d’ambiguïté

dens

itée

et lo

i à p

oste

riori

classe 0classe 1classe 0classe 1

1/2

1

A

x

rejet de distance classe 0 rejet classe 1 rejet de distance

SiD = 0 et A = .5 :

règle du MAP (Bayes pour le coût 0-1)

ambiguïtéd' rejet sinon 0 classe P si

1 classe P si

: sinon

distance de rejet P si D

2/1)(10

2/1)(1)(

A

A

xrxy

xrxy

x

xD

D

Rejet en distance

Loisa posteriori

densités

Exemple

A=0,75 ; Cd = 0,025

0.025

Exemple

A=0, 85 ; Cd = 0,025

Exemple

A=0, 85 ; Cd = 0,025

Mesure de performances etqualité de l’utilisation du rejet

Comment mesurer les performances d’une règle de décision ?

• Matrice de confusion, intervalle de confiance Exemple:

• Courbe ROC : performances vs. rejet

Matrice de confusion :vérité

1 2

prévi-sion

1 204 54

2 19 55

Probabilité d'erreur estimée : (54+19)/332=0.22=pIntervalle de confiance à 95 % : [0.18, 0.27]

Courbe ROC

Courbe ROCLes courbes ROC (Receiver Operating Characteristic) permettent d'étudier les variations de la spécificité et de la sensibilité d'un test pour différentes valeurs du seuil de discrimination. Le terme de courbe ROC peut être envisagé comme une "courbe de caractéristiques d'efficacité".

La courbe ROC est avant tout définie pour les problèmes à deux classes (les positifs et lesnégatifs), elle indique la capacité du classifieur à placer les positifs devant les négatifs. Elle met en relation dans un graphique les taux de faux positifs (en abscisse) et les taux de vraispositifs (en ordonnée).

Courbe ROC

Matrice de confusion

Courbe ROC

Courbe ROCPerformances d'un classifieur (sur les points non rejetés)en fonction du pourcentage de points rejetés

+

+