App Rent is Sage Supervise

5/17/2018 App Rent is Sage Supervise - slidepdf.com

http://slidepdf.com/reader/full/app-rent-is-sage-supervise 1/12

Apprentissage supervise : probleme a deux classes Apprentissage supervise : probleme a N classes

Apprentissage supervise

Criteres d’evaluation

Jerome Aze

2007-2008

http://find/

http://goback/




Outline

1 Apprentissage supervise : probleme a deux classes

Rappels

Classification


Trier plutot que classifier

2 Apprentissage supervise : probleme a N classesQuels criteres d’evaluation ?

http://find/




Rappels

Principe de base de l’apprentissage supervise

Protocole d’apprentissage

Learning

algorithm

Data

1/3

2/3

Test

Learn

validation set

learning set

tuning of the model

Model of the data

Evaluation of the

model on Test data

2/3

1/3

Cross Validation

http://find/




Classification

Evaluation de l’apprentissageEntree : un modele en construction

Objectifs : ameliorer le modele

utiliser le “validation set” pour rafiner le modele (reglage fin

des parametres, post-elagage,. . .

)

Evaluation du test : Matrice de confusion

R eel

Pos Neg

P r ´ e d i t

Pos TP FP

Neg FN TN

TP : True Positive

FP : False Positive

FN : False Negative

TN : True Negative

http://find/





Quelques criteres d’evaluation

Evaluation du test : Matrice de confusion

R eel Pos Neg

P r ´ e d i t Pos TP FP

Neg FN TN

TP : True Positive

FP : False PositiveFN : False Negative

TN : True Negative

Precision, Rappel, Accuracy

Precision = TP TP +FP

Rappel = TP TP +FN

Accuracy = TP +TN TP +FN +FP +TN

Sensibilite, Specificite

sensibilite = TP TP +FN

specificite = TN FP +TN

http://find/





Courbes associees

Courbe Precision–Rappel

Abscisse : precision

Ordonnee : rappel

Interet : evaluer l’impact d’un parametre

r a p p e l

1

precision 10,0

A ti i ´ bl ` ` d l A ti i ´ bl ` ` N l

http://find/





Front de Pareto

Definition

Le front de Pareto est defini par l’ensemble des approches qui sont telsqu’aucune autre approche ne presente de meilleurs resultats pour tous lescriteres etudie (ici precision et rappel).

Les approches qui ne sont pas sur le front de Pareto sont dites “dominees”.

r a p p e l

1

precision 10,0

vert : 1er front de Pareto

bleu : 2nd front de Pareto

rouge : 3eme front de Pareto

Apprentissage s per ise probleme a de classes Apprentissage s per ise probleme a N classes

http://find/






Interet du tri

Notion de risque : medecine, nucleaire, . . .

Ressources limitees : trouver les patients les plus a

risques et les traiter (cas des greffes par exemple)Cout eleve d’un test : detecter le sous-groupe le plus

prometteur

. . .

Courbe ROC (sensibilite – (1-specificite))

Abscisse : 1 - specificite = taux de faux positifs chez les NEG (erreur deprediction, par ex : patient sain predit comme malade)

Ordonnee : sensibilite = taux de vrais positifs

Interet : Permet de visualiser rapidement la puissance d’un modele


http://find/

http://goback/





Courbe ROC : Receiver Operating Characteristics

Evaluation de l’aire sous la courbe ROC

Critere plus fiable que la precision (Ling, Huang, Zhang,AI’03)

Insensible a la distribution

Independant des couts d’erreur


http://find/

http://goback/





Courbe ROC : exemple

tire du livre de A.J. Valleron

http ://www.chups.jussieu.fr/polys/biostats/poly/POLY.Chp.5.2.html

Courbe A : examen temperature et grippe.

Courbe B : examen qui n’apporte rien au diagnostic (variables independantes).

Courbe C : bon critere diagnostic (sensibilite et specificte simultanementelevees).


http://find/

http://goback/




Outline

1 Apprentissage supervise : probleme a deux classes

Rappels

ClassificationCriteres d’evaluation


2 Apprentissage supervise : probleme a N classesQuels criteres d’evaluation ?


http://find/

http://goback/




Quels criteres d’evaluation ?

Evaluation multi-classes

Matrice de confusion multi-classes

R eel C 1 C 2 . . . C i . . . C n

P r ´ e d i t

C 1 c 11

c 21

c i 1

c n 1

C 2 c 1

2. . . . . .

C i c 1i

c i i

. . . . . .

C n c 1n

Prediction correcte : c i i Prediction incorrecte :c

j i

avec i = j

Precision, Rappel, Accuracy

Precision (C i ) =c i

i Pn j =1 c

j i

Rappel (C i ) =c i i Pn

j =1 c i j

Accuracy =Pn

i =1 c i i Pn

i , j =1 c j i

http://find/

http://goback/

App Rent is Sage Supervise

Documents

Transcript of App Rent is Sage Supervise