MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.
Transcript of MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.
![Page 1: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/1.jpg)
MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA
![Page 2: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/2.jpg)
Matriz de Confusão
• A matriz de confusão de uma hipótese h oferece uma medida efetiva do modelo de classificação, ao mostrar o número de classificações corretas versus as classificações preditas para cada classe, sobre um conjunto de exemplos T
• O número de acertos, para cada classe, se localiza na diagonal principal M(Ci,Ci) da matriz
• Os demais elementos M(Ci,Cj), para i ≠ j, representam erros na classificação
• A matriz de confusão de um classificador ideal possui todos esses elementos iguais a zero uma vez que ele não comete erros
![Page 3: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/3.jpg)
![Page 4: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/4.jpg)
Medidas de Desemepenho
• Acurácia: porcentagem de amostras positivas e negativas classificadas corretamente sobre a soma de amostras positivas e negativas
FNFPTNTP
TNTPAccuracy
![Page 5: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/5.jpg)
Estimação da taxa de erro (ou de acerto = Acuracia)• Holdout - 2/3 treinamento, 1/3 teste• Validação cruzada (k-fold)
• K conjuntos exclusivos e exaustivos• O algoritmo é executado k vezes
• Bootstrap• Com reposição de amostras
![Page 6: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/6.jpg)
Desbalanceamento de Classes• Suponha um conjunto de amostras com a seguinte
distribuição de classes • dist(C1, C2, C3) = (99.00%, 0.25%, 0.75%)
• Um classificador simples que classifique sempre novos exemplos como pertencentes à classe majoritária C1 teria uma precisão de 99,00%
• Isto pode ser indesejável quando as classes minoritárias são aquelas que possuem informação importante. Por exemplo:• C1: paciente normal, • C2: paciente com doença A • C3: paciente com doença B
![Page 7: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/7.jpg)
Desbalanceamento de Classes
Exemplo :
C1 = pacientes com câncer (4 pacientes)
C2 = pacientes saudáveis (500 pacientes)
acc(M) = 90%• Classificou corretamente 454 pacientes que não tem câncer• Não acertou nenhum dos que tem câncer
Pode ser considerado um “bom classificador”?
![Page 8: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/8.jpg)
Desbalanceamento de Classes• Quando se trabalha com classes desbalanceadas é
desejável utilizar uma medida de desempenho diferente da precisão
• A maioria dos sistemas de aprendizado é projetada para otimizar a precisão. Estes classificadores apresentam um desempenho ruim se o conjunto de treinamento encontra-se fortemente desbalanceado,
• Algumas técnicas foram desenvolvidas para lidar com esse problema, tais como a introdução de custos de classificação incorreta, a remoção de amostras redundantes ou prejudiciais ou ainda a detecção de exemplos de borda e com ruído
![Page 9: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/9.jpg)
Medidas de Desemepenho• Sensitividade (Recall): porcentagem de amostras positivas
classificadas corretamente sobre o total de amostras positivas
• Precisão: porcentagem de amostras positivas classificadas corretamente sobre o total de amostras classificadas como positivas
• Especificidade: porcentagem de amostras negativas identificadas corretamente sobre o total de amostras negativas
FPTP
TPPrecision
![Page 10: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/10.jpg)
Medidas de Desempenho• F-measure também chamada F-score. É uma média
ponderada de precisão e recall
Recall)(Precision
Recall)(Precision2F
![Page 11: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/11.jpg)
Curva ROC• ROC = Receiver Operating Characteristic Curve • Enfoque gráfico que mostra um trade-off entre as taxas de TP
(TPR) e FP (FPR) de um classificador.
• TPR = TP/(TP + FN) ( = recall) = Porcentagem de amostras corretamente classificadas como positivas dentre todas as
positivas reais
• FPR = FP/(TN + FP)Porcentagem de amostras erroneamente classificadas como positivas dentre todas as negativas reais
• Ideal : TPR = 1 e FPR = 0
![Page 12: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/12.jpg)
Exemplo
Test Result
Pts Pts with with diseasdiseasee
Pts Pts without without the the diseasedisease
![Page 13: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/13.jpg)
Test Result
Call these patients “negative” Call these patients “positive”
Limiar
![Page 14: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/14.jpg)
Test Result
Call these patients “negative” Call these patients “positive”
without the disease
with the disease
True Positives
![Page 15: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/15.jpg)
Test Result
Call these patients “negative” Call these patients “positive”
False Positives
![Page 16: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/16.jpg)
Test Result
Call these patients “negative” Call these patients “positive”
True negatives
![Page 17: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/17.jpg)
Test Result
Call these patients “negative” Call these patients “positive”
False negatives
![Page 18: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/18.jpg)
Test Result
‘‘‘‘-- ’’’’ ‘‘‘‘++ ’’’’
Movendo o Limiar para a direita
![Page 19: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/19.jpg)
Test Result
‘‘‘‘-- ’’’’ ‘‘‘‘++ ’’’’
Movendo o Limiar para a esquerda
![Page 20: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/20.jpg)
Curva ROC
Tru
e P
osi
tive R
ate
(s
en
siti
vit
y)
0%
100%
False Positive Rate (1-specificity)
0%
100%
![Page 21: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/21.jpg)
Curva ROC• Cada ponto na curva corresponde a um dos modelos induzidos
pelo classificador• Um bom modelo deve estar localizado próximo do ponto (0,1)• Modelos localizados na diagonal são modelos aleatórios
• TPR = FPR
• Modelos localizados acima da diagonal são melhores do que modelos abaixo da diagonal.
![Page 22: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/22.jpg)
Tru
e P
osi
tive
Ra
te
0%
100%
False Positive Rate0%
100%
Tru
e P
osi
tive
Ra
te
0%
100%
False Positive Rate0%
100%
A good test: A poor test:
Comparação curvas ROC
![Page 23: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/23.jpg)
Comparando performance relativas de diferentes classificadores• Curvas Roc são utilizadas para se medir a performance relativa
de diferentes classificadores.
M1
M2
x
Até aqui M2 é melhor do que M1A partir daí, M1 fica melhor do que M2
![Page 24: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/24.jpg)
Análise da curva ROC• Ponto (0,1) é o classificador perfeito: classifica todas as
amostras positivas e negativas corretamente. FPR=0 e TPR=1.
• O ponto (0,0) representa um classificador que classifica todas as amostras como negativas, enquanto o ponto (1,1) corresponde a um classificador que classifica todas as amostras como positivas.
• O ponto (1,0) é o classificador que classifica incorretamente todas as amostras.
• Em muitos casos, os classificadores possuem um parâmetro que pode ser ajustado para aumentar TP aumentando também FP. Cada parâmetro fornece um par (FP, TP). Um classificador não-paramétrico é representado por um único ponto na curva ROC.
![Page 25: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/25.jpg)
Best Test: Worst test:T
rue
Po
sitiv
e R
ate
0%
100%
False Positive Rate
0%
100%
Tru
e P
osi
tive
R
ate
0%
100%
False Positive Rate
0%
100%
The distributions don’t overlap at all
The distributions overlap completely
Extremos da curva ROC
![Page 26: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/26.jpg)
Area abaixo da curva ROC (AUC)• A área abaixo da curva ROC fornece medida para comparar
performances de classificadores.• Quanto maior a área AUC melhor a performance global do
classificador.• Classificador optimal: área =1 • Classificador randômico : área = 0.5
![Page 27: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/27.jpg)
Tru
e P
osi
tive
Ra
te
0%
100%
False Positive Rate
0%
100%
Tru
e P
osi
tive
R
ate
0%
100%
False Positive Rate
0%
100%
Tru
e P
osi
tive
R
ate
0%
100%
False Positive Rate
0%
100%
AUC = 50%
AUC = 90% AUC =
65%
AUC = 100%
Tru
e P
osi
tive
R
ate
0%
100%
False Positive Rate
0%
100%
AUC para diferentes curvas ROC
![Page 28: MEDIDAS DE DESEMPENHO Classificação SUPERVISIONADA.](https://reader035.fdocuments.net/reader035/viewer/2022081518/552fc15f497959413d8e8366/html5/thumbnails/28.jpg)
Referências• P-N Tan et al. Introduction to Data Mining – Capitulo 5, seção
5.7• Jesse Davis, Mark Goadrich - The Relationship between
Precision-Recall and ROC Curves. Proc. 23rd Int. Conf. On Machine Learning. 2006.
• Gary M. Weiss. Mining with Rarity: A Unifying Framework. SIGKDD Explorations, Vol. 6, Issue 1, 2007.
• Software: AUCCalculator 0.2
A Java program for finding AUC-ROC and AUC-PR
http://www.cs.wisc.edu/~richm/programs/AUC/