Upload
internet
View
109
Download
3
Embed Size (px)
Citation preview
Reconhecimento de Padrões
Receiver Operating Characteristics (ROC)
David Menotti, Ph.D.www.decom.ufop.br/menoti
Universidade Federal de Ouro Preto (UFOP)Programa de Pós-Graduação em Ciência da Computação (PPGCC)
Introdução
• A escolha do limiar de rejeição é um aspecto muito importante na construção de um classificador.– Mudança deste limiar afeta o desempenho do
sistema.– ROC é uma ferramenta muito útil na análise e
comparação de classificadores.
Desempenho
• Dado um classificador com duas saídas, existem saídas possíveis.
DesempenhoTrue Positive
FalsePositive
FalseNegative
True Negative
AB
TP – Classe é A e classificamos como ATN – Classe é B e classificamos como BFP – Classe é B e classificamos como AFN – Classe é A e classificamos como B
Tipos de Erro
• Erro Tipo I– Também conhecido como α-erro ou falso
positivo.– Acontece quando aceita-se como genuína
uma coisa que é falsa.
• Erro Tipo II– Também conhecido como β-erro ou falso
negativo.– Acontece quando rejeitamos algo que deveria
ter sido aceito.
Terminologia
• True Positive Acerto• True Negative Rejeição correta• False Positive Erro Tipo I, falso alarme• False Negative Erro Tipo II• True Positive Rate (TPR) Sensitivity
– TPR = TP/P = TP/(TP+FN)
• False Positive Rate (FPR) (1 – Specificity)– FPR = FP/N = FP/(FP+TN)
• Accuracy (Exatidão)– ACC = (TP+TN)/(P+N)
Gráfico ROC
• Gráfico em duas dimensões– X: FPR, Y: TPR
• Vários pontos são interessantes de serem observados– Conservador (A/B)– Liberal (B/A)
Desempenho Aleatório
• Um classificador que aparece abaixo da diagonal principal é pior que o desempenho aleatório.
Gráfico ROC
• Conservador– Aquele classificador que aceita poucos “False
Positives”, mas consequentemente penaliza bastante o desempenho dos “True Positives”
• Liberal– Aquele classificador que não se importa muito
em aceitar bastante “False Positive”. Por outro lado, seu desempenho nos “True Positives” é muito bom.
Gráfico ROC
• Equal Error Rate– Ponto do gráfico no qual FPR é igual a 1-TPR– Medida de desempenho e comparação
quando não existe um ponto operacional específico.
Exemplo
• Considere 20 amostras:– 10 positivas e 10 negativas.
# Classe Score # Classe Score
1 + 0.90 11 - 0.70
2 + 0.80 12 - 0.53
3 + 0.60 13 - 0.52
4 + 0.55 14 - 0.505
5 + 0.54 15 - 0.39
6 + 0.51 16 - 0.37
7 + 0.40 17 - 0.36
8 + 0.38 18 - 0.35
9 + 0.34 19 - 0.33
10 + 0.30 20 - 0.10
Exemplo (cont)• Após ordenar os dados pelo score, temos o
seguinte gráfico
Note que cada ponto operacional tem um limiar associado.
Exemplo (cont)
• Suponha que a especificação do seu sistema diga que o máximo FPR do seu sistema é 0.10. Qual seria o limiar de rejeição?
• Qual seria a taxa de acerto do sistema?
Para o limiar 0.54, a taxa de reconhecimento seria 70%(5 + 9) / 20 = 0.70
Fawcett (2006).
Classes Desbalanceadas
• Uma propriedade bastante interessante da curva ROC é que ela é insensível a distribuição de classes.
• Taxa de reconhecimento é sensível– Suponha que tenhamos 5 vezes mais
elementos na classe a do que na classe b.– A taxa de reconhecimento pode ser elevada
mas errar quase todos os exemplos da classe b.
Classes Desbalanceadas
• Se a proporção de exemplos positivos e negativos muda na base de teste, a curva ROC não sofre alterações.
• Isso permite uma fácil visualização do desempenho dos classificadores independentemente da distribuição das classes.
Convex-Hull\
• O conceito de convex-hull em ROC possibilita– Descartar
classificadores que não fazem parte do convex-hull
• Classificadores B e D nesse caso não são necessários.
– Gerar novos classificadores
• Através da interpolação.
Fawcett (2006).
Convex-Hull
• Um novo classificador H, pode ser gerado da seguinte maneira.– Gere um número aleatório entre 0 e 1. – Se o número for maior que k, então escolha A, caso contrário,
escolha B.
k =0.5
Um exemplo
• Deseja-se oferecer uma nova apólice de seguros para– 4000 clientes, porém $$$ somente para 800 – (A priori) 6% respondem
• 240 respondem / 3760 não-respondem
• Dois Classificadores– A: (0,10 ; 0,2) 0.2 x 240 + 0,10 x 3760 = 424 candidatos– B: (0,25 ; 0,6) 0.6 x 240 + 0,25 x 3760 = 1084 candidatos
53,01.025,0
1.018,0
kGere um k entre [0,1]Escolha:- A se k > 0,53,- B, caso contrário.
Area Under the Curve (AUC)
• Métrica usada para comparar classificadores.
Classificador B tem uma área maior, logo um desempenho médio melhor.
Fawcett (2006).
Referências Bibliográficas
• Fawcett, An introduction to ROC analysis Pattern Recognition Letters, 27:8-861–874, 2006.
• Provost & Fawcett Robust Classification for Imprecise Environments Machine Learning Journal, 42:3 pp. 203-231, 2001.
• WikipediaReceiver Operating Characteristicen.wikipedia.org/wiki/Receiver_operating_characteristic