16
1 Material cedido pelo Prof. Cícero Garrozi da UPE- FACITEC

Mineração de Dados Avaliação de Classificadores

  • Upload
    chanel

  • View
    61

  • Download
    0

Embed Size (px)

DESCRIPTION

Mineração de Dados Avaliação de Classificadores. Avaliação dos Classificadores Existem poucos estudos analíticos sobre o comportamento de algoritmos de aprendizagem. A análise de classificadores é fundamentalmente experimental. Dimensões de análise: Taxa de erro Complexidade dos modelos - PowerPoint PPT Presentation

Citation preview

Page 1: Mineração de Dados Avaliação de Classificadores

1Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 2: Mineração de Dados Avaliação de Classificadores

Avaliação dos Classificadores◦Existem poucos estudos analíticos sobre o

comportamento de algoritmos de aprendizagem.◦A análise de classificadores é fundamentalmente

experimental.◦Dimensões de análise: Taxa de erro Complexidade dos modelos Tempo de aprendizagem …

2Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 3: Mineração de Dados Avaliação de Classificadores

Avaliação de Algoritmos de Classificação◦Dois Problemas distintos: Dados um algoritmo e um conjunto de dados:

Como estimar a taxa de erro do algoritmo nesse problema?

3Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 4: Mineração de Dados Avaliação de Classificadores

Avaliação◦Qual o desempenho do modelo aprendido?◦Erro no conjunto de treinamento não é um bom

indicador em relação ao que vai ser observado no futuro

◦Solução simples quando os dados são abundantes dividir os dados em treinamento e teste

◦Porém: dados (com rótulo) usualmente são raros

4Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 5: Mineração de Dados Avaliação de Classificadores

Avaliação◦Escolha de medidas de desempenho Número de classificações corretas Erro em previsões numéricas etc

◦Custo atribuído a diferentes tipos de erro Muitas aplicações práticas envolvem custos

5Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 6: Mineração de Dados Avaliação de Classificadores

Treinamento e teste◦Medida natural de desempenho para problemas

de classificação: taxa de erro Sucesso: a classe da instância é prevista corretamente Erro: classe da instância é prevista incorretamente Taxa de erro: proporção dos erros em relação ao

conjunto de exemplos◦Erro de re-substituição: erro calculado a partir

do conjunto de treinamento◦Erro de re-substituição é otimista!

6Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 7: Mineração de Dados Avaliação de Classificadores

Treinamento e teste◦Conjunto de Teste: conjunto de exemplos

independentes que não tiveram nenhum papel na construção do classificador Suposição: os conjuntos de treinamento e teste

são amostras representativas do problema em questão

7Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 8: Mineração de Dados Avaliação de Classificadores

Ajuste de parâmetro◦É importante que os dados de teste não sejam

usados de nenhuma maneira para construir o classificador

◦Alguns algoritmos de aprendizagem operam em dois estágios Estágio 1: construção da estrutura básica Estágio 2: otimização do ajuste dos parâmetros

◦Procedimento correto: usar 3 conjuntos: treinamento, validação e teste Validação: usado para otimizar os parâmetros

8Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 9: Mineração de Dados Avaliação de Classificadores

Usar ao máximo os dados◦Uma vez completada a avaliação, todos os

dados podem ser usados para construir o classificador final

◦Geralmente, quanto maior o conjunto de treinamento melhor o classificador

◦Quanto maior o conjunto de teste mais exata a estimativa do erro

◦Holdout: divisão dos dados originais em treinamento e teste Dilema: idealmente deseja-se que ambos, o

treinamento e o teste, sejam o maior possível

9Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 10: Mineração de Dados Avaliação de Classificadores

Previsão de desempenho◦Suponha que a taxa de erro estimada é 25%. Quão

próxima isso está da verdadeira taxa de erro? Depende da quantidade de dados de teste

◦Classificar pode ser assimilado ao lançamento de uma moeda Cara, sucesso; coroa, erro

10Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 11: Mineração de Dados Avaliação de Classificadores

Estimação Holdout◦O que fazer se os dados são limitados?◦O método holdout reserva uma certa quantidade

para teste e o restante para a aprendizagem usualmente, 2/3 para treinamento e 1/3 para teste

◦Problema: a amostra pode não ser representativa exemplo: uma classe pode estar ausente no conjunto

de teste◦Amostragem estratificada: as classes são

representadas com aproximadamente a mesma proporção tanto no teste como no treinamento

11Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 12: Mineração de Dados Avaliação de Classificadores

Holdout repetido◦Estimação holdout pode ser realizada com mais

confiança repetindo-se o processo com diferentes sub-amostras Em cada iteração, uma certa proporção é selecionada

aleatoriamente para treino, com ou sem estratificação uma taxa de erro global é calculada pela média das

taxas de erro nas iterações◦Esse processo é chamado holdout repetido◦Problema: os diferentes conjuntos de teste não

são mutuamente excludentes

12Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 13: Mineração de Dados Avaliação de Classificadores

Validação cruzada◦Validação cruzada evita conjuntos de teste com

interseção não vazia os dados são divididos em k conjuntos de mesmo

tamanho cada subconjunto é usado como teste e o restante

como treino◦Isso é chamado de validação cruzada k-fold◦Os subconjuntos podem ser estratificados antes

de realizar a validação cruzada◦A taxa de erro global é a média das taxas de erro

calculadas em cada etapa

13Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 14: Mineração de Dados Avaliação de Classificadores

Validação cruzada◦Método usual: validação cruzada estratificada

10-fold◦Por quê? Evidências experimentais◦A estratificação reduz a variância da estimativa◦Melhor ainda: validação cruzada estratificada

repetida validação cruzada 10-fold repetida 10 vezes

14Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 15: Mineração de Dados Avaliação de Classificadores

Validação cruzada leave-one-out◦É uma forma particular de validação cruzada O número de folds é o número de exemplos o classificador é construído n vezes

◦usa os dados completamente no treino◦não envolve sub-amostras aleatórias◦computacionalmente custoso◦a estratificação não é possível

15Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC

Page 16: Mineração de Dados Avaliação de Classificadores

Bootstrap◦Validação cruzada usa amostragem sem repetição◦Bootstrap é um método de estimação que usa

amostragem com reposição para formar o conjunto de treinamento Retira-se uma amostra aleatória de tamanho m de um conjunto

de n exemplos com reposição Essa amostra é usada para o treinamento os exemplos dos dados originais que não estão no conjunto de

treino são usados como teste◦É a melhor maneira quando o conjunto de dados é

pequeno

16Material cedido pelo Prof. Cícero Garrozi

da UPE-FACITEC