UNIVERSIDADE DO RIO GRANDE DO NORTEFEDERAL

UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE

DEPARTAMENTO DE INFORMÁTICA E MATEMÁTICA APLICADA

PROGRAMA DE PÓS-GRADUAÇÃO EM SISTEMAS E COMPUTAÇÃO

Abordagem de Construção de ArquiteturaHomogênea para Comitês via

Meta-aprendizagem

Regina Rosa Parente

Orientador: Profa. Dra. Anne Magály de Paula Canuto

Dissertação de Mestrado apresentada aoPrograma de Pós-Graduação em Sistemas eComputação da UFRN (área de concentra-ção: Processamento Gráfico e InteligênciaComputacional) como parte dos requisitospara obtenção do título de Mestre em Ciên-cias.

Natal, RN, Maio de 2012

Abordagem de Construção de ArquiteturaHomogênea para Comitês via

Meta-aprendizagem

Regina Rosa Parente

Dissertação de Mestrado aprovada em 21 de maio de 2012 pela banca examinadora com-posta pelos seguintes membros:

Profa. Dra. Anne Magály de Paula Canuto (orientadora) . . . . . . DIMAp/UFRN

Prof. Dr. André Maurício Cunha Campos . . . . . . . . . . . . . . . . . . . . DIMAp/UFFN

Prof. Dr. Ricardo Bastos Cavalcante Prudêncio . . . . . . . . . . . . . . . . . . CIN/UFPE

Ao meu Pai Francisco de Assis daSilva Parente (em memória), por ter

sido a pedra fundamental docaminho trilhado para que hoje eu

estivesse aqui.

Agradecimentos

Em primeiro lugar, a Deus pelo dom da vida, por tudo que tenho e sou e por ter sonhadocomigo este trabalho e providenciado todos os meios necessários para que ele fosse pos-sível.

A minha orientadora, Anne Magály pela atenção, cuidado, confiança e orientação.

À minha família pelo apoio durante esta jornada, de maneira especial a minha mãe quesempre lutou para que eu tivesse acesso a educação.

À Regina Machado, minha segunda mãe, pelo apoio, pelo carinho e todo auxílio quetornaram possíveis as minhas escolhas.

Aos irmãos e amigos da Comunidade Católica Shalom, Amanda Canuto, Enne Karol,Fabiana Santos, Flávio Enilson, Juliana Oliveira, Jussara Lima, Leidiana, Lielson Ca-valcante, Waleska Soraya e a todos os irmãos de célula pelas orações e apoio durante arealização deste trabalho.

Aos amigos, Ana Cláudia, Cristiane Rosa, Débora Rodrigues, Erenildo Rios, KamillaUhl, Maxwell Fausto e Marciano Gonçalves e de maneira muito especial a Débora eMarciano pela presença e paciência constantes.

Aos amigos não citados aqui, por serem muitos, mas extremamente caros ao meu coraçãoe que de alguma maneira estiveram presentes durante esta jornada, o meu muito obrigada.

A Bruno Feres de Souza pelas sugestões e disponibilidade.

Aos colegas de pós-graduação, pelas críticas, sugestões e apoio, de forma especial Anto-nino Feitosa, Claudio Callejas e Fábio Silva e aqueles que foram presença nos longos enumerosos dias de pesquisa no laboratório do Mestrado.

Resumo

No universo cotidiano estamos constantemente realizando ações. Duas dessas açõessão frequentes e de grande importância: classificar (distribuir por classes) e tomar decisão.Quando nos deparamos com problemas com um grau de complexidade relativamente alto,tendemos a buscar outras opiniões, geralmente de pessoas que tenham certo conhecimentoou até mesmo, na medida do possível, sejam especialistas no domínio do problema emquestão, de forma que nos ajudem no processo de tomada de decisão. Tanto no processode classificação quanto em um processo de tomada de decisão, somos orientados pelaconsideração das características envolvidas no problema específico. A caracterização deum conjunto de objetos faz parte do processo de tomada de decisão em geral. Em Apren-dizado de Máquina essa classificação acontece através de um algoritmo de aprendizadoe a caracterização é aplicada às bases de dados. Os algoritmos de classificação podemser empregados individualmente ou em forma de comitês de máquinas. A escolha dosmelhores métodos a serem utilizados na construção de um comitê é uma tarefa bastanteárdua. Neste trabalho, serão investigadas técnicas de meta-aprendizagem na seleção dosmelhores parâmetros de configuração de comitês homogêneos para aplicações em proble-mas diversos de classificação. Tais parâmetros são: o classificador base, a arquitetura e otamanho desta arquitetura. Foram investigados nove tipos de indutores candidatos a clas-sificador base, dois métodos de geração de arquitetura e três grupos de tamanho médiopara arquitetura, pequeno, médio e grande. Ante um desempenho fraco no processo demeta-aprendizagem foram aplicadas técnicas de redução de dimensionalidade às metaba-ses e seis novos critérios de tamanho médio da arquitetura foram estabelecidos. Cincométodos classificadores são investigados como meta-aprendizes no processo de escolhados melhores parâmetros de um comitê homogêneo.

Palavras-chave: Aprendizado de Máquina, Comitês de Máquinas, Meta-aprendizagem.

Abstract

In the world we are constantly performing everyday actions. Two of these actions arefrequent and of great importance: classify (sort by classes) and take decision. When weencounter problems with a relatively high degree of complexity, we tend to seek other opi-nions, usually from people who have some knowledge or even to the extent possible, areexperts in the problem domain in question in order to help us in the decision-making pro-cess. Both the classification process as the process of decision making, we are guided byconsideration of the characteristics involved in the specific problem. The characterizationof a set of objects is part of the decision making process in general. In Machine Learningthis classification happens through a learning algorithm and the characterization is appliedto databases. The classification algorithms can be employed individually or by machinecommittees. The choice of the best methods to be used in the construction of a committeeis a very arduous task. In this work, it will be investigated meta-learning techniques in se-lecting the best configuration parameters of homogeneous committees for applications invarious classification problems. These parameters are: the base classifier, the architectureand the size of this architecture. We investigated nine types of inductors candidates forbased classifier, two methods of generation of architecture and nine medium-sized groupsfor architecture. Dimensionality reduction techniques have been applied to metabases lo-oking for improvement. Five classifiers methods are investigated as meta-learners in theprocess of choosing the best parameters of a homogeneous committee.

Keywords: Machine learning, Committee machines, Metalearning.

Sumário

Sumário i

Lista de Figuras iv

Lista de Tabelas vi

Lista de Abreviaturas vii

1 Introdução 11.1 Motivação . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21.2 Objetivos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.3 Organização do Trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2 Aprendizado de Máquina 52.1 Paradigma de Aprendizado . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.1.1 Paradigma Simbólico . . . . . . . . . . . . . . . . . . . . . . . . 72.1.2 Paradigma Estatístico . . . . . . . . . . . . . . . . . . . . . . . . 92.1.3 Paradigma Baseado em Exemplos . . . . . . . . . . . . . . . . . 92.1.4 Paradigma Conexionista . . . . . . . . . . . . . . . . . . . . . . 10

2.2 Comitês de Máquinas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122.2.1 Construção de Comitês . . . . . . . . . . . . . . . . . . . . . . . 15

2.3 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

3 Meta-aprendizagem 253.1 Meta-aprendizagem para Recomendação de Algoritmos . . . . . . . . . . 26

3.1.1 Caracterização dos Dados . . . . . . . . . . . . . . . . . . . . . 283.1.2 Medidas de Avaliação . . . . . . . . . . . . . . . . . . . . . . . 333.1.3 Formas de Sugestão . . . . . . . . . . . . . . . . . . . . . . . . 33

3.2 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

i

4 Experimentos 364.1 Condução dos Experimentos . . . . . . . . . . . . . . . . . . . . . . . . 37

4.1.1 Problemas de classificação . . . . . . . . . . . . . . . . . . . . . 394.1.2 Medidas de Caracterização de Dados . . . . . . . . . . . . . . . 404.1.3 Algoritmos de Aprendizagem . . . . . . . . . . . . . . . . . . . 404.1.4 Aplicação e Avaliação da Meta-aprendizagem . . . . . . . . . . . 40

4.2 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

5 Análise dos Resultados 435.1 Resultados para Classificador Base . . . . . . . . . . . . . . . . . . . . . 44

5.1.1 Nove Candidatos a Classificador Base . . . . . . . . . . . . . . . 455.1.2 Seis Candidatos a Classificador Base . . . . . . . . . . . . . . . 475.1.3 Quatro Candidatos a Classificador Base . . . . . . . . . . . . . . 48

5.2 Resultados para Arquitetura . . . . . . . . . . . . . . . . . . . . . . . . 495.2.1 Resultados para Bagging . . . . . . . . . . . . . . . . . . . . . . 515.2.2 Resultados para Boosting . . . . . . . . . . . . . . . . . . . . . . 525.2.3 Comparação entre Bagging e Boosting . . . . . . . . . . . . . . . 52

5.3 Resultados Tamanhos da Arquitetura . . . . . . . . . . . . . . . . . . . . 545.4 Resultados da Meta-aprendizagem para Classificadores Base . . . . . . . 58

5.4.1 Meta-aprendizagem com Nove Classificadores Base . . . . . . . 585.4.2 Meta-aprendizagem com Seis Classificadores Base . . . . . . . . 595.4.3 Meta-aprendizagem com Quatro Classificadores Base . . . . . . . 60

5.5 Redução de Dimensionalidade . . . . . . . . . . . . . . . . . . . . . . . 605.5.1 Redução por Árvore de Decisão . . . . . . . . . . . . . . . . . . 615.5.2 Redução por PCA . . . . . . . . . . . . . . . . . . . . . . . . . 615.5.3 Redução por Método Randômico . . . . . . . . . . . . . . . . . 62

5.6 Novos Tamanhos Médios da Arquitetura . . . . . . . . . . . . . . . . . . 625.7 Novas Configurações dos Métodos Meta-aprendizes MLP e SVM . . . . 635.8 Síntese dos Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . 645.9 Análise Estatística dos Meta-aprendizes . . . . . . . . . . . . . . . . . . 65

5.9.1 Classificador Base . . . . . . . . . . . . . . . . . . . . . . . . . 665.9.2 Arquitetura . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675.9.3 Tamanhos de Arquitetura . . . . . . . . . . . . . . . . . . . . . . 69

5.10 Considerações Finais . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

6 Considerações Finais 716.1 Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

Referências bibliográficas 73

A Problemas de Classificação 81A.1 Descrição das Bases de Dados . . . . . . . . . . . . . . . . . . . . . . . 81A.2 Características das Bases de Dados . . . . . . . . . . . . . . . . . . . . . 91

B Tabelas de Resultados 95B.1 Resultados para Classificador Base . . . . . . . . . . . . . . . . . . . . . 96B.2 Resultados para Arquitetura . . . . . . . . . . . . . . . . . . . . . . . . 101

B.2.1 Resultados para Bagging . . . . . . . . . . . . . . . . . . . . . . 101B.2.2 Resultados para Boosting . . . . . . . . . . . . . . . . . . . . . . 106

Lista de Figuras

2.1 Hierarquia do aprendizado (Rezende, 2003). . . . . . . . . . . . . . . . . 62.2 Processo de Classificação . . . . . . . . . . . . . . . . . . . . . . . . . . 72.3 Ilustração de uma classificação baseada em vizinhança(Nascimento,2009) 102.4 Três motivos para se preferir adotar um comitê a um preditor único . . . . 142.5 Arquitetura geral de um ensemble . . . . . . . . . . . . . . . . . . . . . 172.6 Processo de geração de componentes via método Bagging (Nascimento,

2009). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.7 Processo de geração de componentes via método Boosting (Nascimento,

2009). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.1 Processo de Recomendação de Algoritmos via meta-aprendizagem.(Brazdilet al., 2009). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

3.2 Processo de Recomendação de Algoritmos para comitê via meta-aprendizagem.Adaptado de (Brazdil et al., 2009) . . . . . . . . . . . . . . . . . . . . . 29

4.1 Processo Experimental. . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

5.1 Gráfico de distribuição das classes com nove classificadores base. . . . . 455.2 Gráfico Box-Plot com as médias das taxas acerto obtidas pelos classifica-

dores base. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465.3 Gráfico de distribuição das classes com seis classificadores base. . . . . . 485.4 Gráfico de distribuição das classes com quatro classificadores base. . . . . 495.5 Distribuição das Classes da Meta-base Gerada na Investigação da Melhor

Arquitetura. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 505.6 Gráfico Box-Plot para arquitetura Bagging. . . . . . . . . . . . . . . . . 515.7 Gráfico Box-Plot para arquitetura Boosting. . . . . . . . . . . . . . . . . 525.8 Comparação do Desempenho Médio entre o Bagging e o Boosting. . . . . 535.9 Gráfico de distribuição das classes com 3 tamanhos de arquitetura. . . . . 545.10 Gráfico da acurácia média dos 3 tamanhos de arquitetura. . . . . . . . . . 555.11 Gráfico de distribuição das classes com 2 tamanhos de arquitetura. . . . . 56

iv

5.12 Gráfico da acurácia média dos 2 tamanhos de arquitetura. . . . . . . . . . 565.13 Gráfico de distribuição das classes com 4 tamanhos de arquitetura . . . . 575.14 Gráfico da acurácia média dos 4 tamanhos de arquitetura. . . . . . . . . . 575.15 Comparação entre os Meta-aprendizes ao Avaliarem os Classificadores

Base. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665.16 Comparação entre os Meta-aprendizes ao Avaliarem as Arquiteturas. . . . 685.17 Comparação entre os Meta-aprendizes ao Avaliarem os Tamanhos Médios

da Arquitetura. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

Lista de Tabelas

4.1 Medidas de Caracterização . . . . . . . . . . . . . . . . . . . . . . . . . 41

5.1 Porcentagem de meta-exemplos rotulados por cada indutor. . . . . . . . . 475.2 Porcentagem de meta-exemplos rotulados por cada indutor. . . . . . . . . 475.3 Porcentagem de meta-exemplos rotulados por cada indutor. . . . . . . . . 495.4 Meta-exemplos Rotulados: Bagging Versus Boosting por Algoritmo Base. 535.5 Resultados dos Meta-aprendizes (Nove classificadores base, Duas arqui-

teturas e três tamanhos). . . . . . . . . . . . . . . . . . . . . . . . . . . 595.6 Resultados dos Meta-aprendizes (Seis classificadores base, Duas arquite-

turas e três tamanhos). . . . . . . . . . . . . . . . . . . . . . . . . . . . 595.7 Resultados dos Meta-aprendizes (Quatro classificadores base, Duas ar-

quiteturas e três tamanhos). . . . . . . . . . . . . . . . . . . . . . . . . . 605.8 Resultados dos Meta-aprendizes (Quatro classificadores base, Duas ar-

quiteturas e três tamanhos) com redução por árvore de decisão. . . . . . . 615.9 Resultados dos Meta-aprendizes (Quatro classificadores base, Duas ar-

quiteturas e três tamanhos) com redução por PCA. . . . . . . . . . . . . . 625.10 Resultados dos Meta-aprendizes (Quatro classificadores base, Duas ar-

quiteturas e três tamanhos) com redução por RandonSubSet. . . . . . . . 625.11 Resultados dos Meta-aprendizes (Quatro tamanhos). . . . . . . . . . . . 635.12 Resultados dos Meta-aprendizes (Dois tamanhos). . . . . . . . . . . . . . 635.13 Resultados dos Meta-aprendizes - Nova configuração. . . . . . . . . . . . 645.14 Resultados dos Meta-aprendizes (Quatro classificadores base, Duas ar-

quiteturas e dois tamanhos). . . . . . . . . . . . . . . . . . . . . . . . . 655.15 Resultados para Teste de Kruskal-Wallis com Student-Newman-Keuls na

Avaliação dos Classificadores Base. . . . . . . . . . . . . . . . . . . . . 675.16 Resultados para Teste de Kruskal-Wallis com Student-Newman-Keuls na

Avaliação das Arquiteturas. . . . . . . . . . . . . . . . . . . . . . . . . . 685.17 Resultados para Teste de Kruskal-Wallis com Student-Newman-Keuls na

Avaliação dos Tamanhos da Arquitetura. . . . . . . . . . . . . . . . . . . 70

vi

A.1 Descrição das Bases de Dados . . . . . . . . . . . . . . . . . . . . . . . 90A.2 Características das Bases de Dados . . . . . . . . . . . . . . . . . . . . . 94

B.1 Resultados da Média das Taxas de acerto dos Nove Indutores Candidatosa Classificador Base. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

B.2 Resultados da Média das Taxas de Acerto dos Nove Indutores Candidatosa Classificador Base. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

B.3 Resultados da Média das Taxas de Acerto dos Nove Indutores Candidatosa Classificador Base. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

B.4 Resultados da Média das Taxas de Acerto dos Nove Indutores Candidatosa Classificador Base. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

B.5 Resultados da Média das Taxas de Acerto dos Nove Tipos de Classifica-dor Base quando Gerados pelo Método Bagging. . . . . . . . . . . . . . 102

B.6 Resultados da Média das Taxas de Acerto dos Nove Tipos de Classifica-dor Base quando Gerados pelo Método Bagging. . . . . . . . . . . . . . 103

B.7 Resultados da Média das Taxas de Acerto dos Nove Tipos de Classifica-dor Base quando Gerados pelo Método Bagging. . . . . . . . . . . . . . 104

B.8 Resultados da Média das Taxas de Acerto dos Nove Tipos de Classifica-dor Base quando Gerados pelo Método Bagging. . . . . . . . . . . . . . 105

B.9 Resultados da Média das Taxas de Acerto dos Nove Tipos de Classifica-dor Base quando Gerados pelo Método Bagging. . . . . . . . . . . . . . 107

B.10 Resultados da Média das Taxas de Acerto dos Nove Tipos de Classifica-dor Base quando Gerados pelo Método Bagging. . . . . . . . . . . . . . 108

B.11 Resultados da Média das Taxas de Acerto dos Nove Tipos de Classifica-dor Base quando Gerados pelo Método Bagging. . . . . . . . . . . . . . 109

B.12 Resultados da Média das Taxas de Acerto dos Nove Tipos de Classifica-dor Base quando Gerados pelo Método Bagging. . . . . . . . . . . . . . 110

Lista de Abreviaturas

AD - Árvore de Decisão (Algoritmo J48)

AM - Aprendizado de Máquina

DS - Decision Stump

DT - Decision Table

JR - JRip

KNN - K - Nearest Neighbors

MLP - Multi-layer Perceptron

NB - Naïve Bayes

PCA - Principal Component Analysis

PT - PART

RBF - Radial Basis Function

RT - REP Tree

SMO - Sequential Minimal Optimisation

SVM - Support Vector Machine

WEKA - Waikato Environment for Knowledge Analysis

Capítulo 1

Introdução

No universo cotidiano estamos constantemente realizando ações. Duas delas sãofrequentes e de grande importância: classificar (distribuir por classes) e tomar decisão.Quando nos deparamos com problemas com um grau de complexidade relativamente alto,tendemos a buscar outras opiniões, geralmente de pessoas que tenham um certo conheci-mento ou até mesmo, na medida do possível, sejam especialistas no domínio do problemaem questão, de forma que nos ajudem no processo de tomada de decisão. É importanteque os especialistas tenham opiniões diversas para que possam, de forma efetiva, con-tribuir para um aumento da probabilidade de uma decisão final acertada. A tendência aformar grupos ou comitês para auxiliar no processo de tomada de decisão pode ser obser-vada em diversas áreas de conhecimento e níveis da sociedade, desde a escolha de umafruta na feira até uma eleição para presidência de uma república.

Tanto no processo de classificação quanto em um processo de tomada de decisão, so-mos orientados pela consideração das características envolvidas no problema específico.No caso de escolher uma fruta na feira, a classificação se dá em considerá-la apta ou nãoapta a ser consumida. No caso das frutas, algumas características observadas podem seraparência, cor, consistência, tamanho, preço, dentre outras. Ao decidir em qual candidatovotar em uma eleição, geralmente, considera-se a proposta de governo do candidato, seusatos ao longo de sua vida pública e suas ideias, por exemplo. A caracterização de umconjunto de objetos faz parte do processo de tomada de decisão em geral.

Na área de Inteligência Artificial, mais precisamente, em Aprendizado de Máquina,a caracterização é aplicada às bases de dados1, estas relacionadas aos mais diversosproblemas encontrados no mundo real. De forma breve, o Aprendizado de Máquina

1Conjunto de registros dispostos em estrutura regular que possibilita a reorganização dos mesmos eprodução de informação.

CAPÍTULO 1. INTRODUÇÃO 2

[Rezende 2003] pode ser definido como sendo um campo de pesquisa fundamentado naInteligência Artificial e na Estatística que estuda o desenvolvimento de métodos, ou al-goritmos, capazes de extrair conceitos (conhecimento) a partir de amostras de dados, aschamadas bases de dados. Tais algoritmos, no caso deste trabalho métodos classificado-res, podem ser de diversos tipos, como redes neurais artificiais, classificadores baseadosem regras, árvores de decisão, dente outros. Os algoritmos de classificação podem serempregados individualmente ou em forma de comitês.

Comitês são comprovadamente capazes de aumentar a capacidade de generalização e,com isso, de forma geral, o desempenho do sistema [Hansen & Salamon 1990]. O con-ceito de comitês tem sido aplicado em diversas áreas como Aprendizado de Máquina,Reconhecimento de Padrões e Descoberta de Conhecimento, como podemos ver em:[Canuto 2001], [Canuto et al. 2007], [de Souza 2010], [Coelho 2006], [Coelho 2004],[Leite 2007]. Em busca de uma maior eficiência do uso deste conceito, técnicas comometa-aprendizagem têm sido aplicadas [de Souza 2010]. A meta-aprendizagem investigacomo os métodos de Aprendizado de Máquina podem aumentar sua eficiência por meioda experiência. O objetivo é entender como o próprio processo de aprendizagem podese tornar flexível de acordo com a natureza da tarefa considerada [de Souza 2010]. Oalgoritmo de meta-aprendizagem estabelece a correspondência entre a caracterização dosproblemas de classificação e o desempenho dos algoritmos em questão [Leite 2007].

Neste trabalho, serão aplicadas técnicas de meta-aprendizagem na investigação dosmelhores parâmetros de configuração no processo de construção de comitês homogêneospara aplicações em problemas de classificação. Tais parâmetros são: o classificador base,a arquitetura e o tamanho desta arquitetura.

1.1 Motivação

É notável um crescente aumento no interesse pela área de aprendizado de máquina,sobretudo em tarefas de classificação através dos comitês de máquina. Como citado ante-riormente, o conceito de comitês tem se destacado devido à sua contribuição no processode generalização e consequente melhoria do sistema. Contudo, a escolha dos melhoresmétodos a serem utilizados na construção de um comitê é uma tarefa bastante árdua, umavez que o desempenho dos algoritmos está diretamente relacionado às características doproblema, além disso, também pode depender dos valores usados nos parâmetros dos al-goritmos. Desta forma, a melhor configuração varia conforme os dados [Soares 2004].

CAPÍTULO 1. INTRODUÇÃO 3

Além do mais, existe um grande número de métodos disponíveis na literatura. Testá-losem busca dos melhores exige o auxílio de algum mecanismo automatizado.

No capítulo sobre meta-aprendizagem, é visto que o principal objetivo desta técnica éa compreensão da interação entre o mecanismo de aprendizagem e os contextos concretosem que esse mecanismo é aplicável [Giraud-Carrier 2008]. Isso se faz através da apli-cação de técnicas utilizadas em aprendizado de máquina na construção de modelos queexpliquem o relacionamento entre estratégias de aprendizagem e problemas, observadauma perspectiva em particular. A meta-aprendizagem explora o conhecimento adquirido,de forma acumulada, sobre diversas tarefas e aplica-o na busca de solução em proble-mas que sejam semelhantes àqueles que originaram tais conhecimentos. Na literatura,já podem ser encontrados diversos trabalhos que utilizam meta-aprendizagem para reco-mendação de algoritmos, como ([de Souza 2010], [Soares 2004] e [Kalousis 2002]). Odiferencial entre a presente proposta e estes trabalhos é o fato de nesta ser aplicada a nívelde recomendação dos parâmetros de comitês de máquinas e não para recomendação dealgoritmos de forma individual.

1.2 Objetivos

Como já mencionado, esta dissertação tem como objetivo geral a investigação dosmelhores parâmetros de configuração da arquitetura de comitês de classificadores viameta-aprendizagem aplicados a problemas diversos. O conceito de meta-aprendizagemé aplicado na escolha de três parâmetros específicos de um comitê. Os parâmetros e osobjetivos almejados são descritos a seguir:

• Classificador base: inicialmente, a meta-aprendizagem será aplicada para reco-mendar qual o melhor algoritmo para compor o nível base de um comitê. Serãoinvestigados 10 diferentes métodos indutores (Árvore de decisão, Decision Stump,Decision Table, Naïve Bayes, K-NN, SVM (Support Vector Machines), REP Tree,JRip, PART e Redes neurais RBF ). Maiores detalhes destes algoritmos podem serencontrados no capítulo 2 sobre aprendizado de máquina.• Técnicas de construção: de posse do melhor algoritmo classificador, os conceitos

de meta-aprendizagem serão aplicados em busca da melhor arquitetura, ou seja,melhor método de construção de um comitê.

CAPÍTULO 1. INTRODUÇÃO 4

• Tamanho do comitê: será investigado qual o tamanho mais adequado desta arqui-tetura, com quantos componentes, em média, o comitê apresenta melhor desempe-nho. São estabelecidos parâmetros que definem os conceitos de tamanho médio daarquitetura. Detalhes sobre tais parâmetros podem ser encontrados no capítulo quetrata dos experimentos.

1.3 Organização do Trabalho

Além deste capítulo, esta proposta de qualificação de mestrado está dividida em maisquatro capítulos e organizada da seguinte maneira:

• Capítulo 2: apresenta conceitos básicos de aprendizagem de máquina, dando ên-fase a comitês. Os paradigmas de aprendizado são descritos. São apresentadasmedidas de diversidade em comitês, além dos métodos de geração de componentes.

• Capítulo 3: apresenta conceitos genéricos sobre meta-aprendizagem e sua utiliza-ção para a recomendação de algoritmos. São abordados temas como: caracterizaçãode bases de dados, medidas de avaliação e formas de sugestão.

• Capítulo 4: apresenta a explicação dos experimentos conduzidos ao longo destadissertação, além dos resultados empíricos obtidos, bem como a análise dos mes-mos, que servirá como base avaliativa desta proposta. É apresentado também deta-lhes sobre as bases de dados utilizadas.

• Capítulo 5: apresenta os resultados empíricos obtidos, bem como a análise dosmesmos, que servirá como base avaliativa desta deste trabalho.

• Capítulo 6: tem como intuito apresentar as conclusões, contribuições, limitações,além de propostas para trabalhos futuros.

Capítulo 2

Aprendizado de Máquina

O Aprendizado de Máquina pode ser considerado um campo de pesquisa fundamen-tado na Inteligência Artificial cujo intuito é o desenvolvimento de técnicas computacio-nais sobre o conhecimento bem como a construção de sistemas capazes de adquirir co-nhecimento de forma automática [Rezende 2003]. De maneira geral, pode-se considerardiferentes tipos de aprendizado, tais como: indutivo, dedutivo, e o baseado em analogia[Tavares et al. 2007]. O mais estudado atualmente é o baseado no conceito de indução,segundo o qual a partir de fatos ou observações particulares é possível generalizar conclu-sões, ou seja, a indução é a forma de inferência lógica que permite obter conclusões sobreum conjunto particular de exemplos. Ela é caracterizada pelo raciocínio originado emconceito específico e generalizado, da parte para o todo. [Rezende 2003]. Quanto maisrepresentativos do conceito geral forem os dados, melhor a qualidade da modelagem,embora não haja garantias de que as conclusões do raciocínio indutivo sejam sempre ver-dadeiras [Mitchell 1997]. Mesmo assim, a indução representa uma importante ferramentapara a geração de novos conhecimentos. A Figura 2.1 ilustra a hierarquia do aprendizadoindutivo.

Como pode ser observado na Figura 2.1, o aprendizado indutivo geralmente ocorrede dois modos distintos: supervisionado ou não-supervisionado. No aprendizado super-visionado, o conjunto de dados de treinamento fornecido ao indutor tem rótulo da classeassociada conhecido. Já no aprendizado não-supervisionado isso não ocorre. O indu-tor precisa analisar os exemplos fornecidos e buscar determinar se alguns deles podemser agrupados de alguma maneira, formando agrupamentos ou clusters [Cheeseman &Stutz 1996]. O aprendizado supervisionado pode ser aplicado tanto a problemas de clas-sificação, onde o rótulo da classe associada aos exemplos são valores categóricos 1, como

1Rótulos das classes são indicados por valores textuais.

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 6

a problemas de regressão, onde o atributo classe é um valor contínuo 2. Nesta dissertação,será trabalhado o aprendizado supervisionado para problemas de classificação.

Figura 2.1: Hierarquia do aprendizado (Rezende, 2003).

2.1 Paradigma de Aprendizado

De maneira geral, o processo de classificação pode ser visualizado na Figura 2.2. Oconhecimento sobre o domínio pode ser usado para escolher os dados ou para forneceralguma informação previamente conhecida como entrada ao indutor. Após a indução, oclassificador é geralmente avaliado e o processo de classificação pode ser repetido, casonecessário, adicionando outros atributos, exemplos ou fazendo ajuste nos parâmetros doprocesso de indução, por exemplo [Rezende 2003].

Durante o processo de classificação, padrões de características extraídos de uma ins-tância são comparados a modelos representativos de características para cada classe can-didata. Neste processo é calculado o grau de similaridade de um padrão desconhecidopara cada modelo de classe [Saranli & Demirekler 2001].

2Rótulos das classes são indicados por valores numéricos, inteiros ou decimais.

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 7

Figura 2.2: Processo de Classificação

Com a crescente complexidade e aplicabilidade de sistemas de reconhecimento depadrões, cresce também o número de investigações detalhadas de muitas abordagens emetodologias. Contudo, nenhum classificador pode ser considerado totalmente satisfató-rio para uma tarefa particular, e, por esta razão, a ideia de combinar diferentes métodospara melhorar o desempenho tem surgido como potencial muito promissor [Canuto 2001].

Existem diversos paradigmas aos quais pertencem os algoritmos de aprendizagem.Em [Mitchell 1997] encontramos alguns conceitos que representam estes paradigmas,tais como: Simbólico, Estatístico, Baseado em Exemplos e Conexionista, os quais farãoparte deste trabalho de dissertação. A seguir, é apresentada uma breve descrição de cadaum destes paradigmas.

2.1.1 Paradigma Simbólico

Os sistemas de aprendizado simbólico buscam aprender construindo representaçõessimbólicas de um conceito através da análise de exemplos e contra-exemplos desse con-ceito. As representações simbólicas estão tipicamente na forma de alguma expressãológica, árvores de decisão, regras de produção ou redes semânticas. Dentre os algoritmosde aprendizado de máquina baseados no paradigma simbólico estão o J48, Decision Ta-

ble, Decision Stump, REP Tree, PART e JRip, os quais serão utilizados nesta dissertação.

O algoritmo J48 é uma implementação em Java do algoritmo de árvore de decisãoC4.5 [Quinlan 1993]. Uma árvore de decisão é uma estrutura de dados definida recur-sivamente como um nó folha que corresponde a uma classe ou um nó de decisão quecontém um teste sobre algum atributo. Para cada resultado do teste existe uma arestapara uma subárvore [Santana 2008]. Cada subárvore tem a mesma estrutura que a árvore.

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 8

A árvore pode ser representada como um conjunto de regras. Cada regra tem seu iníciona raiz da árvore e caminha até uma de suas folhas [Baranauskas & Monard 2003]. OJ48 está entre os diversos algoritmos utilizados na construção de árvores de decisão. Eleé uma versão melhorada do C4.5 que é considerado um dos algoritmos mais populares[Kuncheva 2004].

O algoritmo Decision Table é um indutor de modelos baseados em regras que repre-sentam o conhecimento na forma de tabela [Kohavi 1995]. Uma tabela de decisão é ummodelo de representação de uma função. Ela permite uma visão tabular da lógica dedecisão de um problema. Indica qual o conjunto de condições que é necessário ocorrerpara que um determinado conjunto de ações possa ser executado [Nascimento 2009]. Talmodelo de representação é composto por condições, ações e regras. As condições sãovariáveis cujos valores devem ser avaliados para a tomada de decisão; ações representamo conjunto de operações a serem executadas condicionadas pelas respostas das condições;regras representam o conjunto de situações que são verificadas em resposta às condições.

O algoritmo Decision Stump constrói uma árvore de decisão simples, binária, e produzclasses de probabilidade [Witten & Frank 2005]. Tem como base o ganho de informação,utilizado no algoritmo C4.5, o qual divide os conjuntos de dados tomando como referên-cia o atributo mais informativo. Este ganho de informação mede o erro produzido apósa divisão do conjunto de dados de acordo com os valores do atributo utilizado no nó dedecisão. A validação cruzada é usada na avaliação do algoritmo e o valor obtido é usadocomo atributo para caracterizar o conjunto de dados.

O algoritmo REP Tree constrói de forma otimizada e rápida uma árvore de decisão ba-seada no ganho de informação [Quinlan 1992]. Os atributos são ordenados durante o trei-namento. Os nós representam decisões que dividem os dados em dois grupos, utilizando-se de todos os atributos ainda não considerados, aumentando o ganho. As folhas da árvorerepresentam pontos em que uma classificação é atribuída. A árvore é então podada, subs-tituindo subárvores por folhas. Se essa substituição reduzir o erro esperado, minimiza-se ooverfitting e a complexidade da árvore. Esta nova árvore é então o modelo de classificador.

O algoritmo PART [Frank & Witten 1998] é baseado em regras de decisão, e utilizainternamente o algoritmo C4.5. Ele constrói árvores de decisão parciais a cada iteração etransforma a melhor folha da árvore atual em uma regra. Após escolher a melhor folha, oalgoritmo retira todas as instâncias que se encaixem na regra gerada pela folha para gerar

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 9

uma nova árvore, e, por conseguinte, uma nova regra. Esse processo é realizado iterativa-mente até que não se tenha mais instâncias a serem utilizadas. Geralmente, apresenta umbom desempenho computacional utilizado em problemas de classificação.

O algoritmo JRip é uma implementação em java da versão otimizada do algoritmoIREP (RIPPER) que foi proposto por [Cohen 1995]. É um método baseado em regras. Usao IREP para obter um conjunto de regras, dando origem a um modelo inicial. Este modeloé simplificado de forma iterativa, através da poda incremental repetida para redução doerro(RIPPER).

2.1.2 Paradigma Estatístico

O Paradigma Estatístico faz uso de modelos estatísticos para encontrar uma apro-ximação suficientemente boa do conceito induzido. Uma variedade desses métodos sãoparamétricos, assumindo alguma forma de modelo, e a partir daí encontrando valores ade-quados para os parâmetros do modelo a partir dos dados. Entre os algoritmos estatísticosdestaca-se o de aprendizado bayesiano que faz uso de fórmulas estatísticas e cálculos deprobabilidades para realizar a classificação.

As principais vantagens do aprendizado estatístico, especialmente o aprendizado baye-siano, são: o fato de poder embutir nas probabilidades calculadas o conhecimento dedomínio que se tem e o fato da classificação se basear em evidências fornecidas. Poroutro lado, a desvantagem reside justamente no seu caráter estatístico, ou seja, muitasprobabilidades devem ser calculadas e isto pode ocasionar um alto custo computacional[Santana 2008].

O algoritmo Naïve Bayes [John & Langley 1995] é de cunho probabilístico, sendobaseado na estatística bayesiana. Ele assume que os atributos são condicionalmente in-dependentes, ou seja, a informação representada por um atributo não é relevante sobre ainformação de nenhum outro atributo.

2.1.3 Paradigma Baseado em Exemplos

Classifica exemplos nunca vistos por meio de exemplos similares conhecidos. Essetipo de aprendizado é também denominado lazy. Sistemas lazy necessitam manter os

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 10

exemplos na memória para classificar novos exemplos [Santana 2008]. Podemos citarcomo exemplo de método representativo deste paradigma o algoritmo IBk, baseado nosconceitos de vizinhança e aprendizado local.

O algoritmo IBk [Aha et al. 1991] é uma implementação da abordagem K - Nearest

Neighbors (KNN) e é classificado como um algoritmo de aprendizado preguiçoso, umavez que não gera nenhum modelo a partir dos dados, apenas faz uso das próprias instân-cias. Este algoritmo assume que instâncias similares possuam a mesma classificação edependem fortemente da métrica utilizada como distância. A Figura 2.3 é uma ilustraçãode uma classificação com base no conceito de vizinhança.

Figura 2.3: Ilustração de uma classificação baseada em vizinhança(Nascimento,2009)

2.1.4 Paradigma Conexionista

O Paradigma conexionista é formado por métodos que visam construir modelos mate-máticos simplificados inspirados no modelo biológico do sistema nervoso. A representa-ção de uma rede envolve unidades altamente interconectadas e, por esse motivo, o nomeconexionismo é utilizado para descrever a área de estudo [Monard & Baranauskas 1991].As redes conexionistas aprendem modificando sua estrutura e pesos em resposta aos da-dos de treinamento [Nascimento 2009]. Os modelos conexionistas reconhecem padrõesinvariantes em dados e representam estes padrões dentro da sua própria estrutura, emvez de realizar uma busca entre as possíveis generalizações fornecidas por uma lingua-gem de representação simbólica [Luger 2004]. Diversos métodos fazem parte deste pa-radigma. Exemplos de algoritmos que se aplicam a este paradigma são as máquinas devetor suporte do inglês (Support Vector Machines) ou simplesmente (SVM) que segundo

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 11

[Haykin 1999], é uma outra categoria das redes neurais forward, ou seja, redes cujassaídas dos neurônios de uma camada alimentam os neurônios da camada posterior, nãoocorrendo a realimentação, as redes neurais artificiais do tipo Multi-Layer Perceptron

(MLP) e as redes neurais RBF(Radial Basis Function). Estes métodos estão entre aquelesinvestigados neste trabalho.

As SVM (Support Vector Machines) [Burges 1998], foram primeiramente aplicadasem classificação de textos no final dos anos 90. De acordo com a teoria deste método,enquanto técnicas tradicionais para reconhecimento de padrões são baseadas na minimi-zação do risco empírico, ou seja, tenta-se otimizar o desempenho sobre o conjunto detreinamento, as SVM minimizam o risco estrutural, ou melhor, busca minimizar a proba-bilidade de classificar de forma errada padrões ainda não vistos por uma distribuição deprobabilidade dos dados fixa e desconhecida. De forma direta, este método é um novoprincípio de indução que é equivalente a minimizar um limite superior do erro de gene-ralização, dependendo da teoria de convergência uniforme de probabilidade. SVM divideo espaço de termos em hiperplanos ou superfícies, separando as amostras de treinamentopositivas das negativas. Algumas vezes estas superfícies são referidas como superfíciesde decisão. Então a superfície que provê a maior separação (a maior margem possívelentre as amostras positivas e negativas) é selecionada.[Abreu 2006].

Redes Neurais Artificiais do tipo Multi-Layer Perceptron(MLP) [Haykin 1999] sãoredes de múltiplas camadas onde cada camada tem uma função específica. A camada desaída recebe os estímulos da camada intermediária e constrói o padrão que será a resposta.As camadas intermediárias funcionam como extratoras de características, seus pesos sãouma codificação de características apresentadas nos padrões de entrada e permitem que arede crie sua própria representação, mais rica e complexa, do problema. Durante o treina-mento com o algoritmo backpropagation, a rede opera em uma sequência de dois passos.Primeiro, um padrão é apresentado à camada de entrada da rede. A atividade resultanteflui através da rede, camada por camada, até que a resposta seja produzida pela camadade saída. No segundo passo, a saída obtida é comparada à saída desejada para esse padrãoparticular. Se esta não estiver correta, o erro é calculado. O erro é propagado a partirda camada de saída até a camada de entrada, e os pesos das conexões das unidades dascamadas internas vão sendo modificados conforme o erro é retropropagado.

Redes neurais RBF são redes multicamadas com neurônios ocultos não-lineares [Park& Sandberg 1991]. Cada nó da camada intermediária representa a região em torno de

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 12

um ponto no espaço de entrada. Sua saída para um exemplo apresentado na camada deentrada depende apenas da distância entre o seu ponto associado e a próprio exemplo deentrada. Quanto maior a distância, maior a força de ativação do neurônio [Haykin 2001].A camada intermediária utiliza uma função de ativação de base radial para converter adistância em uma medida de similaridade. A camada de saída é responsável por combinarlinearmente as saídas geradas na camada intermediária e gerar a estimação final.

2.2 Comitês de Máquinas

Comitês de máquinas é um paradigma de Aprendizado de Máquina que explicita afusão de módulos independentes de estimação, denominados componentes base ou espe-cialistas, visando uma única solução, baseada nas soluções individuais de cada módulo,e que ofereça uma eficiência maior do que as respostas individuais de cada componente.Em [Hansen & Salamon 1990] o paradigma de comitês de máquinas teve origem atravésda demonstração da significativa melhoria da habilidade de generalização por meio dacomposição de várias redes neurais feedforward aplicadas a problemas de classificaçãobinária e posterior combinação de suas saídas por meio do voto majoritário. Em suma,os autores apontaram que, se as taxas de erro relativas a N modelos disponíveis são todasindependentemente distribuídas e menores que 50%, então a probabilidade de que a saídaproduzida pela fusão esteja errada é menor que a menor das taxas de erro dos classifica-dores isoladamente. Nenhum classificador pode ser considerado totalmente satisfatóriopara uma tarefa particular, e, por esta razão, a idéia de combinar diferentes métodos paramelhorar o desempenho tem surgido como potencial muito promissor [Canuto 2001].

Ainda que uma gama considerável de abordagens de métodos de aprendizado de má-quina já seja encontrada na literatura, a utilização dos comitês é fortemente recomendadapor [Hansen & Salamon 1990], mesmo que inicialmente o comitê apresente uma acuráciaigual ou inferior a do estimador atuando isoladamente. Isso se deve ao fato de que ummelhor desempenho ainda possa ser alcançado mediante uma combinação mais adequadados parâmetros de configuração ou promovendo treinamentos individuais com diferentessubconjuntos de dados para cada componente.

Em [Dietterich 2000], é explicitada três razões fundamentais pelas quais se deve uti-lizar técnicas de comitês de máquinas nos processos de classificação ou regressão. Asíntese do algoritmo de aprendizagem pode ser vista como a operação de busca realizada

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 13

em um espaço H de hipóteses, na tentativa de alcançar uma função objetivo f desejada.Dentre os motivos que justificam a utilização de comitês de máquina estão:

• Motivação Estatística. Ocorre quando o tamanho do conjunto de dados de trei-namento é inferior ao tamanho do espaço de hipóteses. Sem dados suficientes, oprocesso de síntese do método pode encontrar múltiplas hipóteses em H, com am-bas apresentando o mesmo desempenho diante dos dados de treinamento.

A Figura 2.4(a) ilustra a motivação estática. A região mais externa demonstra oespaço H de hipóteses. A região interna ilustra o conjunto de todos os algoritmosque produzirão um bom desempenho em relação ao conjunto de treinamento. Oponto denominado f é o classificador desejado. Ao utilizar comitês formados debons classificadores, como as hipóteses sugeridas estão distribuídas em torno de f,o comitê tende a se aproximar de f mais do que qualquer uma das outras hipóte-ses tomadas isoladamente, pois o algoritmo pode realizar uma média das diferentesrespostas obtidas pelos classificadores, reduzindo, dessa forma, o risco de escolherhipóteses errôneas [Nascimento 2009].

• Motivação Computacional. Muitos algoritmos de busca em espaços de possíveissoluções trabalham realizando alguma forma de busca local gulosa, ou seja, queimplementam localmente modificações junto à solução atual que sempre conduzema melhorias incrementais de desempenho. Sendo assim, dependendo da condiçãoinicial adotada e/ou de decisões tomadas ao longo da execução da busca , há apossibilidade de convergência para um ótimo local, principalmente quando existea presença de múltiplos ótimos locais. Ao fazer uso de um comitê construído pelaexecução de buscas locais iterativas a partir de vários pontos de partida diferentesno espaço de hipóteses H uma melhor aproximação da função objetivo conhecida éproporcionada, como ilustra a Figura 2.4(b).

• Motivação Representacional. Em muitos algoritmos de aprendizado, uma função fverdadeira não pode ser representada por nenhuma das hipóteses em H. A partir deum comitê de hipóteses representáveis em H, pode ser possível ampliar o espaçode hipóteses representáveis de modo a se aproximar de f, como podemos perceberna Figura 2.4(c). Mesmo quando se adotam hipóteses de classificação associadas arepresentações matemáticas com capacidade teórica de aproximação universal, ou

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 14

Figura 2.4: Três motivos para se preferir adotar um comitê a um preditor único

seja, com um espaço H ilimitado, na prática sempre vão existir limitações vincula-das à capacidade de representação computacional e de exploração global do espaçode busca [de Moraes Lima 2004]. comitês prometem evitar que a representaçãofique restrita ao conjunto finito de hipóteses.

Para que os comitês sejam capazes de corresponder ao propósito para o qual foramcriados, se faz necessário, além de levar em consideração as justificativas acima apre-sentadas, garantir que todos os estimadores tenham perícia na resolução de um tipo deproblema específico, e que cada um deles mostre-se diverso em relação aos demais, poisdesta forma, haverá algum tipo de contribuição para a composição da decisão final. Nestecaso a diversidade se refere à variação do erro apresentado por cada componente de formaa tratar as novas instâncias de entrada [Nascimento 2009].

Na literatura encontrada sobre comitês ou ensembles, nota-se que cada autor dá prefe-rência a uma perspectiva particular da divisão deste paradigma. Adota-se o termo comitêde máquinas para representar tanto abordagens eensembles quanto abordagens modula-res, afirma [Haykin 1999]. Já na perspectiva de [Bishop 1995] o termo comitê é asso-ciado apenas a ensemble. Desta forma, há a necessidade de um esclarecimento a cercadas distinções existentes entre a abordagem ensemble e a abordagem modular [Sharkeyet al. 1996].

Comitês é o termo que geralmente designa abordagens onde exista a combinação de

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 15

um conjunto de módulos-especialistas denominados componentes onde os mesmos exe-cutarão a mesma tarefa, ou seja, cada componente representa isoladamente uma possí-vel solução para o problema de classificação ou regressão como um todo [Hansen &Salamon 1990], podendo cada solução ser obtida por meios distintos e independentes en-tre si. Há redundância na resolução das tarefas por parte dos componentes.

Já na abordagem modular, uma tarefa complexa é decomposta em um número finitode sub-tarefas, fazendo com que a solução final da tarefa como um todo seja a contri-buição de todos ou de um subconjunto dos módulos componentes. Com isso, um móduloisoladamente não representa uma possível solução para o problema de classificação ou re-gressão, fazendo-se necessário a composição de todas as soluções das sub-tarefas. Nestetrabalho será adotada a perspectiva de [Bishop 1995], que associa o termo comitê apenasa ensemble. Desta maneira, adotaremos o termo comitê para designar abordagens não-modulares, como é o nosso caso.

Dentro da abordagem de Comitê de máquinas, podemos lançar mão da separação damesma quanto a estrutura. Em [Haykin 2001] temos a seguinte divisão:

• Estruturas Estáticas - Nesta classe de comitês, as respostas dos diversos estimadoressão combinadas por meio de um mecanismo que não recebe o sinal de entrada dosistema. Fazem parte deste grupo vários métodos de comitês, como Bagging eBoosting.• Estruturas Dinâmicas - O sinal de entrada está adiante envolvido na atuação do me-

canismo que integra as saídas dos componentes individuais em uma saída global.Ou seja, os sinais de entrada são utilizados de forma a determinar quais componen-tes são melhores para tratar as novas entradas. Nesta categoria são encontradas asarquiteturas mistura de especialistas e sua versão hierárquica.

Autores como [Kuncheva 2000] e [Valentini & Masulli 2002] consideram as diversaspossibilidades de arranjos, inclusive a modular supracitada como variações de comitês.

2.2.1 Construção de Comitês

Comitês é um paradigma de aprendizado que visa oferecer um número finito de pro-postas de solução para um dado problema, denominadas componentes do comitês, que

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 16

têm suas saídas combinadas com a finalidade de alcançar uma solução única para o pro-blema, a qual ofereça ganho de generalização em relação as respostas individuais de cadacomponente [Sollich & Krogh 1996]. De maneira sintetizada, podemos dizer que o termo"comitês" refere-se aos diferentes métodos de construção, seleção e combinação de má-quinas de aprendizado que tem como objetivo gerar soluções redundantes para a mesmatarefa; as condições das configurações de tais máquinas são geralmente dissimilares.

Comitês, geralmente, podem ser construídos em três passos [Coelho 2006]: geraçãodos componentes, seleção e combinação das saídas propostas pelos componentes. Se-gundo [de Moraes Lima 2004], há uma tendência de ganho de desempenho quando seadota uma metodologia baseada em três passos e não em dois como defendido por algunsautores, onde a seleção de componentes é suprimida. Esta afirmação é confirmada por[Zhou et al. 2002], que mostra que o uso de todos os componentes candidatos disponíveisno comitês pode acarretar uma degradação em seu desempenho.

Devido aos promissores resultados obtidos a partir das técnicas de construção de co-mitês e as diversas linhas de atuação de aprendizado de máquina, têm crescido o interessepor este conceito, de maneira que diversos outros tipos de componentes vem sendo ado-tados para compor o comitês, além de redes neurais artificiais [Sharkey 1999], visto quefoi a partir delas que surgiu o conceito de comitês [Hansen & Salamon 1990].A Figura 2.5 representa uma arquitetura geral de um comitês onde é evidenciado o fatode que todos os M componentes (previamente selecionados de um universo maior) arcamcom o mesmo mapeamento de entrada e saída e há a existência de um módulo combinador.Cada novo padrão apresentado a entrada é tratado redundantemente, como citado acima,pelos diferentes módulos-componentes (árvores de decisão, máquina de vetor suporte,algoritmo bayseano etc), os quais produzem suas estimativas individuais. O módulo com-binador, por sua vez, recebe esses resultados, e baseado em algum método (voto, médiaetc) busca originar à decisão consensual final. Para se combinar as respostas individuais,é comumente utilizado, em problemas de classificação de padrões, o voto majoritário ouponderado; já em problemas de regressão, a média simples.

A abordagem de comitês vem sendo largamente utilizada na última década, tanto paraproblemas de regressão quanto para problemas de classificação de padrões, uma vez queos comitês são comprovadamente capazes de aumentar a capacidade de generalização e,com isso, de forma geral, o desempenho do sistema [Hansen & Salamon 1990]; [Zhouet al. 2000];[Zhou & Jiang 2003];[Inoue & Narihisa 2004]. Com vistas ao conceito que

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 17

Figura 2.5: Arquitetura geral de um ensemble

caracteriza os comitês, é facilmente intuitível que a combinação de múltiplos componen-tes seja vantajosa, já que componentes diferentes podem representar, de forma implícita,aspectos distintos e, ao mesmo tempo, fortemente relevantes para a solução de um dadoproblema. Conceitos e técnicas de comitês representam uma das principais direções empesquisas na área de aprendizado de máquina, como visto em [Canuto 2001], [Coelho2006], [Nascimento 2009], [de Oliveira 2008] e [Gama 1999].

Contudo, a melhora proporcionada pelos comitês, ou seja, aumento na capacidade degeneralização e, consequente, melhora no desempenho total do sistema, se firma na quali-dade e diversidade do erro apresentado pelos seus componentes [Perrone & Cooper 1993],ou seja, cada um dos componentes em um comitê deve apresentar um bom desempenhoquando aplicado isoladamente ao problema e, simultaneamente, cometer erros distintos,quando comparados com os demais componentes. Intuitivamente, pode-se perceber umanecessidade de se haver diversidade do erro entre os componentes, uma vez que, se com-binarmos vários componentes que apresentem erros coincidentes, um mesmo padrão deerro, certamente não teremos ganho de generalização, já que o fato deles errarem para ummesmo subconjunto de estímulos de entrada implica em acertos também coincidentes, oque faz com que sua combinação traga apenas um aumento no custo computacional, nãohavendo, desta forma, nenhuma contribuição para o sistema como um todo. A questão dadiversidade em comitês será tratada na subseção seguinte.

Diversidade em Comitês

A ideia de se construir comitês é obter ganho de generalização a partir da combinaçãodas respostas dadas por cada componente do comitês. Tal combinação é em vistas daminimização do erro final, uma vez que tais componentes quando aplicados isoladamente

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 18

produzem erro. Portanto, é necessário que haja diferença na generalização de cada com-ponente, ou seja, diversidade [Kuncheva 2004], como citado na seção anterior, fazendocom que eles não apresentem erros coincidentes ou correlatos, e sim uma dissimilaridadedo erro entre as demais regiões do problema. Desta forma, a diversidade das respostas po-dem contribuir ou influenciar na melhor hipótese. Com isso, quando se fala em comitês aquestão da diversidade torna-se obrigatoriamente relevante, tornando-se um fator crucialpara o sucesso dos comitês [Kuncheva 2004].

Durante a construção de um comitê várias técnicas para geração de diversidade podemser aplicadas. Dentre as técnicas existentes, as mais citadas na literatura são aquelas quefazem uso de estratégias como:

• Métodos que atuam sobre o ponto de partida no espaço de hipóteses: os métodosinclusos neste grupo variam os pontos de partida da busca no espaço de hipóteses,influenciando dessa forma o ponto de convergência.

• Métodos que atuam sobre os dados de treinamento: através do fornecimento deconjuntos de dados de treinamento diferentes para cada um dos componentes docomitê, estes métodos buscam gerar componentes que produzam mapeamentos di-ferentes, visto que os estímulos de entrada serão distintos.

• Métodos que manipulam a arquitetura de cada componente: estes métodos variam aarquitetura de cada componente no comitê, de maneira que diferentes conjuntos dehipóteses estejam acessíveis para cada componente, ou seja, como os componentesdo comitê possuem arquiteturas diferentes, os conjuntos de hipóteses associados aesses componentes também serão distintos, o que pode contribuir para a diversi-dade. Estes métodos dão origem aos denominados comitês heterogêneos [Canutoet al. 2005].

• Métodos que atuam sobre a forma de exploração do espaço de hipóteses: alterandoa forma de exploração do espaço de hipóteses, esses métodos levam os diferen-tes componentes a convergirem para diferentes hipóteses, mesmo tendo um mesmoponto de partida.

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 19

• Métodos híbridos: formados por alguma combinação dos métodos acima.

Esta dissertação se propõe utilizar a técnica de geração de diversidade já citada an-teriormente, a qual manipulam os dados de treinamento. Para efetivar a combinação dediversidade serão aplicados os métodos de comitês Bagging e Boosting. Mais detalhessobre estes métodos de geração de comitês serão vistos em seções ao longo deste capítulo.

Diversas métricas de avaliação da diversidade em comitês já foram propostas e podemser divididas em dois grupos[Kuncheva 2004]: as que trabalham com o conceito de pari-dade(pairwise), as quais consistem em tomar a média de uma dada métrica de distânciacalculada sobre partes de componentes do comitê e as métricas que não trabalham comconceito de paridade(non-pairwise), baseadas em medidas sobre todo o grupo. Dentreas medidas pairwise podemos citar: Estatística-Q , coeficiente de correlação, medida dedesacordo e medida de duplo-falso; dentre as métricas non-pairwise podemos citar: a me-dida de entropia E, a medida de dificuldade T, a variância de Kohavi-Wolpert, a medidade concordância, a diversidade generalizada e a diversidade de falha coincidente.

Entre as medidas estatísticas de relacionamento, a pairwise Estatística-Q uma vezusada para classificadores estatisticamente independentes, Q assumirá o valor 0. cadaclassificador k é representado por um vetor binário n-dimensional Ak = Ak1,Ak2, ...,AkN,Akn, sendo n correspondente ao tamanho do conjunto de exemplos D. Se a instância Di

for classificada corretamente, então Ak1 = 1, caso contrário Ak1 = 0. A Estatíticas-Qavalia o grau de divergência entre dois classificadores k e k’ quaisquer mediante a equa-ção 2.1. O valor de N11 corresponde ao número de amostras classificadas corretamentepor k e k’. N00 é o número de amostras classificadas incorretamente por k e k’. N10 é onúmero de amostras classificadas corretamente por k e incorretamente classificadas peloclassificador k’ . Já N01 corresponde ao número de amostras classificadas incorretamentepor k e corretamente classificadas pelo classificador k’. Quando os classificadores estãopropícios a acertar ou errar os mesmos padrões, ou seja, são correlacionados, tendem apossuir valores de Q positivos. Quando os classificadores tendem a acertar ou errar pa-drões diferentes, ficam tendem a possuir valores de Q negativos. Em síntese, procuramosconstruir comitês que tendam a produzir valores de Q negativos. A Estatística-Q assumirávalores entre [−1,1].

QK.K′ =N11N00−N01N10

N11N00 +N01N10 (2.1)

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 20

Na Estatistica-Q, a diversidade do comitê Q(Ω) é dada pela média sobre todos os possí-veis acoplamentos entre pares de componentes [Coelho 2004], sendo calculado segundoa equação 2.2.

Q(Ω) =2

K(k−1)

k−1

∑k=1

k

∑k′=k+1

Q(K.K′) (2.2)

Na medida de Entropia E, o comitê é mais diverso para um z ∈ Z quando L/2 dos votossão 0s (1s) e os outros L − [L/2] são votos 1s (0s). Caso todos sejam 0s ou todos sejam1s, então todos concordaram e os classificadores não poderão ser consideradas diversos.Uma possível medida de diversidade pode ser obtida através da equação 2.3.

E =1N

2L−1

N

∑j=1

min(L

∑i=1

y j,i) , ( L−L

∑i=1

y j,i) (2.3)

Os valores da Entropia E variam entre 0 e 1, onde 0 indica não diverso e 1 indica amais alta diversidade possível.

Métodos de Geração dos Componentes

Na construção de comitês a etapa de geração dos componentes é de suma importância.Uma vez que esta metodologia é sustentada pela necessidade da existência de diversidadeentre seus componentes, para que o comitê seja capaz de proporcionar ganho de acui-dade, na construção é preciso garantir que exista dissimilaridade entre eles. É encontradona literatura vários métodos e técnicas que auxiliam na tarefa de construção de comitêse que trazem em si mecanismos para possibilitar a diversidade entre os componentes.Dentre estes métodos podemos citar o Bagging, proposto por [Breiman 1996], e o Boos-

ting, proposto por[Freund 1996]. Estes métodos para construção de comitê farão partedos objetos de pesquisa desta dissertação. Alguns trabalhos lançaram mão destes méto-dos como objeto de investigação, tais como: [Nascimento 2009],[de Moraes Lima 2004],[Coelho 2004], [Gama 1999] e [Martin 2008].

É importante ressaltar que a maior parte dos trabalhos que fazem uso de algum mé-todo para geração dos componentes de um comitê utiliza os métodos Bagging e Boosting,fazendo com que eles sejam os mais utilizados.

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 21

O método Bagging (bootstrap agregating) ou agregação bootstrap [Breiman 1996] éum dos representantes da técnica de re-amostragem de dados com reposição. Esta técnicagera conjuntos de treinamento distintos, os quais são utilizados para se obter componen-tes de um comitê. O fato dos conjuntos de treinamento serem distintos proporcionam ageração de componentes que generalizam de forma também distinta.

A diversidade provida pela técnica de agregação bootstrap [Efron & Tibshirani 1993]é a partir da redistribuição aleatória dos dados, ou seja, uma vez dispondo de um únicoconjunto de treinamento T com n amostras, é gerado, por re-amostragem uniforme, umsubconjunto de dados T’ com n’ amostras, onde n = n′. A probabilidade de uma amostrado conjunto T ser escolhida para compor o conjunto T’ é igual para todas. Com isso,todas as amostras dos T’ conjuntos de treinamento gerados estão presentes no conjuntode treinamento T, de modo que a diferença entre os T’ conjuntos gerados está na presençade amostras repetidas e, consequentemente, ausência de algumas amostras que fazemparte do conjunto T. Assim, a probabilidade de uma amostra ser escolhida é de 1− (1−1/n)n, 63.2 % do conjunto de dados T’ gerado é composto por amostradas únicas e orestante por amostradas duplicadas [Bauer & Kohavi 1998], não havendo praticamentenenhuma chance dos conjuntos de dados gerados serem idênticos. O processo de geraçãode componentes através do método Bagging é ilustrado na Figura 2.6.

Figura 2.6: Processo de geração de componentes via método Bagging (Nascimento,2009).

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 22

No algoritmo Boosting [Freund 1996], o processo de treinamento ocorre de formasequencial, uma vez que o conjunto de treinamento do componente seguinte é geradocom base no desempenho dos demais componentes já gerados. Com isso, a abordagemBoosting reduz tanto a variância quanto o bias, ao passo que o Bagging reduz apenas avariância [Friedman et al. 2000]. Isto se deve à atribuição de maior ênfase às amostrasresponsáveis pela queda de desempenho durante o treinamento, ou seja, as amostras quemais contribuem para o erro de treinamento dos componentes já treinado têm maior pro-babilidade de serem escolhidas para compor o conjunto de treinamento do componenteseguinte, fazendo com que os últimos componentes gerados na sequencia possam arcarcom as regiões mais difíceis do espaço de atributos [Coelho 2004].

Existem diversas varições da abordagem Boosting original[Schapire 1990]. Segundo[Haykin 2001] essas variações se distinguem pela implementação. São elas:

• Boosting por filtragem: originalmente citada por [Schapire 1990], envolve filtrar asinstâncias de treinamento por diferentes versões de um algoritmo de aprendizadofraco. Essa abordagem assume a disponibilidade de uma grande (teoricamente, in-finita) fonte de instâncias, com as instâncias sendo descartadas ou mantidas duranteo treinamento. Uma vantagem é a baixa requisição de memória comparada às ou-tras abordagens.

• Boosting por sub-amostragem: trabalha com uma instância de treinamento de ta-manho fixo. As instâncias são amostradas novamente durante o treinamento, deacordo com uma determinada distribuição de probabilidade. O erro é calculado emrelação à amostra de treinamento fixo.

• Boosting por ponderação: trabalha com uma amostra de treinamento fixo, mas as-sume que o algoritmo de aprendizagem fraca pode receber exemplos ponderados.O erro é calculado em relação às instâncias ponderadas. Neste contexto se enquadrao AdaBoost (derivado de Adaptative Boost) [Freund & Schapire 1995].

No algoritmo AdaBoost.M1 [Freund & Schapire 1999], dispondo de um conjunto dedados de treinamento T com n amostras, cada amostra x recebe um peso inicial wi= 1= n.O primeiro classificador é treinado com todas as amostras. Em seguida, é testado utili-zando as mesmas amostras. O peso das amostras classificadas erroneamente, tem seuvalor acrescido, já as amostras classificadas de forma correta tem seus pesos mantidos. O

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 23

classificador que acertar as amostras mais difíceis receberá um peso maior. Esse proce-dimento se repetirá até se completar N componentes (valor informado previamente), ouquando εN ≤ 0 ou εN ≥ 0.5, sendo εN o erro agregado. A resposta final do comitê éresultante de um voto ponderado de todos os componentes. Na Figura 2.7 temos a ilus-tração do processo de geração de componentes via algoritmo Boosting.

Figura 2.7: Processo de geração de componentes via método Boosting (Nascimento,2009).

Em todos os caso, tanto no algoritmo Bagging quanto no Boosting, a grande vanta-gem em se usar estes métodos de construção de comitê é a questão da diminuição dobias ou polarização [Gama 1999]; [Coelho 2004] e [Breiman 1996], que se constitui decerta forma a escolha efetuada pelos indutores na busca de uma hipótese, ou seja, a pre-dição escolhida pelos algoritmos de forma a generalizar os dados de treinamento.

Seleção de componentes

Uma vez de posse dos componentes postulantes a comporem o comitê treinados, técni-cas de meta-aprendizagem podem ser aplicadas para selecionar os melhores componentesque efetivamente contribuem para a eficácia do comitê.

CAPÍTULO 2. APRENDIZADO DE MÁQUINA 24

Combinação de componentes

A categorização de métodos de combinação de classificadores (conhecida por comitê), geralmente, é realizada sob duas vertentes complementares [Coelho 2004]: uma baseadaem seleção e outra em fusão. O pressuposto no caso da seleção é que cada componenteseja um especialista em alguma região local do espaço de atributos. No segundo caso, osmétodos eleitos na fusão de classificadores assumem que todos os componentes são bemindicados para lidarem com todo o espaço de entrada e, consequentemente, as respostasde todos devem ser consideradas. O conhecimento implícito nos métodos de combinaçãopode ser explorado por técnicas de meta-aprendizagem para determinar o melhor métodoa ser utilizado como meta-classificador. Contudo, neste trabalho este não constitui umobjetivo.

2.3 Considerações Finais

Neste capítulo, de forma genérica, foram explanados conceitos sobre os paradigmasaprendizado de máquina (Simbólico, Estático, Baseado em Exemplos e Conexionista),bem como métodos de aprendizado de máquina a eles relacionados. Conceitos geraissobre comitês de máquina, assim como uma breve distinção entre comitês e sistemasmodulares. Conceitos mais específicos sobre comitês também se fizeram necessários,como diversidade e métodos de geração de comitê. Tais conceitos são importantes paraum melhor entendimento da presente proposta.

Capítulo 3

Meta-aprendizagem

O principal objetivo em meta-aprendizagem é a compreensão da interação entre omecanismo de aprendizagem e os contextos concretos em que esse mecanismo é aplicá-vel [Giraud-Carrier 2008]. Na literatura é possível encontrar uma variada gama de mé-todos publicados e consagrados, os quais auxiliam na construção, seleção e combinaçãode comitês, porém não há um único método que seja suficientemente bom para qualquertipo de problema. De forma geral, pode-se dizer que a meta-aprendizagem tem comofoco o interesse na relação entre estratégias de aprendizagem e os problemas [Vilaltaet al. 1995]. O estudo na área de meta-aprendizagem busca descobrir como os algorit-mos de aprendizado de máquina podem aumentar sua eficiência mediante a experiência[Vilalta & Drissi 2002]. O processo de exploração de conhecimento sobre o aprendizadopossibilita o entendimento e proporciona ganho no desempenho dos algoritmos de apren-dizado.

Os algoritmos de aprendizado de máquina funcionam adaptando seus parâmetros aum ambiente específico [Mitchell 1997]. O que faz com que a meta-aprendizagem sejadiferente da aprendizagem de base é o escopo de seu nível de adaptação. A meta-aprendizagem é baseada na escolha da polarização ou bias correto de forma dinâmicaatravés das múltiplas aplicações de um algoritmo de aprendizado, em oposição à apren-dizagem de base, onde o bias é fixado a priori, ou através de parâmetros, ou seja, meta-aprendizagem é baseada no acúmulo de experiência, enquanto o aprendizado convencio-nal trabalha sobre um conjunto de dados por vez.

O termo meta-aprendizagem ainda pode ser associado a métodos de aprendizado coma capacidade de: avaliar e comparar seus resultados; medir o benefício de aprendizadosanteriores em aprendizados subsequentes e comparar técnicas de aprendizado para sele-cionar a melhor entre elas [Schmidhuber & Wiering 1996].

CAPÍTULO 3. META-APRENDIZAGEM 26

Meta-aprendizagem tem sido aplicada a diversas categorias de problemas. Dentre asaplicações mais comuns, tem-se o problema de gerar regras que tenham a capacidade derelacionar o desempenho de algoritmos de aprendizado de máquina com as proprieda-des das bases de dados [Brazdil et al. 2009]. Levando em consideração esta aplicação,podemos utilizar tal conceito como forma de ajuda na criação de sistemas que forneçamsugestões sobre que algoritmos utilizar em situações específicas. No caso da presentedissertação, auxiliar na escolha de alguns dos parâmetros de configuração de comitês(classificador base, método de construção e tamanho da arquitetura). Neste contexto, al-guns conceitos e tópicos relacionados a recomendação de algoritmos são relevantes. Estesserão abordados nas seções seguintes deste capítulo.

3.1 Meta-aprendizagem para Recomendação de Algorit-mos

Na última década, mediante o avanço nas pesquisa em aprendizado de máquina, diver-sas abordagens de métodos e algoritmos tem surgido na literatura. A questão do projetistaconsiste em que método usar ou em saber qual ferramenta, baseada em qual método, utili-zar para o seu novo problema de classificação representado por um determinado conjuntode dados, de forma que as soluções oferecidas sejam apropriadas. Cada abordagem temsuas considerações em relação a natureza dos dados, precisando, desta maneira, ser esco-lhida cuidadosamente, de acordo com as características da tarefa considerada.

Cada algoritmo possui a chamada superioridade seletiva, a qual pode fazer com queseu desempenho seja melhor do que os seus pares em uma classe de tarefas específi-cas [Brodley 1995]. Uma definição para o problema de seleção de algoritmos é encon-trada em [Rice 1976]. No presente trabalho o processo de recomendação de algoritmos sedará em três âmbitos:

• Classificador base: algoritmo de aprendizado de máquina que representa os méto-dos utilizados como componentes do comitê. A recomendação será feita dentro doseguinte domínio de métodos classificadores: (Árvore de decisão, Decision Stump,Decision Table, Naïve Bayes, K-NN, SVM (Support Vector Machines), REP Tree,

CAPÍTULO 3. META-APRENDIZAGEM 27

JRip, PART e Redes neurais RBF ).

• Estrutura do comitê: os possíveis métodos de construção de estrutura serão (Bag-

ging e Boosting). Detalhes destes métodos podem ser encontrados no capítulo 2sobre aprendizado de máquina.

• Tamanho da Estrutura do comitê: diante da melhor estrutura, a meta-aprendizagemnos auxiliará na escolha do tamanho da mesma. Os possíveis tamanhos médiosde estrutura serão, em um primeiro momento, Pequeno1, Médio2 e Grande3. Emum segundo momento, Pequeno4 e Grande5 e por último quatro grupos: Pequeno6,Médio7, Grande8 e Muito Grande9. Segundo [Kuncheva 2004] mais de 25 com-ponentes em um comitê não gera ganhos significativos. A ideia é categorizar asfaixas de tamanhos das possíveis arquiteturas, de maneira que se possa estabelecerum parâmetro de referência para o tamanho mais adequado da arquitetura de umcomitê, sem que se faça necessário experimentos com todos os possíveis tamanhos.

A Figura 3.1 ilustra, de maneira geral, o processo de recomendação de algoritmos viameta-aprendizagem.

O processo representado na Figura 3.1 inicia-se com a aquisição de um conjunto deproblemas que represente, apropriadamente, os problemas para os quais a recomendaçãoserá feita. O próximo passo é, a partir de cada base de dados, avaliar o algoritmo empre-gado e extrair as características, de acordo com as métricas pré-estabelecidas. Obtendo-seessas duas informações (desempenho do algoritmo e características da base) de cada pro-blema, gera-se um meta-exemplo, o qual é formado pelas meta-características de entradae pela meta-classe10, respectivamente. Ao conjunto dos meta-exemplos disponíveis, dá-seo nome de meta-dados (meta-data). Com a finalidade de induzir o mapeamento entre asmeta-características de entrada e meta-classes, é aplicado um algoritmo de aprendizado

12 a 10 componentes211 a 19 componentes320 a 28 componentes42 a 15 componentes516 a 28 componentes62 a 8 componentes79 a 15 componentes816 a 22 componentes923 a 28 componentes

10Rótulo que representa o desempenho do algoritmo avaliado

CAPÍTULO 3. META-APRENDIZAGEM 28

Figura 3.1: Processo de Recomendação de Algoritmos via meta-aprendizagem.(Brazdilet al., 2009).

de máquina, o qual é chamado de meta-aprendiz. Por meio dele, é possível utilizar o meta-conhecimento obtido do processo de aprendizagem e gerar a recomendação de algoritmosno contexto de meta-aprendizagem.

Na presente abordagem, a mesma ideia é empregada, porém para recomendar os al-goritmos que serão utilizados como parâmetros de configuração de um comitê. Em umprimeiro momento, será realizada a recomendação do algoritmo usado como classificadorbase. Em um segundo momento, será recomendado o método que gerará os componentesdo comitê, formando assim sua estrutura. Por fim, será definido o tamanho da melhorestrutura do comitê. Tal processo é ilustrado na Figura 3.2.

3.1.1 Caracterização dos Dados

Dado que os algoritmos de aprendizado de máquina tem seu desempenho influenciadopelas características do problema considerado, o processo de caracterização consiste emidentificar e extrair características destes dados que, possivelmente, sejam relevantes parao desempenho dos mesmos. Uma vez de posse das características contendo informaçõesdos dados, técnicas de meta-aprendizagem são aplicadas, levando em consideração o co-nhecimento a priori do comportamento dos algoritmos, sob um aspecto em particular.

CAPÍTULO 3. META-APRENDIZAGEM 29

Figura 3.2: Processo de Recomendação de Algoritmos para comitê via meta-aprendizagem. Adaptado de (Brazdil et al., 2009)

CAPÍTULO 3. META-APRENDIZAGEM 30

Considerando-se o fato de que cada algoritmo tem um comportamento específico di-ante da natureza dos dados a ele apresentados, faz-se necessário explorar as propriedadesque caracterizam os dados com o intuito de compreender o desempenho dos algoritmos declassificação. Isso é possível através de algumas métricas usadas para explorar a naturezados dados. Segundo [Soares et al. 2004], tais medidas apresentam informações relevantespara determinar o desempenho relativo entre os algoritmos de classificação e não apenasgerar um custo computacional. A pesquisa em caracterização se divide, atualmente, em 3áreas [Vilalta et al. 2005]: caracterização direta; caracterização baseada em landmarking

e caracterização via modelos, as quais serão mostradas de maneira breve nas subseçõesseguintes.

Direta

O Projeto STATLOG [Michie et al. 1994] foi uma tentativa de gerar relacionamentoentre as métricas que caracterizam as bases de dados e o desempenho dos algoritmos.Um dos seus principais objetivos era saber porque alguns algoritmos classificavam bemem alguns domínios e apenas regularmente em outros. É assumido que em problemassemelhantes, o perfil de desempenho dos algoritmos também deverão ser semelhantes.Foram utilizados 23 algoritmos e 21 bases de dados nos experimentos empíricos. Nesteprojeto as medidas utilizadas na caracterização dos dados foram divididas em três catego-rias:

• Simples: incluem medidas gerais, como número de atributos, números de instan-cias, número de classes e número de atributos binários;

• Estatísticas: envolvem conceitos estatísticos, como razão média entre desvio pa-drão dos atributos, correlação média absoluta entre atributos por classe, primeiracorrelação canônica, proporção de variância explicada pelo 1o discriminante canô-nico, assimetria média absoluta dos atributos e curtose média dos atributos;

• Baseadas na teoria da informação: utilizadas para caracterizar os atributos nomi-nais e sua relação entre si e com o atributo classe. São elas: entropia normalizadadas classes, entropia média dos atributos, informação mútua média entre classe eatributos, razão sinal/ruído.

CAPÍTULO 3. META-APRENDIZAGEM 31

O Projeto METAL11 pode ser considerado uma extensão do Projeto Statlog. O ME-TAL colaborou com o desenvolvimento de várias abordagens relacionadas à pesquisa emmeta-aprendizagem, inclusive a Data Caracterization Tool, a qual será utilizada comoparte das ferramentas que auxiliarão nos experimentos computacionais. Dentre as abor-dagens para caracterização das bases de dados, buscou estender as medidas utilizadas noStatlog. Tais medidas, separadas por categoria, são:

• Simples: número de atributos nominais e número de atributos numéricos;

• Estatísticas: número de atributos com outliers, Estatística M de Box, graus de li-berdade da Estatística M, Valor de Lambda de Wilk e Estatística V de Barlett;

• Baseadas na teoria da informação: entropia conjunta de classe e atributos.

landmarking

Outra fonte de caracterização se enquadra no conceito de landmarking [Pfahringeret al. 2000]. Cada algoritmo tem um tipo de dados em que ele tem um desempenho ra-zoavelmente bom, isso é denominado área de competência ou área de especialização daclasse de um algoritmo. A ideia básica da abordagem landmarking é que o desempenhode um algoritmo em uma tarefa descobre informações sobre a natureza da tarefa. Assim,uma tarefa pode ser descrita pela coleção das áreas de conhecimento a que pertence. Destaforma, por meio da aplicação de algoritmos simples, os landmarkers, seria possível obterinformação importante sobre a natureza do domínio em que eles são aplicados.

O landmarking é utilizado para determinar a proximidade de uma base de dados emrelação a outras, por meio da similaridade entre os desempenho dos algoritmos. Forma-seuma vizinhança de áreas de competência, onde bases de dados podem ser representadas.Espera-se que bases de dados de natureza semelhante pertençam às mesmas áreas de com-petência e, consequentemente, os mesmos algoritmos de classificação sejam adequados àelas. O papel dos algoritmos de meta-aprendizagem é explorar quão bem as informações

11Encontrado em www.metal-kdd.org.

CAPÍTULO 3. META-APRENDIZAGEM 32

dos landmarkers podem ser utilizadas para localizar as bases de dados no espaço de com-petências. Em [Bensusan & Giraud-Carrier 2000] é encontrado um exemplo de utilizaçãode landmarking como técnica de caracterização de dados em meta-aprendizagem.

Via modelos

A abordagem de caracterização via modelos [Bensusan et al. 2000] difere da chamadalandmarking [Pfahringer et al. 2000] pelo fato de não considerar as medidas de desempe-nho do classificador induzido e sim a estrutura do próprio classificador, conhecida comohipótese induzida ou modelo. Esta é uma forma alternativa de representar bases de dadosfazendo uso de algoritmos de classificação. Existem várias vantagens na caracterizaçãovia modelos, dentre as quais se destacam [Vilalta et al. 2005]: a base de dados é repre-sentada por uma estrutura que contém informações sobre a complexidade e desempenhodo modelo e; a representação dos dados nessa forma pode servir de base para explicar odesempenho do algoritmo de aprendizagem.

A utilização de modelos para a caracterização de bases de dados realiza uma mudançano espaço de busca do algoritmo de meta-aprendizagem, passando do espaço de exemplospara o espaço de hipóteses do algoritmo de caracterização [Bensusan et al. 2000]. Umavez que, o algoritmo, idealmente, é capaz de realizar busca eficiente em seu rico espaçode hipóteses, espera-se que a utilização da hipótese induzida comprima a base de dadosoriginal de maneira a proporcionar meta-características que contribuam mais com infor-mações ao algoritmo de meta-aprendizagem.

O algoritmo mais utilizado, dentre os algoritmos de classificação, para realizar a carac-terização de bases de dados via modelos é a árvore de decisão. Evidências empíricas jus-tificam este fato, apontando para a existência de fortes relações entre as propriedades dasbases de dados e as estruturas de árvores de decisão sem podas [Bensusan et al. 2000]. Di-versas medidas de uma árvore de decisão podem ser utilizadas como meta-características,tais como [Vilalta et al. 2005]: o número de nós por atributo, a profundidade máxima daárvore, o grau de balanceamento, dentre outras.

Em [de Souza 2010] é apresentada uma nova abordagem para caracterização baseadaem técnicas de validação de agrupamento, onde é investigada a hipótese de que os dife-rentes índices utilizados para tal ?m poderiam explorar aspectos variados da distribuição

CAPÍTULO 3. META-APRENDIZAGEM 33

dos dados que pudessem ser utilizados como base para a construção de meta-atributosadequados.

3.1.2 Medidas de Avaliação

No processo de decisão, seja ele qual for, é necessário tomar algumas medidas queorientem o caminho a seguir, ou qual decisão tomar. No processo que determinará quaisalgoritmos utilizar em quais bases de dados, também se faz necessário especificar quaismedidas de desempenho serão consideradas, a fim de que se possa estabelecer uma listade preferência de algoritmos. Existem diversas medidas que podem ser consideradas,tais como: acurácia/erro, a área sob as curvas ROC, F − Score, erro médio quadrático,dentre outras, como visto em [Caruana & Niculescu-Mizil 2006]. Embora a utilização deapenas uma medida de avaliação seja a prática mais comum em meta-aprendizagem, épossível utilizar abordagens multi-objetivas, em que duas ou mais medidas são combina-das. A utilização de múltiplas medidas pode permitir a exploração de diversos aspectosdo classificador. Em alguns domínios, outras medidas podem ser interessantes como,por exemplo, o tempo requerido para o algoritmo construir um classificador, o temporequerido para o classificador rotular um exemplo, a quantidade de memória requeridapelo algoritmo e a simplicidade e interpretabilidade dos classificadores construídos, den-tre outras. Em [Soares & Brazdil 2000] foi utilizada como critério uma medida chamadaAdjusted Ratio of Ratios, que combina tempo de execução e acurácia. Neste trabalho,usaremos como medida de avaliação a média simples da taxa de acurácia/erro, de cadamétodo.

3.1.3 Formas de Sugestão

Segundo [Soares 2004], de maneira geral, há quatro diferentes abordagens para su-gestão de algoritmos em meta-aprendizagem: um algoritmo único, um conjunto de algo-ritmos, um ranking de algoritmos e a performance estimada dos algoritmos.

A primeira consiste em informar o melhor algoritmo, ou seja, aquele que gera, hipote-ticamente, o melhor modelo para uma dada tarefa ou base de dados, de acordo com algumcritério. Exemplos podem ser encontrados em [Koepf et al. 2000]. Uma limitação seriaa eventual indisponibilidade do algoritmo em um dado momento, não sendo possível sua

CAPÍTULO 3. META-APRENDIZAGEM 34

aplicação.

Uma abordagem mais flexível seria a segunda, que informa, dentre os algoritmos con-siderados, o conjunto de algoritmos que apresentam melhor estimativa de desempenhona base de dados. Além do melhor algoritmo, estão presentes neste conjunto também osalgoritmos que não possuam desempenho estatisticamente inferior ao melhor. No casoem que o usuário esteja disposto a experimentar mais de um algoritmo, esse tipo de re-comendação não fornece nenhuma orientação quanto à ordem em que os experimentosdevem ser realizados. Como exemplo, citamos o projeto Statlog, no qual as sugestõeseram apresentadas dessa forma.

Uma terceira abordagem mostra os algoritmos em ordem de preferência com relaçãoà base de dados. A ordem de preferência pode ser estabelecida tomando por base a acurá-cia dos classificadores, por exemplo, como em [Bensusan & Kalousis 2001], ou medidasmais complexas, tais como tempo de execução do algoritmo ou o quão fácil o modelogerado pode ser interpretado.

Por fim, um algoritmo de regressão pode ser utilizado no meta-nível. Com essa abor-dagem, o método prevê o desempenho dos algoritmos. O desempenho estimado pode serutilizado para gerar ranking dos algoritmos [de Souza 2010], [Kalousis 2002].

Nesta dissertação a sugestão será construída utilizando a terceira forma de sugestão,oferecendo a preferência do algoritmo com relação à base de dados, enquanto parâmetrode um comitê homogêneo.

3.2 Considerações Finais

Neste capítulo, foram apresentados conceitos gerais de meta-aprendizagem e sua apli-cação no âmbito da recomendação de algoritmos. Conceitos abordados, tais como: ca-racterização de dados, meta-aprendizagem para recomendação de algoritmos, medidasde avaliação, formas de sugestão, são importantes para o entendimento da aplicação dosmesmos ao longo deste trabalho. Foram ainda apresentados os três âmbitos em que arecomendação de algoritmos se dará nesta dissertação. Tais algoritmos representarão al-guns dos parâmetros de configuração de arquitetura de um comitê dentro do processo deconstrução.

CAPÍTULO 3. META-APRENDIZAGEM 35

Capítulo 4

Experimentos

Conforme discutido no Capítulo 3, abordagens de meta-aprendizagem tem sido apli-cada a diversas categorias de problemas. Dentre as aplicações mais comuns, tem-se o pro-blema de gerar regras que tenham a capacidade de relacionar o desempenho de algoritmosde aprendizado de máquina com as propriedades das bases de dados [Brazdil et al. 2009].Levando em consideração esta aplicação, podemos utilizar tal conceito como forma deajuda na criação de sistemas que forneçam sugestões sobre que algoritmos utilizar emsituações específicas. Sinteticamente, eles operam nas seguintes etapas básicas: geraçãode meta-exemplos a partir dos problemas disponíveis, indução de um meta-modelo capazde aprender a relação entre os meta-atributos de entrada e o meta-atributo alvo, e a apli-cação do meta-modelo para a construção de recomendação que dê suporte à seleção dealgoritmos para novos problemas.

Este capítulo é dedicado a apresentação dos experimentos computacionais realizadosnas investigações para avaliar a utilização de meta-aprendizagem na escolha dos melho-res parâmetros de configuração para um comitê homogêneo de classificadores: o melhorclassificador base, a melhor arquitetura, bem como o melhor tamanho da mesma. Os ex-perimentos e análises foram divididos em três partes, conforme metodologia de pesquisaapresentada no Capítulo 3.

Para viabilizar os experimentos, um protótipo foi desenvolvido em linguagem de pro-gramação Java fazendo uso da API do Framework WEKA [Witten & Frank 2005].

O WEKA [Witten & Frank 2005] é um ambiente que disponibiliza uma gama de al-goritmos de aprendizado de máquina que foi desenvolvida pela University of Waikato

na Nova Zelândia. Inclui, ainda, diversas ferramentas para transformação de dados, taiscomo algoritmos de discretização, implementações de algoritmos para mineração de da-

CAPÍTULO 4. EXPERIMENTOS 37

dos (classificação, agrupamento, regras de associação). É importante ressaltar que esseframework vem sendo adotado, frequentemente, como base de desenvolvimento e vali-dação de novas abordagens de aprendizado de máquina, sobretudo, aquelas baseadas emcomitês de máquinas [Canuto et al. 2007], [Soares et al. 2006]. Os algoritmos não tive-ram suas configurações de parâmetros alteradas, sendo utilizada a configuração padrão doFramework WEKA.

4.1 Condução dos Experimentos

Com o intuito de validar esta abordagem, foi empregado o procedimento 10-fold

cross-validation em todas as etapas dos experimentos [Mitchell 1997] para todas as con-figurações de comitê. Desta maneira, todos os resultados apresentados nesta dissertaçãoreferem-se a média sobre 10 diferentes conjuntos de teste.

Como já mencionado, os experimentos desta dissertação foram conduzidos em buscada viabilidade do uso de meta-aprendizagem na escolha dos melhores parâmetros de con-figuração de um comitê homogêneo.

A Figura 4.1 ilustra o processo implementado para os experimentos. Neste processo,os comitês gerados são avaliados em cada uma das meta-bases do repositório. O resultadoda avaliação dos comitês juntamente com as meta-características calculadas pela Data Ca-

racterization Tool formarão as meta-bases utilizadas no processo de meta-aprendizagem.

Em um primeiro momento, os experimentos foram conduzidos da seguinte maneira:na primeira parte, as investigações foram realizadas em busca do melhor classificadorbase, onde inicialmente, nove algoritmos foram investigados. Estes nove algoritmos fo-ram divididos em três grupos: todos os nove algoritmos, seis algoritmos e quatro algorit-mos. O critério de escolha dos elementos destes grupos foi a quantidade de meta-exemploque cada algoritmo conseguiu rotular. Dentre os nove algoritmos, foram separados os seisque mais rotulou meta-exemplos e destes seis, foram separados os quatro que mais se des-tacaram na avaliação. Na segunda parte, já de posse do melhor algoritmo de aprendizadono nível base, a investigação foi direcionada a encontrar o melhor método de geração dearquitetura para o comitê, onde dois métodos foram investigados, o Bagging e o Boosting.Na terceira e última parte, sabendo-se, qual o melhor método de aprendizado no nível basee qual foi a arquitetura que se destacou, a investigação foi acerca do melhor tamanho da

CAPÍTULO 4. EXPERIMENTOS 38

Figura 4.1: Processo Experimental.

arquitetura recomendada, onde estes tamanhos foram agrupados, de maneira que, novetamanhos médios diferentes foram investigados dentre um universo de 27 tamanhos decomitê, onde o menor possui 2 componentes base e o maior possui 28 componentes base,como apresentado a seguir:

A proposta inicial era investigar dez indutores diferentes como candidatos a classifi-cador base, dois métodos postulantes a gerador de arquitetura e, a partir da melhor arqui-tetura, estabelecer parâmetros para recomendar o seu melhor tamanho. Três grupos detamanhos foram estabelecidos e investigados, como segue: Primeiramente, ( Pequeno1,Médio2 e Grande3), em um segundo momento ( Pequeno4 e Grande5) e por último, (Pe-queno6, Médio7, Grande8, Muito Grande9). Vale a pena ressaltar que esta definição foiestabelecida com o intuito de não ultrapassar muito o limite dos 25 componentes, umavez que [Kuncheva 2004] afirma que mais de 25 componentes em um comitê não gera

12 a 10 componentes211 a 19 componentes320 a 28 componentes42 a 15 componentes516 a 28 componentes62 a 8 componentes79 a 15 componentes816 a 22 componentes923 a 28 componentes

CAPÍTULO 4. EXPERIMENTOS 39

ganhos significativos. Investigamos tamanhos de 2 a 28 componentes afim de deixarmosuma margem acima deste limite, já comprovado empiricamente [Kuncheva 2004].

A investigação do melhor classificador base com os 10 indutores propostos inicial-mente não se tornou viável, em virtude do tempo com os experimentos associados aosmodelos de rede neural, como detalhado na seção de análise dos resultados. Novos expe-rimentos foram realizados considerando os nove indutores do conjunto de 10 propostosinicialmente. Quanto a investigação da arquitetura, foram utilizados os métodos Bagging

e Boosting como candidatos a melhor estratégica de geração de arquitetura de um comitêhomogêneo.

No protótipo implementado para validação da nossa proposta, 486 configurações decomitês diferentes foram avaliados em 110 conjunto de dados distintos utilizando o mé-todo de amostragem 10-fold-cross-validation. Dos 486 comitês 243 tiveram seus com-ponentes gerados a partir do método Bagging e 243 a partir do método Boosting, sendoformados por 27 configurações de cada tipo de indutor utilizado no classificador base(Árvore de decisão, Decision Stump, Decision Table, Naïve Bayes, K-NN, SVM (Support

Vector Machines), REP Tree, JRip, PART). Cada um desses 27 comitês das arquiteturasBagging e Boosting e tem seu número componentes base configurado iterativamente (va-riando de 2 a 28). No total foram avaliados 486 configurações diferentes de comitês em110 bases de dados relativas a problemas diversos, os quais são apresentados na seçãoseguinte.

4.1.1 Problemas de classificação

Nesta dissertação, trabalhou-se com problemas diversos de classificação. Foram utili-zados 50 problemas originais. Todas as bases de dados destes problemas foram extraídasdo repositório UCI [Asunción & Newman 2007]. Destes 50 problemas originais resulta-ram em 110 conjuntos de dados com características distintas obtidas por meio de técnicasde pré-processamento, como filtro10 do Framework WEKA e divisão dos conjuntos dedados em subconjuntos menores através da combinação das classes. Maiores detalhesrelativos as bases de dados desses problemas, bem como uma descrição das suas carac-terísticas em termos de número de atributos, número de padrões e número de classes ,

10Tais como: weka.filters.supervised.attribute.AttributeSelection, weka.filters.supervised.instance.Resample,weka.filters.unsupervised.instance.RemoveFolds

CAPÍTULO 4. EXPERIMENTOS 40

podem ser encontradas dispostas em tabelas do Apêndice A.

4.1.2 Medidas de Caracterização de Dados

No capítulo 3, algumas abordagens para caracterização de bases de dados utilizadasem meta-aprendizagem foram destacadas. Elas são utilizadas para a geração dos valoresdos meta-atributos de entrada constituintes dos meta-exemplos. Nesta dissertação, foi uti-lizado um grupo de 27 medidas de caracterização calculadas pela Data Caracterization

Tool, disponibilizada pelo Projeto Metal11 que pode ser considerado uma extensão doProjeto Statlog. Para mais detalhes acerca das medidas de caracterização utilizadas nestadissertação vide Capítulo 3, seção 3.1.1 sobre caracterização de dados. Tais medidas sãodescritas a seguir na Tabela 4.1.

4.1.3 Algoritmos de Aprendizagem

Inicialmente, dez diferentes tipos de indutores são investigados (Árvore de decisão,Decision Stump, Decision Table, Naïve Bayes, K-NN, SVM, REP Tree, JRip, PART eRedes neurais RBF ) como postulantes a algoritmo do nível base do comitê. No nívelmeta, foram investigados cinco métodos: Árvore de decisão (J48), KNN, Naïve Bayes,SVM e MLP. Maiores detalhes sobre estes métodos podem ser encontradas no Capítulo2, seção sobre paradigma de aprendizado. No nível base dos comitês, os parâmetros deconfiguração dos algoritmos não foram alterados, sendo mantida a configuração padrãodo Framework WEKA. Detalhes das configurações e implementações desses algoritmospodem ser encontrados em [Witten & Frank 2005] e referências ali contidas.

No nível meta, o método SVM sofreu ajuste no parâmetro (c) de complexidade ondeo valor padrão é 1.0. O melhor desempenho foi observado quando se usou c=5.0. Na con-figuração da rede MLP foram usadas duas camadas escondidas, uma com 40 neurôniose outra com 50. A taxa de aprendizagem usada foi 0.1 e o número de iterações igual a 200.

4.1.4 Aplicação e Avaliação da Meta-aprendizagem

Para que a eficácia da meta-aprendizagem para recomendação de algoritmo seja com-provada se faz necessário mostrar empiricamente que, de fato, o método escolhido foi

11Encontrado em www.metal-kdd.org

CAPÍTULO 4. EXPERIMENTOS 41

Medidas DescriçãoNr-attributes Número total de atributosNr-sym-attributes Número de atributos simbólicosNr-Min Atributo mínimo numéricoNr-Max Atributo máximo numéricoNr-Att-num Número total de atributos numéricosNr-examples Número de exemplosNr-classes Número de classesDefaultAccuracy Acurácia padrãoNr-Eigenvalues Número de autovaloresMissingValues-Total Total de valores faltososMissingValues-Relative

Porcentagem de valores faltosos

Mean-Absolute-Skew Assimetria média absoluta dos atributosMeanKurtosis Curtose média dos atributosNumAttrsWithOutliers Número de atributos com outliersMStatistic Boxian M-Estatística para testar a igualdade de matri-

zes de covariância dos atributos numéricosMStatDF Graus de liberdade do M-StatisticSDRatio A transformação do M-estatístico que avalia as infor-

mações na estrutura de covariância das classesNDiscrimFunct Primeira função discriminanteFract Proporção relativa do poder de discriminação total da

primeira função discriminanteCancor1 Correlação canônica da melhor combinação linear

dos atributos para distinguir entre as classesWilksLambda Poder de discriminação entre as classesClassEntropy Entropia das classesEntropyAttributes Entropia dos atributos simbólicosMutualInformation Informação mútua entre atributos simbólicos e classesJointEntropy Média da Entropia conjunta dos atributos simbólicos

e das classesEquivalent-nr-of-attrs Razão entre entropia das classes e a média da infor-

mação mútua, fornecendo informações sobre o nú-mero de atributos necessários para a classificação

NoiseSignalRatio Relação entre ruído e sinal, indicando a quantidade deinformações irrelevantes para a classificação

Tabela 4.1: Medidas de Caracterização

o melhor e que é capaz diminuir o tempo gasto com experimentação, com deterioraçãoreduzida na qualidade dos resultados.

CAPÍTULO 4. EXPERIMENTOS 42

Em todas as etapas dos experimentos, a medida de avaliação utilizada para seleçãodo melhor algoritmo a ser recomendado foi a acurácia média, em termos de taxa de de-sempenho. Lançamos mão da estratégia de avaliação do arcabouço de amostragem 10-

fold-cross-validation, uma vez que dispomos de uma quantidade razoável de amostras dedados.

4.2 Considerações Finais

Neste capítulo foi apresentada a condução dos experimentos realizados neste trabalho,abordando temas como: condução dos experimentos, problemas de classificação, medi-das de caracterização de dados, algoritmos de Aprendizagem e aplicação e avaliação dameta-aprendizagem. Tais tópicos são importantes para o entendimento de como os expe-rimentos foram realizados.

Capítulo 5

Análise dos Resultados

Neste capítulo, são apresentados e discutidos os resultados observados a partir daabordagem proposta por esta dissertação. Como já mencionado, abordagens de meta-aprendizagem têm sido aplicadas a diversas categorias de problemas. Dentre as aplicaçõesmais comuns, tem-se o problema de gerar regras que tenham a capacidade de relacionar odesempenho de algoritmos de aprendizado de máquina com as propriedades das bases dedados [Brazdil et al. 2009]. Dessa maneira, nossa abordagem reuni em um só arcabouçoconceitual o uso da meta-aprendizagem para recomendação dos melhores parâmetros paraconfiguração de um comitê. Para um melhor entendimento desta pesquisa os resultadossão apresentados na ordem em que os experimentos foram realizados.

Os resultados encontrados neste trabalho serão analisados segundo três perspectivas:

• Classificador Base: investigar o algoritmo de aprendizado de máquina que repre-senta o melhor método utilizado como indutor do comitê, quando seu desempenhoé relacionado com as propriedades das bases de dados. A recomendação será feitadentro do seguinte domínio de métodos classificadores, detalhados no Capítulo 2:(Árvore de decisão, Decision Stump, Decision Table, Naïve Bayes, K-NN, SVM,REP Tree, JRip, PART e rede neural RBF ).

• Estrutura do Comitê: uma vez, de posse do indutor que atuará nos componentesdo comitê, investigar a melhor estrutura deste comitê: Bagging ou Boosting.

• Tamanho da Estrutura do Comitê: diante da melhor estrutura, via meta-aprendizagem,sugerir quais os melhores tamanhos da mesma.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 44

5.1 Resultados para Classificador Base

Durante os experimentos na investigação do melhor classificador base utilizando-seos dez algoritmos propostos inicialmente, percebe-se que a rede RBF não foi adequadapara diversas bases, visto que os problemas de classificação constam de diferentes carac-terísticas, onde em alguns casos o número de padrões e/ou atributos numéricos é bastantesignificativo, como pode ser visto no Apêndice A, fazendo com que os experimentos comeste tipo de indutor ficassem inviáveis por questão de tempo. Diante disso, optou-se porsubstituir a rede RBF por um outro modelo neural, a rede MLP. No entanto, foram en-contradas as mesmas dificuldades observadas na utilização do modelo RBF, limitações detempo, uma vez que a execução dos experimentos com este método foi constatado dema-siadamente demorado, impossibilitando a investigação com o mesmo.

Os resultados observados com a investigação de nove algoritmos postulantes a clas-sificador base não se mostraram razoáveis, a nível de meta-aprendizagem, como poderáser observado na seção que trata dos resultados para meta-aprendizagem. Diante destecontexto, a investigação do melhor método classificador base foi divida em três partes,considerando a proporção de meta-exemplos que cada indutor foi capaz de rotular: (1)com todos os nove indutores; (2) com os seis melhores e (3) com os quatro melhores.Essa divisão se deu em vistas de se ter diferentes números de classes para a meta-baseenvolvida no processo de meta-aprendizagem, uma vez que cada indutor candidato a clas-sificador base é um possível valor de rótulo para os meta-exemplos.

Os índices de acurácia apontam para variação do desempenho dos comitês, a nívelde taxa de acerto de teste, conforme os dados, logo a melhor configuração varia tambémconforme os dados, como afirma [Soares 2004]. Os índices de acurácia de cada um dosindutores investigados neste trabalho, em ternos de taxa média de acerto, podem ser vistosnas Tabelas B.1, B.2, B.3 e B.4 do Apêndice B.

Os resultados para cada grupo de indutor postulante a melhor classificador base sãoapresentados a seguir.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 45

5.1.1 Nove Candidatos a Classificador Base

Diante da inviabilidade do uso dos indutores de modelo neural, os experimentos foramconduzidos com os nove indutores propostos: J48 (AD), Decision Stump (DS), Decision

Table (DT), Naïve Bayes (NB), IBk (KNN), (SVM), REPTree (RT), JRip (JR) e PART(PT). Os resultados obtidos geraram a uma meta-base com nove classes distintas, comoapresentado na Figura 5.1. Como pode ser observado, esta meta-base ficou muito desba-lanceada.

Figura 5.1: Gráfico de distribuição das classes com nove classificadores base.

De maneira geral, o SVM apresentou resultados superiores aos demais algoritmos,destacando-se em 28 problemas de classificação (25,45% dos conjuntos de dados) comíndice de desempenho maior para acurácia média.

A Figura 5.2 mostra um gráfico Box-Plot para os nove indutores candidatos a clas-sificador base, considerando os 110 problemas de classificação. De forma geral, consi-derando o tamanho das caixas, o algoritmo Decision Stump mostrou uma variação maiordo desempenho, enquanto o SVM mostrou uma variação menor. Em alguns conjuntos dedados os algoritmos JR, RT e KNN apresentaram um desempenho muito fraco (evidenci-ando um conjunto de dados em que o JR obteve 39,96%, dois conjuntos de dados em queo RT obteve 16,67% e 35,58% e um conjunto de dados em que o KNN obteve 38,52% deacerto, os quais estão representados no gráfico por pontos espúrios).

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 46

Figura 5.2: Gráfico Box-Plot com as médias das taxas acerto obtidas pelos classificadoresbase.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 47

As porcentagens de meta-exemplos rotulados pelos classificadores são apresentadasna Tabela 5.1.

Tabela 5.1: Porcentagem de meta-exemplos rotulados por cada indutor.DS DT PT JR RT AD KNN NB SVM

2,73% 2,73% 19,09% 9,09% 0,00% 7,27% 21,82% 11,82% 25,45%

Observando a Tabela 5.1 é possível concluir que no conjunto das 110 bases de dadosutilizadas neste trabalho, os seis métodos que se destacaram foram o SVM, KNN, PT,NB e AD, respectivamente, uma vez que estes seis métodos foram os que mais rotularammeta-exemplos dentre os nove métodos investigados. Este grupo de seis métodos serãoavaliados em todas as 110 bases em busca de rotular os 110 meta-exemplos de uma novameta-base referente aos classificadores base. Os resultados são apresentados na seção se-guinte.

5.1.2 Seis Candidatos a Classificador Base

Como a investigação com nove indutores não se mostrou viável a nível de meta-aprendizagem, conforme será visto a seguir na seção dos resultados para os meta-aprendizes,foram investigados os seis indutores que conseguiram rotular um número maior de meta-exemplos. Observando a Tabela 5.1 percebe-se que os métodos que se destacaram foram:PT, JR, AD, KNN, NB e SVM, como já mencionado. A investigação com estes seismétodos produziu a meta-base a qual tem sua distribuição de classes representada pelaFigura 5.3

Pode-se observar a porcentagem de meta-exemplos rotulados pelos seis classificado-res na Tabela 5.2.

Tabela 5.2: Porcentagem de meta-exemplos rotulados por cada indutor.PT JR AD KNN NB SVM

19,09% 12,73% 7,27% 23,64% 11,82% 25,45%

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 48

Figura 5.3: Gráfico de distribuição das classes com seis classificadores base.

As bases de índices 10, 54 e 97, conforme Tabela no Apêndice A, rotuladas anterior-mente pelo método DS e as de índices 03, 34 e 52 rotuladas pelo método DT, que juntos,haviam totalizado 5,46% dos rótulos dos meta-exemplos, nesta análise foram distribuídasentre os métodos JR e KNN (bases de índices 03, 10, 34, 54, e 52, 97, respectivamente).As bases de índices 52 e 97, têm como características comuns o número de classes e otipo de atributos, por exemplo.

Na seção seguinte, é avaliado o grupo de quatro métodos candidatos a classificadorbase. Observando os resultados do grupo de seis indutores, é possível identificar os mé-todos PT, JR, KNN e SVM como aqueles que se destacaram neste grupo, sendo, destamaneira, o grupo de método investigado na seção seguinte.

5.1.3 Quatro Candidatos a Classificador Base

Reduzindo-se um pouco mais o número de classes da meta-base, foram escolhidos osalgoritmos PT, JR, KNN e SVM como possíveis candidatos a rotular os meta-exemplos.A Figura 5.4 mostra a distribuição das classes no caso de se usar quatro algoritmos can-didatos a classificador base.

As porcentagens de meta-exemplos rotuladas por cada algoritmo podem ser vistas naTabela 5.3.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 49

Figura 5.4: Gráfico de distribuição das classes com quatro classificadores base.

Tabela 5.3: Porcentagem de meta-exemplos rotulados por cada indutor.PT JR KNN SVM

25,45% 13,64% 26,36% 34,55%

Neste grupo de métodos candidatos a classificador base, o SVM destaca-se ao ro-tular 34,55% dos 110 conjuntos de dados. Essas 38 bases das quais extraiu-se 38 meta-exemplos, têm como característica um número equilibrado de classes, variando entre duase dez classes, com apenas uma base apresentando 26 classes, que foi a base de índice 83.É importante ressaltar também que dentre essas 38 bases, 20 bases possuem apenas atri-butos numéricos.

5.2 Resultados para Arquitetura

Nesta seção são apresentados os resultados para os métodos de geração de arquiteturahomogênea investigados nesta dissertação, a saber que o método indutor que se destacou

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 50

como classificador base nos 110 conjuntos de dados foi o SVM, como dito anteriormente.Analisaremos o desempenho dos métodos geradores de arquitetura homogênea Bagging eBoosting. Apresentaremos a seguir os resultados para cada um deles de forma individuale a comparação entre eles.

Como o intuito deste trabalho é avaliar o desempenho de técnicas de meta-aprendizagemna seleção dos melhores parâmetros de configuração de um comitê homogêneo, vamosnos deter nas arquiteturas associadas ao conjunto de meta-exemplos que fornece melho-res informações para meta-aprendizagem na recomendação do melhor classificador base.Neste contexto, aqui são apresentados resultados para as arquiteturas geradas para o grupode quatro indutores (PT, JR, KNN e SVM) que se destacaram no domínio dos postulantesa melhor classificador base.

No processo de avaliação das arquiteturas de comitê homogêneo formadas pelos mé-todos Bagging e Boosting e tendo como classificador base os quatro indutores (PT, JR,KNN e SVM), o conjunto de meta-exemplos gerado mostrou-se com a distribuição declasses apresentada na Figura 5.5.

Figura 5.5: Distribuição das Classes da Meta-base Gerada na Investigação da MelhorArquitetura.

As arquiteturas geradas pelo método Boosting se destacaram em 59,09% dos conjuntosde dados. Independentemente de arquitetura o algoritmo que mais rotulou meta-exemplosfoi o SVM, como mencionado anteriormente. Para a arquitetura Bagging o algoritmo

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 51

SVM ganhou em número de meta-exemplos rotulado, 26 meta-exemplos foram rotuladoscom esta arquitetura. Para a arquitetura Boosting foi observado que o algoritmo KNN sedestacou rotulando 26 meta-exemplos. As taxas de acurácia média de cada arquiteturapara todos os classificadores base investigados neste trabalho podem ser encontradas noApêndice B.

5.2.1 Resultados para Bagging

A Figura 5.6 mostra um gráfico box-plot para a arquitetura Bagging ao ser avaliadano conjunto de 110 bases de dados utilizadas nesta pesquisa.

Figura 5.6: Gráfico Box-Plot para arquitetura Bagging.

É possível observar que a arquitetura Bagging, de maneira geral, quando o classi-ficador base utilizado foi JR ou KNN, se mostrou estável. Pode-se verificar também apresença de valores extremos representados por circulos visualizados logo abaixo das li-nhas verticais que mostram o desempenho médio dos métodos JR e KNN. Tais valoresforam observados na base de índice 55 (descrição = postoperative-patient-data) tanto no

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 52

JR quanto no KNN.

5.2.2 Resultados para Boosting

A Figura 5.7 mostra um gráfico box-plot para a arquitetura Boosting ao ser avaliadatendo como classificadores base PT, JR, KNN e SVM.

Figura 5.7: Gráfico Box-Plot para arquitetura Boosting.

Observando o tamanho das caixas, na Figura 5.7, pode-se verificar que o Boosting

alcançou níveis de acurácia, de maneira geral, mais altos que o Bagging.

5.2.3 Comparação entre Bagging e Boosting

A Figura 5.8 apresenta um gráfico comparativo entre as arquiteturas Bagging e Bo-

osting quando avaliadas e tendo em seus componentes base os métodos PT, JR, KNN eSVM.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 53

Figura 5.8: Comparação do Desempenho Médio entre o Bagging e o Boosting.

De maniera geral, em uma comparação do desempenho das arquiteturas dos comitêsquando avaliadas no conjunto de 110 problemas de classificação, percebe-se, observandoa Figura 5.8, que os comitês que se destacaram, a nível de acurácia média, foram aquelesgerados pela arquitetura Boosting para todos os quatro tipos de indutores.

A Tabela 5.4 apresenta o número de meta-exemplos rotulados por cada arquiteturapara cada tipo de indutor base.

Tabela 5.4: Meta-exemplos Rotulados: Bagging Versus Boosting por Algoritmo Base.Alg. Base Bagging Boosting

PT 7 21JR 9 6

KNN 3 26SVM 26 12Total 45 65

Os resultados gerais para as arquiteturas são encontrados organizados em tabelas noApêndice B.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 54

5.3 Resultados Tamanhos da Arquitetura

De posse dos melhores métodos classificadores e dos melhores métodos de geraçãode arquitetura, considerando cada um dos 110 meta-exemplos, os experimentos são con-duzidos em busca do melhor tamanho desta arquitetura.

A proposta inicial foi avaliar três tamanhos de arquitetura, Pequeno, Médio e Grande,conforme já mencionado. Neste caso, os meta-atributos possuem três possibilidades devalores no meta-atributo alvo. Tal avaliação, resultou em uma meta-base distribuída con-forme mostra a Figura 5.9.

Figura 5.9: Gráfico de distribuição das classes com 3 tamanhos de arquitetura.

A Figura 5.10 mostra a acurácia média dos três tamanhos de comitê, considerando as110 bases de dados. A distribuição de classes que resultou nos valores aqui representadospode ser vista na Figura 5.9.

Para um melhor entendimento, o tipo de gráfico escolhido para representar a acuráciamédia para os tamanhos dos comitês usa uma escala continuada, onde cada linha, no eixovertical, representa valores de acurácia entre 0 e 100%. O intuito destes gráficos é mostrar,de forma individual, o comportamento da acurácia média dos comitês ao longo das 110bases de dados.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 55

Figura 5.10: Gráfico da acurácia média dos 3 tamanhos de arquitetura.

Ao utilizar três tamanhos médios diferentes para os comitês, percebe-se que os valoresde acurácia média destes 3 tamanhos tendem a ficar muito próximas umas das outras emdeterminadas bases de dados, como no intervalo de bases de índices 50 a 60, por exemplo,como ilustrado a Figura 5.10, ao apresentar uma certa convergência nos pontos das linhas.

Os resultados com meta-aprendizagem não se mostraram razoáveis, como poderá servisto na seção seguinte que trata dos resultados da meta-aprendizagem. Novos critériosforam estabelecidos para seleção dos tamanhos. Duas novas abordagens foram elabora-das, uma com dois tamanhos e outra com quatro tamanhos médios de um comitê homo-gêneo, segundo critérios já mencionados anteriormente.

A Figura 5.11 mostra a distribuição das classes para dois tamanhos. Apesar de semostrar uma base totalmente desbalanceada, apresentou resultados consideráveis no pro-cesso de meta-aprendizagem, como apresentado na seção seguinte a qual trata dos meta-aprendizes.

Através da Figura 5.12, que apresenta os valores de acurácia média para o critériode dois tamanhos médios de arquitetura, pode-se observar uma maior distinção entre asmédias de acurácia em relação ao grupo de 3 tamanhos investigados inicialmente e apre-sentados na Figura 5.10. Isso pode ser visto pela maior distância entre os pontos de mar-cação das linhas, permanecendo com valores próximos nos dois tamanhos apenas a basede índice 55. Ainda em busca de melhorias nos resultados com a meta-aprendizagem, umterceiro grupo foi estabelecido com 4 tamanhos distintos, como já mencionado no Capí-tulo 3.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 56

Figura 5.11: Gráfico de distribuição das classes com 2 tamanhos de arquitetura.

Figura 5.12: Gráfico da acurácia média dos 2 tamanhos de arquitetura.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 57

Na Figura 5.13 é mostrada a distribuição das classes para quatro tamanhos de comitê.Observa-se aqui, tal qual pode ser observado nas meta-bases para 2 e 3 tamanhos, que ainvestigação de 4 tamanhos resultou em uma meta-base também desbalanceada. Dentreos 3 grupos de tamanhos investigados, esta meta-base se mostra a mais desbalanceada detodas.

Figura 5.13: Gráfico de distribuição das classes com 4 tamanhos de arquitetura

Na Figura 5.14 mostra a acurácia média dos quatro tamanhos de comitê, considerandoas 110 bases de dados.

Figura 5.14: Gráfico da acurácia média dos 4 tamanhos de arquitetura.

Observando a Figura 5.14 é possível constatar, como ocorreu na investigação de 3tamanhos médios, que em alguns pontos do gráfico, onde os pontos das linhas tendem a

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 58

se encontrarem, caracterizando, desta maneira, valores muito próximos de acurácia mé-dia entre os tamanhos. Uma evidência disso, é o ponto o qual identifica a base de índice55, sobre tudo com relação aos tamanhos médio, grande e muito grande, com valores deacurácia média 47,62%, 47,84% e 47,82%, respectivamente.

A seção seguinte apresenta os resultados observados na avaliação da meta-aprendizagemutilizada nesta dissertação.

5.4 Resultados da Meta-aprendizagem para Classifica-dores Base

Nesta seção, são apresentados e comentados os resultados observados no processo demeta-aprendizagem aplicado aos grupos de nove, seis e quatro métodos candidatos a clas-sificador base.

Como já mencionado, a investigação do classificador base se deu, inicialmente, comnove métodos classificadores. Posteriormente, duas novas abordagens foram investiga-das, uma com 6 métodos e outra com 4 métodos candidatos a classificador base.

Como métodos meta-aprendizes foram investigados os algoritmos J48, IBk, NB, SVMe MLP, os quais têm suas características detalhadas no Capítulo 2 que trata sobre aprendi-zado de máquina. Os resultados nesta seção são apresentados na ordem em que os expe-rimentos foram realizados. Os métodos meta-aprendizes foram avaliados em meta-basesgeradas em diferentes situações, como já mencionado anteriormente. Dessa maneira, osresultados observados na meta-aprendizagem, no âmbito das três grupos de classificadorbase são apresentados a seguir.

5.4.1 Meta-aprendizagem com Nove Classificadores Base

Com a proposta inicial, foram investigados, via meta-aprendizagem, nove métodosindutores como postulantes a melhor classificador base, dois métodos geradores de arqui-tetura e três tamanhos médios desta arquiteturas, conforme já mencionado. A Tabela 5.5apresenta os resultados observados no processo de meta-aprendizagem com tal configu-

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 59

ração.

Métodos J48 IBk NB SVM MLPClass. Base 52,00(13,31) 48,00(12,40) 34,45(13,32) 39,00(12,41) 45,55(13,83)Arquitetura 62,73(12,22) 59,91(11,85) 56,09(15,13) 62,82(6,60) 66,45(11,82)Tamanhos 50,27(11,87) 57,82(13,83) 25,18(10,33) 53,18(12,01) 54,55(12,46)

Tabela 5.5: Resultados dos Meta-aprendizes (Nove classificadores base, Duas arquiteturase três tamanhos).

Como pode ser observado na Tabela 5.5 a meta-aprendizagem não apresentou resulta-dos satisfatórios a nível de taxa de acurácia média dos métodos meta-aprendizes. Diantedisso, novas investigações foram realizadas em busca de se obter melhores resultados.Como foi utilizado um número razoavelmente pequeno de meta-exemplos, decidiu-se re-duzir o número de possibilidades de valores no atributo alvo. Foram selecionados então,os seis métodos que mais se destacaram no processo para rotular os meta-exemplos. Osresultados para a meta-base gerada a partir da investigação deste novo conjunto de méto-dos são apresentados a seguir.

5.4.2 Meta-aprendizagem com Seis Classificadores Base

A Tabela 5.6 mostra os resultados observados no processo de meta-aprendizagemquando se utiliza o grupo de seis candidatos a classificador base, como já citados an-teriormente neste capítulo.

Métodos J48 IBk NB SVM MLPClass. Base 54,18(13,04) 48,82(12,50) 35,73(12,41) 39,45(12,54) 46,18(12,37)Arquitetura 67,91(13,01) 61,27(12,10) 55,09(15,00) 58,18(8,47) 58,73(14,06)Tamanhos 51,27(14,65) 56,55(12,96) 24,36(9,40) 58,00(10,56) 55,91(12,75)

Tabela 5.6: Resultados dos Meta-aprendizes (Seis classificadores base, Duas arquiteturase três tamanhos).

É possível observar a partir das Tabelas 5.5 e 5.6 que esta nova abordagem trouxebenefícios a nível de taxa de acurácia média dos métodos meta-aprendizes. Contudo, osresultados ainda não foram satisfatórios, onde o melhor índice de acurácia foi observadocom o algoritmo J48 na meta-base que caracteriza as melhores arquiteturas, 67,91%. Comvistas a melhorar o desempenho dos meta-aprendizes, reduziu-se os métodos para um

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 60

grupo de quatro, considerando os que rotularam um maior número de meta-exemplos nogrupo de seis, como já detalhado na seção dos resultados dos classificadores base nestemesmo capítulo. Os resultados da meta-aprendizagem para a abordagem que investigaquatro indutores como postulantes a classificador base são apresentados a seguir.

5.4.3 Meta-aprendizagem com Quatro Classificadores Base

Comparando os resultados observados com 9 e 6 candidatos a classificador base, osresultados com 4 métodos candidatos foram superiores, contudo ainda não satisfatório,sobretudo no que se refere à base que contém informações sobre os melhores tamanhosda arquitetura. Os resultados observados são apresentados na Tabela 5.7.

Métodos J48 IBk NB SVM MLPClass. Base 64,27(13,57) 53,64(13,77) 34,82(10,50) 39,82(12,78) 46,82(13,51)Arquitetura 74,73(13,15) 63,64(13,18) 51,36(12,55) 56,00(8,25) 60,09(13,23)Tamanhos 52,36(13,86) 54,36(12,79) 42,73(14,82) 52,45(9,66) 49,45(12,94)

Tabela 5.7: Resultados dos Meta-aprendizes (Quatro classificadores base, Duas arquite-turas e três tamanhos).

Em um esforço para melhorar os resultados a nível de taxa de acurácia média dosmeta-aprendizes, algumas técnicas foram aplicadas: redução de dimensionalidade, novosparâmetros de tamanhos médios para a arquitetura e alteração nos parâmetros de algunsmétodos meta-aprendizes. Como a abordagem com quatro tipos de classificadores baseapresentou os melhores resultados na fase de meta-aprendizagem, como mostra a Tabela5.7, todos os esforços para melhorar o desempenho no processo de meta-aprendizagemserão aplicados a esta configuração. Os resultados da meta-aprendizagem com o uso des-tas técnicas são apresentados nas seções seguintes.

5.5 Redução de Dimensionalidade

Três técnicas de redução de dimensionalidade foram aplicadas aos conjuntos de meta-exemplos: redução por árvore de decisão, redução por PCA, um método que tem por fina-lidade básica a redução de dados a partir de combinações lineares das variáveis originais,e redução por um método randômico. Todos os três métodos de redução apresentaram

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 61

uma redução impactante nos atributos das meta-bases. Em media, a árvore de decisãoreduziu os atributos em 45,83%, o método PCA reduziu os atributos das meta-bases em58,33% e o método randômico reduziu em 50% os atributos.

Os resultados da meta-aprendizagem após o uso destas três técnicas são apresentadosa seguir.

5.5.1 Redução por Árvore de Decisão

Na Tabela 5.8 estão os resultados observados na avaliação da meta-aprendizagem apóso uso da redução por árvore de decisão.

Métodos J48 IBk NB SVM MLPClass. Base 62,91(13,22) 54,55(13,43) 36,00(11,55) 32,82(8,94) 43,55(13,93)Arquitetura 73,82(12,87) 63,09(14,08) 56,27(13,90) 59,27(5,85) 62,09(14,51)Tamanhos 57,27(13,52) 58,18(14,90) 30,36(8,09) 40,09(8,48) 41,09(12,43)

Tabela 5.8: Resultados dos Meta-aprendizes (Quatro classificadores base, Duas arquite-turas e três tamanhos) com redução por árvore de decisão.

Como em destaque na Tabela 5.8, observa-se que apenas o método IBK quando avali-ado na meta-base de tamanhos de arquitetura apresentou melhoria significativa, enquantoque os outros métodos quando não tiveram desempenho inferior a abordagem inicial, amelhoria foi mínima.

5.5.2 Redução por PCA

A Tabela 5.9 mostra os resultados observados na avaliação do impacto do uso da re-dução por PCA.

Também a técnica de redução pelo método PCA não produziu benefícios para a meta-aprendizagem.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 62

Métodos J48 IBk NB SVM MLPClass. Base 47,18(14,43) 59,09(12,89) 38,09(11,61) 43,91(11,42) 51,36(13,70)Arquitetura 67,73(13,20) 62,36(13,43) 53,64(13,33) 56,64(6,04) 63,82(14,21)Tamanhos 47,91(13,79) 55,55(12,39) 39,55(16,00) 52,82(10,23) 46,36(13,52)

Tabela 5.9: Resultados dos Meta-aprendizes (Quatro classificadores base, Duas arquite-turas e três tamanhos) com redução por PCA.

5.5.3 Redução por Método Randômico

A Tabela 5.10 apresenta os resultados observados na avaliação do impacto do uso daredução pelo método Randômico.

Métodos J48 IBk NB SVM MLPClass. Base 53,45(15,30) 55,36(12,47) 31,09(7,22) 31,55(8,52) 35,91(13,76)Arquitetura 72,73(13,86) 59,36(13,76) 46,27(9,59) 57,09(5,93) 53,00(13,05)Tamanhos 53,73(15,35) 54,91(13,17) 28,91(8,99) 45,09(7,64) 45,45(13,24)

Tabela 5.10: Resultados dos Meta-aprendizes (Quatro classificadores base, Duas arquite-turas e três tamanhos) com redução por RandonSubSet.

Como pode ser observado nas Tabelas 5.7, 5.8, 5.9 e 5.10 o uso de técnicas de redu-ção de dimensionalidade não produziu melhorias na qualidade das informações contidasnas meta-bases onde os métodos meta-aprendizes foram avaliados, sendo o conjunto demeta-atributos original mais informativo que os reduzidos. Diante deste cenário, buscou-se manipular os dados com vistas a melhorar as informações contidas nos meta-exemplosinformativos do melhor tamanho de uma arquitetura homogênea, estabelecendo novoscritérios para seleção das respectivas faixas de tamanhos, como apresentado na seção se-guinte.

5.6 Novos Tamanhos Médios da Arquitetura

Duas novas abordagens foram implementadas, uma com quatro tamanhos diferen-tes e outra com 2 tamanhos apenas, conforme visto na seção que apresenta os resulta-dos dos tamanhos das arquiteturas. A seção seguinte apresenta os resultados para meta-aprendizagem sem redução da dimensionalidade dos dados e utilizando os novos critériosque estabelecem os novos tamanhos médios das arquiteturas.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 63

Como as técnicas de redução de dimensionalidade não favoreceram o processo demeta-aprendizagem, foram investigados novos critérios para a escolha dos tamanhos mé-dios das arquiteturas. As Tabelas 5.11 e 5.12 apresentam os resultados para 4 e 2 tamanhosde arquiteturas, respectivamente.

Métodos J48 IBk NB SVM MLPTamanhos 43,09(13,09) 49,27(14,28) 20,82(9,07) 52,91(11,44) 45,27(13,61)

Tabela 5.11: Resultados dos Meta-aprendizes (Quatro tamanhos).

Métodos J48 IBk NB SVM MLPTamanhos 76,09(11,53) 72,45(11,30) 70,82(13,45) 75,09(8,03) 70,00(13,15)

Tabela 5.12: Resultados dos Meta-aprendizes (Dois tamanhos).

As melhores taxas de acurácia média para meta-aprendizagem são observados quandose investiga dois tamanhos médios para as arquiteturas. Estes resultados são produzidosutilizando-se os métodos meta-aprendizes em suas configurações padrões encontradas noFramework WEKA.

Ainda em busca de melhorias no desempenho na fase de meta-aprendizagem, alterou-se os parâmetros de configuração da rede MLP e do método SVM. Os melhores resulta-dos, bem como, suas configurações são apresentados na seção seguinte.

5.7 Novas Configurações dos Métodos Meta-aprendizesMLP e SVM

Fazendo uso de ajustes nos parâmetros do SVM e da rede MLP conseguiu-se alcançarmelhores níveis de acurácia nestes métodos em alguns casos. As novas configurações darede MLP apresentou melhorias no processo de avaliação do melhor tamanho de arquite-tura, sem contudo, produzir melhorias no processo de avaliação do melhor classificadorbase e da melhor arquitetura, tendo apresentado um desempenho inferior ao observadocom a configuração padrão deste método no Framework WEKA. Já o método SVM apre-sentou melhorias em relação a recomendação do classificar base e da arquitetura. Osresultados são apresentados a seguir:

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 64

A Tabela 5.13 apresenta os melhores resultados observados no processo de meta-aprendizagem quando aplicadas as novas configurações dos métodos.

Métodos SVM MLPClass. Base 51,09(12,17) 33,09(6,53)Arquitetura 64,36(14,25) 53,82(11,09)Tamanhos 78,82(11,56) 77,64(12,42)

Tabela 5.13: Resultados dos Meta-aprendizes - Nova configuração.

No método SVM foi alterado o parâmetro (c) de complexidade onde o valor padrãoé 1.0 e o parâmetro exponent (E) do método PolyKernel utilizado como Kernel. O parâ-metro c foi variado de 1.0 até 7.0 e o parâmetro E teve seus valores variados de 1.0 até 5.0.

Para avaliação do classificador base os melhores resultados foram observados quandoc=5 e E=5. Na avaliação da arquitetura, o melhor desempenho foi observado com c=7.0 eE=3.0. Já na meta-base que caracteriza os tamanhos da arquitetura, os melhores parâme-tros foram c=3 e E=1.0.

Na configuração da rede MLP foram manipulados o número de iterações: 100, 150,200, 300 e 500 , a taxa de aprendizagem: 0.3 e 0.1, o número de camadas escondidas: de1 a 3, o número de neurônios nas camadas: quando utilizou-se uma camada, iniciando em10 até 50, de 10 em 10; duas camadas: 40 e 50; 3 camadas: 20,30,40.

A melhor configuração do modelo neural se deu quando usadas duas camadas escon-didas, uma com 40 neurônios e outra com 50. A taxa de aprendizagem usada foi 0.1 e onúmero de iterações igual a 200.

5.8 Síntese dos Resultados

É possível observar que a melhor configuração se dá utilizando-se as meta-bases ori-ginais, sem redução de dimensionalidade e usando-se 2 tamanhos médios de arquitetura,como mostra a Tabela 5.14 que apresenta os melhores resultados alcançados no processode meta-aprendizagem.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 65

Métodos J48 IBk NB SVM MLPClass. Base 64,27(13,57) 53,64(13,77) 34,82(10,50) 51,09(12,17) 46,82(13,51)Arquitetura 74,73(13,15) 63,64(13,18) 51,36(12,55) 64,36(14,25) 60,09(13,23)Tamanhos 76,09(11,53) 72,45(11,30) 70,82(13,45) 78,82(11,56) 77,64(12,42)

Tabela 5.14: Resultados dos Meta-aprendizes (Quatro classificadores base, Duas arquite-turas e dois tamanhos).

As três técnicas de redução de dimensionalidade utilizadas nesta pesquisa, redução porárvore de decisão, redução por PCA e redução randômica produziram um efeito um tantoquanto drástico, como mencionado anteriormente, podendo ter influenciado no baixo de-sempenho dos métodos meta-aprendizes quando avaliados nestas condições.

Analisando os resultados observados no processo de meta-aprendizagem para sele-ção do tamanho médio da arquitetura utilizados nesta pesquisa, percebe-se um melhordesempenho quando se tem grupos com maior número de elementos, ou seja, os pioresresultados foram vistos quando se formou quatro grupos de tamanhos e os melhores re-sultados foram obtidos quando se dividiu os tamanhos em apenas dois grupos. É possívelafirmar que os comitês com maior número de componentes se destacaram em relação aosmenores. Isso pode ser observado na distribuição das classes da meta-base que contéminformações sobre os tamanhos.

5.9 Análise Estatística dos Meta-aprendizes

Nesta seção serão utilizadas as configurações que se mostraram superiores em taxa deacurácia, ou seja, meta-bases originais, sem redução de dimensionalidade, quatro métodosclassificadores candidatos a classificador base, dois métodos de geração de arquitetura edois grupos de tamanho médio para arquitetura.

A meta-aprendizagem foi utilizada para avaliar os métodos J48, KNN, NB, SVM eMLP em um processo de escolha de três parâmetros de configuração de um comitê homo-gêneo, como ja mencionado. As comparações entre os desempenhos de cada um dessesmétodos, em cada uma destas etapas, são apresentadas e analisadas nas seções seguintes.

Comparando-se os desempenhos dos métodos avaliados como meta-aprendizes, pode-se observar que o J48 se destaca, de maneira geral, em relação aos demais, nas meta-bases

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 66

que caracterizam os classificadores base e a arquitetura. Já na meta-base que classifica omelhor tamanho de uma arquitetura o método que se sobressai é o SVM, seguido de pertopela rede neural MLP.

Com a finalidade de atestar se as diferenças entre os métodos classificadores são signi-ficativas ou não, foi utilizado o método estatístico Kruskal-Wallis, teste não-paramétrico,conhecido como Teste H, o qual destina-se a comparar três ou mais amostras indepen-dentes do mesmo tamanho ou desiguais. Os resultados do teste estatístico para cada umadas etapas investigadas neste trabalho, classificador base, arquitetura e tamanho da arqui-tetura, são apresentados a seguir.

5.9.1 Classificador Base

A Figura 5.15 apresenta os valores das diferenças entre as médias dos postos obtidoscom o teste estatístico. Tem-se H = 45,2077 e P-valor≈< 0,0001, que por convenção sãoconsiderados extremamente significativos.

Figura 5.15: Comparação entre os Meta-aprendizes ao Avaliarem os Classificadores Base.

Com a aplicação do Teste de Kruskal-Wallis com Student-Newman-Keuls aos paresde métodos tem-se os p-valores como na Tabela 5.15.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 67

Comparações p AnáliseGrupos(1 e 2) 0,0803 Diferença não significativa entre J48 e IBkGrupos(1 e 3) <0,0001 J48 melhor que o NaiveBayesGrupos(1 e 4) 0,0028 J48 melhor que o SVMGrupos(1 e 5) 0,0001 J48 melhor que o MLPGrupos(2 e 3) <0,0001 IBk melhor que o NaiveBayesGrupos(2 e 4) 0,2141 Diferença não significativa entre IBK e SVMGrupos(2 e 5) 0,0066 Diferença significativa entre IBk e MLPGrupos(3 e 4) 0,0017 SVM melhor que o NaiveBayesGrupos(3 e 5) 0,0945 NaiveBayes e MLP estatisticamente semelhantesGrupos(4 e 5) 0,1409 Diferença não significativa entre SVM e MLP

Tabela 5.15: Resultados para Teste de Kruskal-Wallis com Student-Newman-Keuls naAvaliação dos Classificadores Base.

Observando a Figura 5.15 e a Tabela 5.15, os pares de métodos onde os p-valores sãomenores que o nível de significância α = 0,05, é possível afirmar que existe diferençaestatisticamente significativa entre eles, levando a rejeição da hipótese nula, que afirmanão haver diferença entre os métodos.

Diante disso, verifica-se que entre aqueles pares de métodos com diferenças signifi-cativas, estatisticamente, o J48 foi melhor, a nível de acurácia média, porém, de maneirageral, não se pode afirmar, estatisticamente, que o J48 seja melhor que o KNN, pode-seafirmar que no processo de escolha do classificador base os métodos J48 e o KNN sedestacaram como melhores, e estatisticamente são considerados semelhantes.

5.9.2 Arquitetura

Ao analisar a significância estatística existente entre as diferenças de desempenho dosmétodos meta-aprendizes na escolha da melhor arquitetura, usando o Teste de Kruskal-Wallis, temos os resultados como na Figura 5.16, que apresenta os valores das diferençasentre as médias dos postos aferidas com o teste estatístico. Tem-se H = 42,7835 e P-valor≈< 0,0001, que por convenção são considerados extremamente significativos.

Aplicando o Teste de Kruskal-Wallis com Student-Newman-Keuls tem-se os p-valorescomo na Tabela 5.16.

No processo de meta-aprendizagem para recomendação da arquitetura de um comitê

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 68

Figura 5.16: Comparação entre os Meta-aprendizes ao Avaliarem as Arquiteturas.

Comparações p AnáliseGrupos(1 e 2) 0,0089 Diferença significativa entre J48 e IBkGrupos(1 e 3) <0,0001 J48 melhor que o NaiveBayesGrupos(1 e 4) 0,0045 J48 melhor que o SVMGrupos(1 e 5) 0,0002 J48 melhor que o MLPGrupos(2 e 3) <0,0004 IBk melhor que o NaiveBayesGrupos(2 e 4) 0,8240 IBK e SVM estatisticamente semelhantesGrupos(2 e 5) 0,2563 Diferença não significativa entre IBk e MLPGrupos(3 e 4) 0,0010 SVM melhor que o NaiveBayesGrupos(3 e 5) 0,0171 MLP melhor que o NaiveBayesGrupos(4 e 5) 0,3614 Diferença não significativa entre SVM e MLP

Tabela 5.16: Resultados para Teste de Kruskal-Wallis com Student-Newman-Keuls naAvaliação das Arquiteturas.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 69

homogêneo é possível afirmar, apoiados na análise da Figura 5.16 e da Tabela 5.16, que oJ48 é melhor que demais candidatos a meta-aprendiz avaliados nesta pesquisa.

5.9.3 Tamanhos de Arquitetura

Os resultados para avaliação dos meta-aprendizes quanto a escolha do melhor tamanhode uma arquitetura utilizando o método de Kruskal-Wallis pode ser visto na Figura 5.17.O cálculo da estatística H apresentou valor igual a 32,8959 e P-valor≈< 0,0001, que porconvenção são considerados extremamente significativos.

Figura 5.17: Comparação entre os Meta-aprendizes ao Avaliarem os Tamanhos Médiosda Arquitetura.

Aplicando o Teste de Kruskal-Wallis com Student-Newman-Keuls tem-se os p-valorescomo na Tabela 5.17.

Na avaliação da meta-aprendizagem para escolha do melhor tamanho de arquitetura,de maneira geral, o SVM se destaca em relação a taxa de acurácia média, porém é esta-tisticamente semelhante a MLP e ao J48.

CAPÍTULO 5. ANÁLISE DOS RESULTADOS 70

Comparações p AnáliseGrupos(1 e 2) 0,0324 J48 melhor que o IBkGrupos(1 e 3) 0,0016 J48 melhor que o NaiveBayesGrupos(1 e 4) 0,1141 Diferença não significativa entre J48 e SVMGrupos(1 e 5) 0,3574 Diferença não significativa entre J48 e MLPGrupos(2 e 3) 0,3077 Diferença não significativa entre IBk e NaiveBayesGrupos(2 e 4) 0,0002 SVM melhor que o IBkGrupos(2 e 5) 0,0022 Estaticamente MLP melhor que IBkGrupos(3 e 4) < 0,0001 Diferença significativa entre NaiveBayes e SVMGrupos(3 e 5) < 0,0001 Diferença significativa entre NaiveBayes e MLPGrupos(4 e 5) 0,5095 Diferença não significativa entre SVM e MLP

Tabela 5.17: Resultados para Teste de Kruskal-Wallis com Student-Newman-Keuls naAvaliação dos Tamanhos da Arquitetura.

5.10 Considerações Finais

Neste capítulo foram apresentados os resultados observados ao longo desta disser-tação. Foram analisados os resultados obtidos com os experimentos que avaliaram aaplicação de técnicas de meta-aprendizagem na escolha de parâmetros de um comitê ho-mogêneo. Os parâmetros investigados foram classificador base, método de arquitetura etamanho médio de uma arquitetura.

Foi observado que, de maneira geral, para seleção dos classificador base e da arqui-tetura, o método J48 se destaca como melhor método meta-aprendizes. Na seleção domelhor tamanho de uma arquitetura o método que se destacou foi o SVM, seguido deperto pela modelo neural MLP e pelo J48, ao ponto de serem considerados, estatistica-mente semelhantes para esta tarefa.

Capítulo 6

Considerações Finais

Neste trabalho foi realizado um estudo da aplicação de técnicas de meta-aprendizagemna escolha dos parâmetros de configuração de um comitê homogêneo: classificador base,da arquitetura e tamanho médio da arquitetura.

Este estudo foi motivado pela existência de um grande número de métodos classifi-cadores e uma variada gama de problemas existentes no universo e pelo fato de nenhummétodo ser suficientemente bom para qualquer tipo de problema, fazendo com que a es-colha de um desses parâmetros seja uma tarefa bastante árdua. Além disso, é notávelum crescente aumento no interesse pela área de aprendizado de máquina, sobre tudo emtarefas de classificação através dos comitês de máquina.

Foram investigados nove métodos classificadores como postulantes a classificadorbase e dois métodos candidatos a gerador de arquitetura. Foram avaliados 27 tamanhosdiferentes de comitês para cada método, onde o menor comitê é composto de 2 componen-tes e o maior de 28 componentes. No processo de meta-aprendizagem foram investigadoscinco métodos classificadores como candidatos a melhor meta-aprendiz.

O objetivo geral deste trabalho foi a investigação dos melhores parâmetros de confi-guração da arquitetura de comitês de classificadores via meta-aprendizagem aplicados aproblemas diversos.

De modo geral, conclui-se que as técnicas de meta-aprendizagem são viáveis no pro-cesso de escolha dos parâmetros de configuração de um comitê. Os métodos J48 e SVMse destacaram no processo de meta-aprendizagem, onde mostraram-se superiores. Nasabordagens de recomendação do classificador base e arquitetura o J48 foi consideradoestatisticamente melhor e na recomendação do melhor tamanho da arquitetura o SVM foi

CAPÍTULO 6. CONSIDERAÇÕES FINAIS 72

melhor.

A principal contribuição deste trabalho foi a investigação empírica do uso de técnicasde meta-aprendizagem na escolha dos parâmetros de configuração de um comitê.

A proposta foi validade por meio de diversos experimentos e análises apresentadosno Capítulo 5. Os resultados obtidos e apresentados mostram evidência significativas doêxito desta abordagem.

6.1 Trabalhos Futuros

A investigação realizada neste trabalho ainda pode ser expandida. Dessa maneira,alguns trabalhos futuros possíveis são:

• Comitês Heterogêneos: investigar a aplicação de técnicas de meta-aprendizagemna escolha dos parâmetros de configuração de comitês heterogêneos.

• Parâmetros dos Classificadores Base: investigar a aplicação de técnicas de meta-aprendizagem na escolha dos parâmetros de configuração dos métodos classifica-dores base de comitês heterogêneos.

• Outras Medidas de Caracterização: Utilizar outras medidas de caracterizaçãodos dados, uma vez que esta tem um impacto direto na qualidade da meta-aprendizagem.

• Aumentar a quantidade de bases: utilizar um número maior de bases dados, comvistas a diversificar ainda mais as características dos problemas.

Referências Bibliográficas

Abreu, M. (2006), Analisando o desempenho do classage: Um sistema multiagente paraclassificação de padrões, Dissertação de mestrado, UFRN, DIMAp, Natal, RN.

Aha, D. W., D. Kibler & M. K Albert (1991), ‘Instance-based learning algorithms’, Mach.

Learn, Kluwer Academic Publishers, Hingham, MA, USA, v. 6, n. 1, p. 37-66, 1991.

ISSN 0885-6125. .

Asunción, A. & D. J Newman (2007), ‘Uci machine learning repository.http://ics.uci.edu/ mlearn/mlrepository.html’.

Baranauskas, J. A. & M. C Monard (2003), ‘Indução de regras e árvores de decisão:’, em

Rezende, Solange Oliveira. Sistemas Inteligentes - Fundamentos e Aplicações. Cap.

5. 1. ed. Manole, Barueri, SP .

Bauer, E. & R. Kohavi (1998), ‘An empirical comparison of voting classification algo-rithms: Bagging, boosting, and variants.’, Machine Learning. (disponível a partir

de: http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.33.353) .

Bensusan, H. & A. Kalousis (2001), ‘Estimating the predictive accuracy of a classifier’,EMCL 01: Proceedings of the 12th European Conference on Machine Learning, p.

25-36, London, UK. Springer-Verlag. .

Bensusan, H., C. Giraud-Carrier & C. Kennedy (2000), ‘A higher-order approach to meta-learning’, Proceedings of the ECML 2000 workshop on Meta-Learning: Building

Automatic Advice Strategies for Model Selection and Method Combination, p. 109-

117. ECML 2000. .

Bensusan, Hilan & Christophe Giraud-Carrier (2000), ‘Casa batlo is in passeig de gra-cia or landmarking the expertise space’, Proceedings of the ECML?2000 workshop

on Meta-Learning: Building Automatic Advice Strategies for Model Selection and

Method Combination, p. 29?47. ECML?2000 .

Bishop, M. C (1995), ‘Neural networks for pattern recognition’, Oxford University .

73

REFERÊNCIAS BIBLIOGRÁFICAS 74

Brazdil, P., C. Giraud-Carrier, C. Soares & R. Vilalta (2009), Metalearning: Applications

to Data Mining, Cognitive Technologies. Springer.

Breiman, L. (1996), ‘Bagging predictors’, Mach. Learn., Kluwer Academic Publishers,

Hingham, MA, USA, v. 24, n. 2, p. 123-140, 1996. ISSN 0885-6125. .

Brodley, C. E. (1995), ‘Recursive automatic bias selection for classifier construction’,Mach. Learn., v.20, n.1-2, p.63-94. .

Burges, Christopher J.C. (1998), ‘A tutorial on support vector machines for pattern recog-nition’, Data Mining and Knowledge Discovery v2 pag. 121-167 .

Canuto, A. M.P. (2001), Combining neural networks and Fuzzy logic in character recog-

nition, University of Kent.

Canuto, Anne. M. P., Lucas. de M. OLIVEIRA, João C. Xavier JR., Araken de M. SAN-TOS & Marjory C.C. ABREU (2005), ‘Performance and diversity evaluation in hy-brid and non-hybrid structures of ensembles.’, In: Procs. of the Fifth International

Conference on Hybrid Intelligent Systems. [S.l.: s.n.], 2005. p. 285-290. .

Canuto, Anne M. P., Marjory C. C. Abreu, Lucas de Melo Oliveira, João Carlos XavierJr. & Araken M. Santos (2007), ‘Investigating the influence of the choice of theensemble members in accuracy and diversity of selection-based and fusion-basedmethods for ensembles’, Pattern Recognition Letters 28(4): 472-486, .

Caruana, R. & A. Niculescu-Mizil (2006), ‘An empirical comparison of supervised le-arning algorithms’, ICML 06: Proceedings of the 23rd international conference on

Machine learning, p. 161-168, New York, NY, USA. ACM Press. Citado na página

52. .

Cheeseman, P. & J. Stutz (1996), ‘Bayesian classification (autoclass): theory and resultsadvances in knowledge discovery and data mining’, American Association for Arti-

ficial Intelligence, Menlo Park, CA, USA, p. 153-180, 1996 .

Coelho, André Luiz Vasconcelos (2004), Evolução, simbiose e hibridismo aplicados à en-genharia de sistemas inteligentes modulares: investigação em redes neurais, comitêsde máquinas e sistemas multiagentes, Tese de doutorado, Universidade de Campi-nas. DCA-FEEC-UNICAMP., Campinas, SP.

REFERÊNCIAS BIBLIOGRÁFICAS 75

Coelho, Guilherme Palermo (2006), Geração, seleção e combinação de componentes paraensembles de redes neurais aplicadas a problemas de classificação, Dissertação demestrado, Unicamp.SP, São Paulo, Brasil.

Cohen, w. W. (1995), ‘Fast effective rule induction’, in: Twelfth International Conference

on Machine Learning p. 115-123 .

de Moraes Lima, Clodoaldo Aparecido (2004), Comitê de Máquinas: Uma Aborda-

gem Unificada Empregando Máquinas de Vetores-Suporte, Tese de doutorado, UNI-CAMP, FEEC, Campinas.

de Oliveira, Diogo Fagundes (2008), Dilema da diversidade-acurácia: Um estudo empí-rico no contexto de multiclassificadores, Dissertação de mestrado, UFRN, DIMAp,Natal, Brasil.

de Souza, Bruno Feres (2010), Meta-aprendizagem aplicada à classificação de dados deexpressão gênica, Tese de doutorado, USP-São Carlos.

Dietterich, T. G (2000), ‘Ensemble methods in machine learning’, Procs. of the First In-

ternational Workshop on Multiple Classifier Systems. London, UK: Springer-Verlag.

p.1-15 .

Efron, B. & R. J. Tibshirani (1993), ‘An introduction to the bootstrap. [s.l.: s.n.]’.

Frank, E. & I. H. Witten (1998), ‘Generating accurate rule sets without global optimi-zation’, ( In: ICML 98: Proceedings of the Fifteenth International Conference on

Machine Learning. San Francisco, CA, USA: Morgan Kaufmann Publishers Inc.,

1998. p. 144-151. ISBN 1-55860-556-8 .

Freund, Y. & R. E. Schapire (1995), ‘A decision-theoretic generalization of on-line le-arning and an application to boosting’, EuroCOLT 95: Proceedings of the Second

European Conference on Computational Learning Theory. London, UK: Springer-

Verlag, 1995. p. 23-37. ISBN 3-540-59119-2. .

Freund, Y. & R. E. Schapire (1999), ‘A short introduction to boosting’, Japonese

Society for Artificial Intelligence, v. 14, n. 5, p. 771-780, 1999.Disponível em:

<http://citeseerx.ist.psu.edu/viewdoc/summary doi=10.1.1.41.5846>. .

Freund, Y.and Shapire, R. (1996), ‘Experiments with a new boosting algorithm.’, Procee-

dings of the Thirteenth International Conference on Machine Learning, pp. 149-156.

Morgan Kaufmann .

REFERÊNCIAS BIBLIOGRÁFICAS 76

Friedman, J., T. Hastie & R. Tibshirani (2000), ‘Additive logistic regression: a statisti-cal view of boosting (with discussion and a rejoinder by the authors)’, Annals of

Statistics, vol. 28, no. 2, pp. 337-407, .

Gama, J. M. P. (1999), Combining Classification Algorithms, Tese de doutorado, Facul-dade de Ciências da Universidade do Porto, Departamento de Ciências de Compu-tadores., Porto, Portugal.

Giraud-Carrier, Christophe (2008), ‘Metalearning - a tutorial.’, In: Procs. of The Seventh

International Conference on Machine Learning and Applications (ICMLA’08), San

Diego, California,USA .

Hansen, L. K. & P Salamon (1990), ‘Neural network ensembles’, IEEE Transactions

Pattern Analysis and Machine Intelligence, v. 12, n. 10, p. 993-1001 .

Haykin, S (1999), Neural networks: A comprehensive foundation, 2a Ed., Prentice Hall.

Haykin, S (2001), Redes Neurais, Princípios e Práticas, Editora Bookman.

Inoue, H. & Narihisa (2004), ‘Effective online pruning method for ensemble self-generating neural networks’, Proceedings of the 47th Midwest Symposium on Cir-

cuits and Systems, (pp.85-88). Hiroshima, Japan .

John, G. & P Langley (1995), ‘Estimating continuous distributions in bayesian classi-fiers’, Proceedings of the Eleventh Conference on Uncertainty in Artificial Intelli-

gence. [S.l.]: Morgan Kaufmann,. p. 338-345. .

Kalousis, A. (2002), Algorithm Selection via Meta-Learning., Tese de doutorado, Cen-tre Universiteire d’Informatique, Université de Genève, Geneva, Suíça. Citado naspáginas 39, 43, 53, 66, 68, e 79.

Koepf, C., C. C. Taylor & J. Keller (2000), ‘Meta-analysis: From data characterisationfor meta-learning to meta-regression’, Brazdil, P.; Jorge, A., editores, Proceedings

of the PKDD-00 Workshop on Data Mining, Decision Support,Meta-Learning and

ILP: Forum for Practical Problem Presentation and Prospective Solutions, Lyon,

France. .

Kohavi, R (1995), ‘The power of decision tables’, Proceedings of the 8th European Confe-

rence on Machine Learning. London, UK: Springer-Verlag, 1995. p. 174-189. ISBN

3-540-59286-5. .

REFERÊNCIAS BIBLIOGRÁFICAS 77

Kuncheva, L. I (2000), ‘Clustering-and-selection model for classifier combina-tion’, Knowledge-Based Intelligent Engineering Systems and Allied Technolo-

gies,Proceedings.Fourth International Conference on. [s.n.]. v. 1, p. 185-188. .

Kuncheva, Ludmila I. (2004), Combining Pattern Classifiers, Methods and Algorithms,John Wiley and Sons, Inc., Hoboken, New Jersey.

Leite, Rui Manuel Santos Rodrigues (2007), Seleção de Algoritmos de Classificação:Caracterização Iterativa Baseada no Desempenho em Amostras, Tese de doutorado,Faculdade de Ciências da Universidade do Porto, Departamento de Ciência de Com-putadores.

Luger, G. F (2004), Inteligência Artificial:Estruturas e estratégias para a solução de

problemas complexos, 4. ed. Editora BOOKMAN [S.l.].

Martin, Sewell (2008), ‘Ensemble learning’, University of Cambridge .

Michie, D., D. J. Spiegelhalter, C. C. Taylor & editores Campbell, J. (1994), ‘Machinelearning, neural and statistical classification’, Ellis Horwood, Upper Saddle River,

NJ, USA. Citado nas páginas 4 e 42. .

Mitchell, T. (1997), Machine Learning, McGraw-Hill Science/Engineering/Math. Citadonas páginas 4, 23, 25, 26, 29, 32, e 39.

Monard, M. & J. Baranauskas (1991), ‘Conceitos sobre aprendizado de máquina.’, In: S.

Rezende, Sistemas Inteligentes: Fundamentos e Aplicações (pp. 89-114). São Paulo:

Manole .

Nascimento, Diego Silveira Costa (2009), Configuração heterogênea de ensembles declassificadores: Investigação em bagging, boosting e multiboosting, Dissertação demestrado, Universidade de Fortaleza. UNIFOR., Fortaleza, CE.

Park, J. & I. W. Sandberg (1991), ‘Universal approximation using radial-basis-functionnetworks’, Neural Camputation, v3,pp.246-257 .

Perrone, M. P. & L. N Cooper (1993), ‘When networks disagree: Ensemble method forneural networks’, In R. J. Mammone (Ed.) Neural Networks for Speech and Image

Processing, (pp. 126 142). Chapman-Hall .

Pfahringer, B., H. Bensusan & C. Giraud-Carrier (2000), ‘Metalearning by landmarkingvarious learning algorithms’, In Proceedingsof the Seventeenth International Confe-

rence on Machine Learning, 743-750. .

REFERÊNCIAS BIBLIOGRÁFICAS 78

Quinlan, J. R (1992), ‘Learning with continuous classes. in: . [s.l.]: World scientific,1992. p. 343-348.’.

Quinlan, J. R (1993), ‘C4.5: programs for machine learning.’, San Francisco, CA, USA:

Morgan Kaufmann Publishers Inc., 1993. ISBN 1-55860-238-0 .

Rezende, S. O (2003), Sistemas Inteligentes: Fundamentos e aplicações, Baurueri - SP:[s.n.], São Paulo.

Rice, J. R. (1976), ‘The algorithm selection problem’, Advances in Computers, v.15, p.65-

118.. .

Santana, Laura Emmanuella Alves (2008), Uma análise comparativa entre sistemas decombinação de classificadores com distribuição vertical dos dados, Dissertação demestrado, UFRN, DIMAp, Natal, RN, Brasil.

Saranli, A. & M Demirekler (2001), On output independence and complementariness inrank-based multiple classifier decision systems. patter recognition, Dissertação demestrado, Middle East Technical University, Ankara, Turkey.

Schapire, R. E. (1990), ‘The strength of weak learn ability.’, Machine Learning, vol. 5, no

2, pp. 197-227, .

Schmidhuber, J. Zhao & M. Wiering (1996), ‘Simple principles of meta-learning’, Tech-

nical Report IDSIA-69-96 .

Sharkey, A. J. C. (1999), ‘Combining artificial neural nets: Ensemble and modular multi-net systems’, Springer-Verlag, London, 1999 .

Sharkey, A. J. C., N. E. Sharkey & G. O. Chandroth (1996), ‘Neural nets and diversity’,Neural Computing and Application, vol 4, pp. 218-227 .

Soares, C. (2004), Learning Rankings of Learning Algorithms: Recommendation ofAlgorithms with Meta-Learning, Tese de doutorado, Departamento de Ciência daComputação, Faculdade de Ciências da Universidade do Porto, Porto, Portugal.

Soares, C., P. B. Brazdil & P. Kuba (2004), ‘A meta-learning method to select the kernelwidth in support vector regression’.

REFERÊNCIAS BIBLIOGRÁFICAS 79

Soares, C. & P. Brazdil (2000), ‘Zoomed ranking: Selection of classification algorithmsbased on relevant performance information’, PKDD 00: Proceedings of the 4th Eu-

ropean Conference on Principles of Data Mining and Knowledge Discovery, p. 126-

135, London, UK. Springer-Verlag. Citado na página 52. .

Soares, R. G. F., A. Santana, Anne. M. P. Canuto & Marcílio C. P. Souto (2006), ‘Usingaccuracy and diversity to select classifiers to build ensembles’, In: Procs. of the

IEEE International Joint Conference on Neural Networks. [S.l.]. p.1310-1316 .

Sollich, P. & A Krogh (1996), ‘with ensembles: How overfitting can be useful’, Advances

in Neural Information Processing Systems, v. 8, p. 190-196 .

Tavares, L. G., H. S. Lopes & C. R. E Lima (2007), ‘Estudo comparativo de métodos deaprendizado de máquina na detecção de regiões promotoras de genes de escherichiacoli’, Anais do I Simpósio Brasileiro de Inteligência Computacional, p. 8-11, .

Valentini, G. & F Masulli (2002), ‘Ensembles of learning machines’, Springer, v. 2486, p.

3-19, .

Vilalta, R., C. Giraud-Carrier & P. Brazdil (1995), ‘Data mining and knowledge.discoveryhandbook: A complete guide for practitioners and researchers,chapter meta-learning: Concepts and techniques, p. 1-17.’, Kluwer Academic Publishers. .

Vilalta, R., C. Giraud-Carrier & P. Brazdil (2005), Data Mining and Knowledge, Dis-covery Handbook: A Complete Guide for Practitioners and Researchers, chapterMeta-Learning: Concepts and Techniques, p. 1-17. Kluwer Academic Publishers.

Vilalta, R. & Y. Drissi (2002), ‘A perspective view and survey of metalearning’, Journal

of Artificial Intelligence Review. p. 77-95 .

Witten, I. H. & E. Frank (2005), ‘Data mining: Practical machine learning tools andtechniques with java implementations’, (2nd Edition ed.). Elsevier .

Zhou, Z. H., J. Wu & W. Tang (2002), ‘Ensembling neural networks: Many could bebetter than all.’, Artificial Intelligence, 137(1-2), 239-263 .

Zhou, Z. H. & Y Jiang (2003), ‘Medical diagnosis with c4.5 rule preceded by artificialneural network ensemble’, IEEE Transactions on Information Technology in Biome-

dicine, 7(1), 37-42 .

REFERÊNCIAS BIBLIOGRÁFICAS 80

Zhou, Z. H., Y. Jiang, Y. B. Yang & S. F Chen (2000), ‘Lung cancer cell identificationbased on neural network ensembles.’, Artificial Intelligence in Medicine, 24(1), 25-

36. .

Apêndice A

Problemas de Classificação

A.1 Descrição das Bases de Dados

Id Nome Descrição1 ecoli Avalia oito tipos diferentes de proteínas

2 anneal Avalia características da têmpera em metais

3 anneal.ORIG Avalia características da têmpera em metais

4 arrhythmia Diferencia pacientes de acordo com a pre-sença ou ausência de arritmia cardíaca

5 audiology Avalia testes de audiologia a partir do con-junto de dados de Baylor.

6 balance-scale Escala de equilíbrio de peso e distância

7 balance-scale12 Escala de equilíbrio de peso e distância

8 balance-scale13 Escala de equilíbrio de peso e distância

9 balance-scale23 Escala de equilíbrio de peso e distância

10 breast-cancer Busca identificar a presença de tumores emmamas, que pode ser benignos ou malignos.

11 breast-w Banco de Dados Câncer de Mama de Wiscon-sin

12 bupa Avaliação de exames de sangue relacionadosao consumo excessivo de álcool em homens

13 car Avalia modelos de carros, considerando al-guns atributos como preço, tecnologia e con-forto.

Continua na próxima página

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 82

Tabela A.1 – continuação da página anteriorId Nome Descrição14 car12 Avalia modelos de carros, considerando al-

guns atributos como preço, tecnologia e con-forto

15 car13 Avalia modelos de carros, considerando al-guns atributos como preço, tecnologia e con-forto

16 car14 Avalia modelos de carros, considerando al-guns atributos como preço, tecnologia e con-forto

17 car23 Avalia modelos de carros, considerando al-guns atributos como preço, tecnologia e con-forto

18 car24 Avalia modelos de carros, considerando al-guns atributos como preço, tecnologia e con-forto

19 ecoliAttSelect Avalia oito tipos diferentes de proteínas

20 colic.ORIG Avalia se cólicas em cavalos são originadas apartir de lesões cirúrgicas

21 credit-a dados para analise o perfil de clientes paraprovar ou não aquisição de cartão de crédito

22 credit-g avalia risco de crédito pessoal em bom ouruim.

23 cylinder-bands Usado na indução de árvore de decisão paraatrasos no processo de mitigação conhecidocomo "bandas de cilindro"em rotogravura

24 diabetes A partir de medidas fisiológicas e e testes clí-nicos, diagnostica a presença ou não de dia-betes

25 flags Esta base de dados contém detalhes de váriasnações e suas bandeiras

26 glass Identifica o tipo de vidro a partir de caracte-rísticas físicas da amostra

Continua na próxima página

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 83

Tabela A.1 – continuação da página anteriorId Nome Descrição27 haberman Analisa a sobrevida de pacientes submetidos

à cirurgia de câncer de mama.

28 heart-c Diagnostica a presença ou ausência de riscode doença coronária a partir dos resultados devários testes clínicos.

29 heart-h Diagnostica a presença ou ausência de riscode doença coronária a partir dos resultados devários testes clínicos.

30 heart-statlog Diagnostica a presença ou ausência de riscode doença coronária a partir dos resultados devários testes clínicos.

31 hepatitis Identifica, dentre os pacientes com hepatite,quais irão falecer

32 hypothyroid Avalia doenças da tireóide em: hipotireoi-dismo, hipotireoidismo primário, compen-sado,secundário ou negativo.

33 hypothyroid12 Avalia doenças da tireóide em: hipotireoi-dismo ou hipotireoidismo primário.

34 hypothyroid13 Avalia doenças da tireóide em: hipotireoi-dismo ou hipotireoidismo compensado.

35 hypothyroid23 Avalia doenças da tireóide em: hipotireoi-dismo primário ou compensado.

36 ionosphere Classifica sinais de radar provenientes da io-nosfera

37 iris Classifica a planta íris a partir do formato dasua folha

38 kdd-synthetic-control dados de gráficos de controle gerados sinteti-camente

39 kr-vs-kp Final de jogo de xadrez - Rei Torre versus ReiPeão. O peão em a7 significa que está a umquadrado de distância do Rei.

Continua na próxima página

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 84

Tabela A.1 – continuação da página anteriorId Nome Descrição40 labor Os dados incluem todos os acordos coletivos

feitos nos serviços pessoais para os setoreslocais com pelo menos 500 membros no Ca-nadá em 87 e no primeiro trimestre de 88.

41 letter2c base de dados de imagem de caracteres. Tentaidentificar a letra

42 letter3c base de dados de imagem de caracteres. Tentaidentificar a letra

43 letter4c base de dados de imagem de caracteres. Tentaidentificar a letra

44 liver-disorders Analisa testes de sangue visando obter infor-mações sobre doenças do fígado que podemsurgir a partir do consumo excessivo de ál-cool.

45 lymph Este é um dos três domínios fornecidos peloInstituto de Oncologia, que tem repetida-mente aparecido na literatura de aprendizadode máquina

46 lymph13 Este é um dos três domínios fornecidos peloInstituto de Oncologia, que tem repetida-mente aparecido na literatura de aprendizadode máquina

47 lymph23 Este é um dos três domínios fornecidos peloInstituto de Oncologia, que tem repetida-mente aparecido na literatura de aprendizadode máquina

48 mfeat-karhunen Este conjunto de dados consiste de caracte-rísticas de numerais manuscritos (0− 9). 64Karhunen-Love coeficients

49 mfeat-morphological Este conjunto de dados consiste de caracte-rísticas de numerais manuscritos (0−9). seiscaracterísticas morfológicas

Continua na próxima página

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 85

Tabela A.1 – continuação da página anteriorId Nome Descrição50 mfeat-zernike Este conjunto de dados consiste de caracte-

rísticas de numerais manuscritos (0− 9). 47momentos Zernike

51 monks-3 Resultados da comparação entre vários algo-ritmos de aprendizagem

52 nursery24 Foi derivado de um modelo de decisão hierár-quica originalmente desenvolvido para apli-cações de classificação para as creches

53 nursery35 Foi derivado de um modelo de decisão hierár-quica originalmente desenvolvido para apli-cações de classificação para as creches

54 page-blocks O problema consiste em classificar todos osblocos do layout da página de um documentoque foi detectado por um processo de seg-mentação.

55 postoperative-patient-data A tarefa de classificação desta base de dadosé determinar para onde os pacientes na áreade recuperação pós-operatória deve ser envi-ados.

56 primary-tumor Este é um dos três domínios fornecidos peloInstituto de Oncologia, que tem repetida-mente aparecido na literatura de aprendizadode máquina

57 segment Analisa pixels de imagens tiradas ao ar livreclassificando os tipos de segmentos

58 sick Classifica a presença ou ausência de tireoidi-ana

59 sonar Distingui entre materiais metálicos ou rocho-sos de acordo com os níveis de intensidade desinais de sonar enviados sob diferentes condi-ções

Continua na próxima página

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 86

Tabela A.1 – continuação da página anteriorId Nome Descrição60 soybean Base de dados que analisa uma famosa do-

ença presente na soja

61 sponge Base de dados que classifica esponjas mari-nhas do Atlântico e Mediterrânico que per-tencem a O. Hadromerida

62 tae Os dados consistem em avaliações de de-sempenho docente ao longo de três semes-tres regulares e dois semestres de verão de151 assistentes de ensino do Departamentode Estatística da Universidade de Wisconsin-Madison

63 tae12 Os dados consistem em avaliações de de-sempenho docente ao longo de três semes-tres regulares e dois semestres de verão de151 assistentes de ensino do Departamentode Estatística da Universidade de Wisconsin-Madison

64 tae13 Os dados consistem em avaliações de de-sempenho docente ao longo de três semes-tres regulares e dois semestres de verão de151 assistentes de ensino do Departamentode Estatística da Universidade de Wisconsin-Madison

65 tae23 Os dados consistem em avaliações de de-sempenho docente ao longo de três semes-tres regulares e dois semestres de verão de151 assistentes de ensino do Departamentode Estatística da Universidade de Wisconsin-Madison

66 tic-tac-toe Tem por objetivo a classificação binária daspossíveis combinações no jogo da velha

Continua na próxima página

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 87

Tabela A.1 – continuação da página anteriorId Nome Descrição67 vehicle Classifica uma dada silhueta 2D dentre qua-

tro tipos de veículos usando um conjunto deatributos físicos

68 vehicle12 Classifica uma dada silhueta 2D dentre qua-tro tipos de veículos usando um conjunto deatributos físicos

69 vehicle13 Classifica uma dada silhueta 2D dentre qua-tro tipos de veículos usando um conjunto deatributos físicos

70 vehicle14 Classifica uma dada silhueta 2D dentre qua-tro tipos de veículos usando um conjunto deatributos físicos

71 vehicle23 Classifica uma dada silhueta 2D dentre qua-tro tipos de veículos usando um conjunto deatributos físicos

72 vehicle24 Classifica uma dada silhueta 2D dentre qua-tro tipos de veículos usando um conjunto deatributos físicos

73 vehicle34 Classifica uma dada silhueta 2D dentre qua-tro tipos de veículos usando um conjunto deatributos físicos

74 vote Avalia os votos da Câmara de Representantesnos E.U.A. se foram realizados por um repu-blicano ou um democrata

75 vowel Base de dados para reconhecimento de voz.

76 waveform-12 Base de dados sobre o domínio de forma deonda

77 waveform-13 Base de dados sobre o domínio de forma deonda

78 waveform-23 Base de dados sobre o domínio de forma deonda

Continua na próxima página

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 88

Tabela A.1 – continuação da página anteriorId Nome Descrição79 waveform-5000 Base de dados sobre o domínio de forma de

onda

80 weather Previsão de jogar golfe ou não baseada emalgumas informações meteorológicas simples

81 hill-valley avalia funcoes se sao colinas ou vales, comformato suave. Usualmente usado para trei-namento

82 hill-valleyTest avalia funcoes se sao colinas ou vales, comformato suave. Usualmente usado para teste

83 letter-RemoveFolds base de dados de imagem de caracteres. Tentaidentificar a letra

84 mfeat-factors-Att-Sel Este conjunto de dados consiste de caracte-rísticas de numerais manuscritos (0−9). 216correlações perfil

85 mfeat-fourier-Att-Sel Este conjunto de dados consiste de caracte-rísticas de numerais manuscritos (0− 9). 76coeficientes de Fourier das formas de carac-teres

86 mfeat-pixel-Att-Sel Este conjunto de dados consiste de caracte-rísticas de numerais manuscritos (0−9). 240médias de pixel em janelas 2x3

87 nursery-Resample Foi derivado de um modelo de decisão hierár-quica originalmente desenvolvido para apli-cações de classificação para as creches

88 optdigits-RemoveFolds Reconhecimento óptico de dígitos manuscri-tos

89 pendigits-RemoveFolds Reconhecimento óptico de dígitos manuscri-tos

90 splice-AttributeSelect Dados de sequencia de genes de pri-mata(DNA) com domínio imperfeito associ-ado

Continua na próxima página

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 89

Tabela A.1 – continuação da página anteriorId Nome Descrição91 waveform-5000-att-Sel-Rsp-50 Base de dados sobre o domínio de forma de

onda

92 waveform-5000-RemoveFolds Base de dados sobre o domínio de forma deonda

93 annealAttSelect Avalia características da têmpera em metais

94 ionosphereAttSelect Base ionosphere modificada por weka.filters.supervised.attribute.AttributeSelection.

95 vowelRemov50 Base vowel modificada por weka.filters. un-supervised.instance.RemovePercentage - 50.

96 spongeAttSelect Base sponge modificada por weka.filters. su-pervised.attribute.AttributeSelection.

97 spongeAttSelect90 Base sponge modificada porweka.filters.supervised. at-tribute.AttributeSelection eweka.filters.unsupervised.instance. Re-movePercentage - 50

98 ionosphereAttSelect50 Base ionosphere modificada por weka.filters.supervised.attribute.AttributeSelection eweka.filters. unsupervised.instance. Remo-vePercentage - 50

99 ionosphereAttSelect60 Base ionosphere modificada porweka.filters.supervised.attribute.AttributeSelection eweka.filters.unsupervised.instance. Re-movePercentage - 60

100 vowelRemov50-Resam90 Base vowel modificada porweka.filters. unsupervi-sed.instance.RemovePercentage - 50 eweka.filters.unsupervised.instance.Resample90

Continua na próxima página

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 90

Tabela A.1 – continuação da página anteriorId Nome Descrição

101 vowelRemov50Resam80 Base vowel modificada porweka.filters. unsupervi-sed.instance.RemovePercentage - 50 eweka.filters.unsupervised.instance.Resample80.

102 vowelRemov50Resam70 Base vowel modificada porweka.filters. unsupervi-sed.instance.RemovePercentage - 50 eweka.filters.unsupervised.instance.Resample70.

103 vowelRemov50Resam60 Base vowel modificada porweka.filters. unsupervi-sed.instance.RemovePercentage - 50 eweka.filters.unsupervised.instance.Resample60.

104 vowelRemov50Resam50 Base vowel modificada porweka.filters. unsupervi-sed.instance.RemovePercentage - 50 eweka.filters.unsupervised.instance.Resample50.

105 haberman-Resam90 Base haberman modificada por weka.filters.unsupervised.instance.Resample 90.

106 haberman-Resam80 Base haberman modificada por weka.filters.unsupervised.instance.Resample 80.

107 haberman-Resam70 Base haberman modificada por weka.filters.unsupervised.instance.Resample 70.

108 haberman-Resam60 Base haberman modificada por weka.filters.unsupervised.instance.Resample 60.

109 haberman-Resam50 Base haberman modificada por weka.filters.unsupervised.instance.Resample 50.

110 haberman-Resam40 Base haberman modificada por weka.filters.unsupervised.instance.Resample 40.

Tabela A.1: Descrição das Bases de Dados

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 91

A.2 Características das Bases de Dados

Id Nome No. Atributos No. Padrões No. Classes1 ecoli 8 336 8

2 anneal 39 898 5

3 anneal.ORIG 39 898 5

4 arrhythmia 280 452 13

5 audiology 70 226 24

6 balance-scale 5 625 3

7 balance-scale12 5 337 2

8 balance-scale13 5 337 2

9 balance-scale23 5 576 2

10 breast-cancer 10 699 2

11 breast-w 10 286 2

12 bupa 7 345 4

13 car 7 1728 4

14 car12 7 453 2

15 car13 7 1594 2

16 car14 7 449 2

17 car23 7 1279 2

18 car24 7 134 2

19 ecoliAttSelect 7 336 8

20 colic.ORIG 28 368 2

21 credit-a 16 690 2

22 credit-g 16 690 2

23 cylinder-bands 40 540 2

24 diabetes 9 768 2

25 flags 30 194 8

26 glass 10 214 6

27 haberman 4 306 2

28 heart-c 14 303 2

Continua na próxima página

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 92

Tabela A.2 – continuação da página anteriorId Nome N. Atributos N. Padrões N. Classes29 heart-h 14 294 2

30 heart-statlog 14 270 2

31 hepatitis 20 155 2

32 hypothyroid 30 3772 4

33 hypothyroid12 30 3675 2

34 hypothyroid13 30 289 2

35 hypothyroid23 30 3676 2

36 ionosphere 35 351 2

37 iris 5 150 3

38 kdd-synthetic-control 62 600 6

39 kr-vs-kp 37 3196 2

40 labor 17 57 2

41 letter2c 17 1555 2

42 letter3c 17 2291 3

43 letter4c 17 3096 4

44 liver-disorders 7 345 2

45 lymph 19 148 4

46 lymph13 19 85 2

47 lymph23 19 142 2

48 mfeat-karhunen 65 2000 10

49 mfeat-morphological 7 2000 10

50 mfeat-zernike 48 2000 10

51 monks-3 7 122 2

52 nursery24 9 8310 2

53 nursery35 9 330 2

54 page-blocks 11 5473 5

55 postoperative-patient-data 9 90 3

56 primary-tumor 18 339 21

57 segment 20 2310 7

58 sick 30 3772 2

59 sonar 61 208 2

60 soybean 36 683 19

Continua na próxima página

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 93

Tabela A.2 – continuação da página anteriorId Nome N. Atributos N. Padrões N. Classes61 sponge 46 76 3

62 tae 6 151 3

63 tae12 6 99 2

64 tae13 6 101 2

65 tae23 6 102 2

66 tic-tac-toe 10 958 2

67 vehicle 19 846 4

68 vehicle12 19 430 2

69 vehicle13 19 435 2

70 vehicle14 19 417 2

71 vehicle23 19 429 2

72 vehicle24 19 411 2

73 vehicle34 19 411 2

74 vote 17 435 2

75 vowel 14 990 11

76 waveform-12 41 3345 2

77 waveform-13 41 3347 2

78 waveform-23 41 3308 2

79 waveform-5000 41 5000 3

80 weather 5 14 2

81 hill-valley 101 606 2

82 hill-valleyTest 101 606 2

83 letter-RemoveFolds 17 2000 26

84 mfeat-factors-AttributeSelection 75 2000 10

85 mfeat-fourier-AttributeSelection 39 2000 10

86 mfeat-pixel-AttributeSelection 104 2000 10

87 nursery-Resample 9 6480 5

88 optdigits-RemoveFolds 65 562 10

89 pendigits-RemoveFolds 17 1100 10

90 splice-AttributeSelectionr 23 3190 3

91 waveform-5000-att-Sel-Rsp-50 16 2500 3

92 waveform-5000-RemoveFolds 41 500 3

Continua na próxima página

APÊNDICE A. PROBLEMAS DE CLASSIFICAÇÃO 94

Tabela A.2 – continuação da página anteriorId Nome N. Atributos N. Padrões N. Classes93 annealAttSelect 10 898 5

94 ionosphereAttSelect 15 351 4

95 vowelRemov50 14 495 11

96 spongeAttSelect 4 76 3

97 spongeAttSelect90 4 68 2

98 ionosphereAttSelect50 15 175 2

99 ionosphereAttSelect60 15 157 2

100 vowelRemov50-Resam90 14 445 11

101 vowelRemov50Resam80 14 495 11

102 vowelRemov50Resam70 14 346 11

103 vowelRemov50Resam60 14 297 11

104 vowelRemov50Resam50 14 247 11

105 haberman-Resam90 4 275 2

106 haberman-Resam80 4 244 2

107 haberman-Resam70 4 214 2

108 haberman-Resam60 4 183 2

109 haberman-Resam50 4 153 2

110 haberman-Resam40 4 122 2

Tabela A.2: Características das Bases de Dados

Apêndice B

Tabelas de Resultados

Nas tabelas seguintes podem ser observados os índices de desempenho obtidos nos ex-perimentos com os algoritmos aprendizado propostos (J48 (AD), Decision Stump (DS),Decision Table (DT), Naïve Bayes (NB), IBk (KNN), Support Vector Machines (SVM),REPTree (RT), JRip (JR) e PART (PT)) e com os métodos de geração de arquiteturaBagging e Boosting lançando mão de todos os tamanhos de aquitetura investigados nestetrabalho. Foi empregado procedimento 10-fold cross-validation nos classificadores base[Mitchell 1997] para todas as configurações de comitê.

Para faciliar a referência, as bases serão identificadas pelo índice apresentado na tabelade descrição de bases do Apêndice A. As tabelas estão relacionadas a nível de método dearquitetura, sendo mostrados, em primeiro momento, os resultados com o Bagging e aseguir com o Boosting para os algoritmos avaliados em todas os bases de dados, com afinalidade de gerar os meta-exemplos.

APÊNDICE B. TABELAS DE RESULTADOS 96

B.1

Res

ulta

dosp

ara

Cla

ssifi

cado

rB

ase

ATa

bela

B.1

apre

sent

ao

dese

mpe

nho

méd

iode

todo

sos

nove

indu

tore

sca

ndid

dos

acl

assi

ficad

orba

seut

iliza

dos

nest

etr

abal

hoqu

ando

aval

iado

sna

sba

ses

deda

dos

inde

ntifi

cada

sco

mos

índe

ces

1a

35.

ATa

bela

B.2

apre

sent

ao

dese

mpe

nho

méd

iode

todo

sos

nove

indu

tore

sca

ndid

dos

acl

assi

ficad

orba

seut

iliza

dos

nest

etr

abal

hoqu

ando

aval

iado

sna

sba

ses

deda

dos

inde

ntifi

cada

sco

mos

índe

ces

36a

70.

ATa

bela

B.3

apre

sent

ao

dese

mpe

nho

méd

iode

todo

sos

nove

indu

tore

sca

ndid

dos

acl

assi

ficad

orba

seut

iliza

dos

nest

etr

abal

hoqu

ando

aval

iado

sna

sba

ses

deda

dos

inde

ntifi

cada

sco

mos

índe

ces

71a

105.

ATa

bela

B.4

apre

sent

ao

dese

mpe

nho

méd

iode

todo

sos

nove

indu

tore

sca

ndid

dos

acl

assi

ficad

orba

seut

iliza

dos

nest

etr

abal

hoqu

ando

aval

iado

sna

sba

ses

deda

dos

inde

ntifi

cada

sco

mos

índe

ces

106

a11

0.

APÊNDICE B. TABELAS DE RESULTADOS 97

Tabe

laB

.1:R

esul

tado

sda

Méd

iada

sTa

xas

deac

erto

dos

Nov

eIn

duto

res

Can

dida

tos

aC

lass

ifica

dorB

ase.

IdB

ase

DS

DT

PTJR

RT

AD

KN

NN

BSV

M1

64,6

0(1

,96

)81

,07

(5,1

9)

84,4

8(5

,74

)83

,34

(5,7

4)

82,4

3(6

,24

)83

,38

(5,9

4)

80,7

8(6

,14

)85

,55

(5,4

6)

84,4

3(5

,46

)

283

,05

(1,9

0)

98,6

0(1

,10

)99

,04

(0,9

2)

99,0

2(0

,99

)99

,06

(1,0

1)

99,1

8(0

,86

)99

,09

(1,0

8)

90,3

8(3

,06

)98

,52

(1,1

8)

382

,76

(2,1

8)

98,6

0(1

,10

)95

,58

(1,9

1)

97,4

5(1

,49

)93

,78

(2,4

0)

94,4

2(2

,32

)95

,40

(2,2

2)

79,8

8(5

,24

)89

,38

(3,1

6)

455

,23

(3,4

2)

66,2

2(5

,50

)73

,60

(5,2

6)

72,9

8(5

,62

)70

,54

(5,3

8)

72,2

8(5

,46

)53

,54

(5,0

4)

63,3

9(6

,54

)69

,24

(5,5

4)

546

,46

(2,1

8)

74,8

4(6

,58

)83

,44

(7,2

2)

78,8

8(7

,46

)74

,18

(7,3

6)

82,4

8(7

,51

)77

,60

(7,4

3)

74,9

8(6

,79

)79

,43

(6,8

8)

669

,12

(6,3

3)

81,2

1(4

,68

)84

,20

(3,3

1)

85,2

6(3

,48

)82

,67

(3,7

0)

79,8

0(3

,88

)86

,34

(2,8

4)

90,9

8(2

,33

)87

,44

(2,6

4)

785

,46

(1,0

4)

85,2

2(1

,28

)86

,38

(3,8

8)

84,3

8(3

,81

)84

,21

(2,7

6)

82,8

5(4

,06

)81

,22

(3,7

3)

88,5

5(2

,80

)87

,22

(2,7

8)

885

,44

(0,9

9)

85,1

3(1

,51

)86

,10

(4,0

2)

84,2

9(4

,19

)83

,58

(3,4

1)

82,6

0(3

,99

)81

,33

(3,6

2)

88,6

0(2

,64

)87

,06

(2,4

8)

983

,89

(6,0

0)

93,4

1(3

,40

)93

,21

(3,3

8)

92,4

4(3

,34

)90

,84

(3,6

2)

89,6

3(3

,88

)97

,08

(2,3

2)

98,3

7(1

,84

)95

,03

(3,1

6)

1072

,22

(7,3

7)

71,2

1(6

,43

)69

,59

(7,7

6)

71,9

1(6

,86

)68

,56

(6,6

2)

69,5

2(6

,78

)71

,30

(7,5

4)

70,9

8(7

,98

)68

,88

(7,4

0)

1193

,78

(2,9

4)

95,9

4(2

,26

)96

,10

(2,2

0)

96,2

7(2

,09

)95

,38

(2,6

2)

96,0

4(2

,30

)95

,40

(2,5

9)

95,8

4(2

,30

)96

,71

(2,0

4)

1264

,84

(7,2

8)

62,0

1(6

,49

)70

,25

(7,4

0)

70,6

8(7

,30

)69

,55

(7,7

8)

70,4

8(7

,65

)62

,07

(8,1

0)

60,5

0(8

,64

)60

,99

(5,4

6)

1370

,02

(0,1

6)

94,4

8(1

,86

)97

,78

(1,0

6)

93,0

6(2

,20

)93

,33

(2,0

3)

94,5

9(1

,78

)93

,50

(1,5

0)

87,5

2(2

,49

)93

,89

(1,9

3)

1486

,06

(1,8

6)

98,0

1(2

,36

)99

,36

(1,5

1)

96,1

5(3

,12

)97

,46

(2,6

6)

98,0

3(2

,10

)88

,00

(2,8

5)

89,4

0(3

,46

)96

,01

(2,9

7)

1579

,94

(1,3

0)

97,0

3(1

,30

)99

,08

(0,7

2)

96,7

8(1

,42

)97

,10

(1,4

6)

97,0

8(1

,29

)97

,81

(1,1

9)

91,4

0(2

,26

)95

,12

(1,7

3)

1687

,30

(1,8

9)

98,5

0(1

,98

)98

,90

(1,6

0)

97,6

5(2

,64

)98

,35

(1,9

4)

98,5

2(1

,82

)96

,68

(2,5

6)

95,0

2(2

,48

)98

,74

(1,9

6)

1795

,68

(0,7

5)

97,2

4(0

,28

)99

,72

(0,5

0)

98,9

4(0

,94

)99

,44

(0,7

4)

99,4

9(0

,70

)99

,74

(0,4

8)

98,2

2(0

,70

)99

,65

(0,5

7)

1885

,66

(8,4

2)

98,7

6(2

,58

)99

,05

(3,4

8)

97,1

8(5

,13

)97

,79

(4,8

5)

99,7

4(1

,27

)95

,29

(5,4

4)

95,0

0(5

,69

)96

,94

(4,8

0)

1964

,60

(1,9

6)

81,1

6(5

,12

)84

,51

(5,6

4)

82,8

8(5

,87

)82

,44

(6,2

4)

83,4

8(5

,94

)80

,48

(6,2

7)

85,4

8(5

,44

)84

,66

(5,5

2)

2082

,10

(5,4

0)

82,6

1(5

,66

)66

,37

(1,4

7)

82,6

3(5

,76

)65

,14

(7,2

6)

66,2

8(1

,36

)65

,38

(7,9

0)

66,4

9(7

,78

)76

,79

(6,0

2)

2185

,42

(3,9

9)

85,2

4(4

,06

)85

,43

(3,9

3)

85,4

7(4

,00

)84

,34

(4,0

6)

85,2

7(3

,96

)81

,59

(4,5

8)

79,4

4(4

,16

)84

,40

(3,9

8)

2285

,42

(3,9

9)

85,2

4(4

,06

)85

,43

(3,9

3)

85,4

7(4

,00

)84

,34

(4,0

6)

85,2

7(3

,96

)81

,59

(4,5

8)

79,4

4(4

,16

)84

,40

(3,9

8)

2370

,30

(4,7

3)

76,4

0(5

,51

)60

,42

(3,1

6)

76,1

6(5

,66

)61

,59

(6,3

2)

57,8

6(0

,96

)75

,09

(5,0

8)

75,6

8(6

,01

)81

,35

(5,5

9)

2473

,56

(5,1

3)

74,5

9(4

,81

)74

,72

(4,7

7)

75,1

1(4

,48

)74

,71

(4,7

8)

73,9

7(4

,71

)70

,80

(4,7

4)

75,7

4(5

,05

)76

,92

(4,5

2)

2551

,08

(5,9

6)

56,6

7(9

,51

)57

,79

(8,9

8)

60,7

0(9

,30

)35

,58

(1,6

5)

59,3

8(9

,90

)56

,30

(9,7

6)

54,2

0(1

0,64

)60

,72

(9,9

4)

2644

,94

(3,5

8)

68,8

0(9

,56

)75

,48

(8,2

4)

73,2

6(8

,47

)71

,32

(9,5

1)

74,6

0(8

,70

)69

,94

(8,4

8)

49,8

4(9

,25

)58

,33

(8,8

3)

2773

,34

(4,8

5)

72,4

1(4

,51

)70

,06

(6,3

5)

72,6

6(5

,50

)72

,02

(5,9

0)

71,4

6(5

,93

)66

,78

(6,6

8)

74,7

2(5

,65

)73

,16

(3,7

2)

2879

,07

(7,4

7)

80,7

6(7

,37

)80

,44

(6,9

0)

80,4

5(6

,65

)79

,79

(6,8

4)

78,8

6(6

,94

)76

,25

(6,8

1)

83,2

2(6

,86

)83

,90

(6,3

6)

2981

,63

(6,9

7)

80,7

7(7

,11

)81

,38

(6,5

5)

80,2

7(6

,62

)79

,73

(6,4

8)

79,1

9(7

,14

)78

,48

(7,4

7)

84,3

6(6

,00

)83

,37

(6,1

2)

3078

,29

(8,1

3)

82,7

8(6

,75

)80

,52

(6,5

8)

80,7

5(6

,89

)79

,32

(7,3

6)

79,8

7(7

,02

)75

,93

(8,3

4)

83,1

2(6

,16

)83

,77

(6,2

7)

3180

,71

(7,0

7)

80,3

1(7

,75

)83

,18

(8,6

1)

80,7

2(8

,22

)80

,95

(8,0

4)

81,6

6(8

,51

)81

,16

(8,5

7)

84,3

1(9

,40

)84

,11

(8,5

6)

3294

,26

(0,8

0)

98,9

1(0

,55

)99

,62

(0,3

2)

99,4

3(0

,39

)99

,52

(0,3

2)

99,6

1(0

,32

)91

,66

(1,1

5)

95,3

7(0

,74

)94

,12

(0,5

6)

3398

,56

(0,6

0)

99,6

2(0

,31

)99

,84

(0,2

1)

99,7

6(0

,28

)99

,84

(0,2

0)

99,8

4(0

,20

)95

,34

(0,7

6)

96,7

1(0

,79

)95

,96

(0,5

1)

3498

,34

(2,1

6)

98,9

3(1

,90

)98

,62

(2,3

8)

98,7

2(2

,12

)97

,90

(2,5

5)

98,6

8(2

,20

)90

,06

(5,4

4)

94,7

8(4

,14

)95

,50

(3,8

1)

3599

,32

(0,4

9)

99,5

6(0

,33

)99

,72

(0,3

0)

99,6

8(0

,30

)99

,61

(0,3

4)

99,7

2(0

,27

)98

,71

(0,5

2)

99,2

0(0

,43

)98

,89

(0,4

8)

APÊNDICE B. TABELAS DE RESULTADOS 98

Tabe

laB

.2:R

esul

tado

sda

Méd

iada

sTa

xas

deA

cert

odo

sN

ove

Indu

tore

sC

andi

dato

sa

Cla

ssifi

cado

rBas

e.Id

Bas

eD

SD

TPT

JRR

TA

DK

NN

NB

SVM

3686

,54

(4,7

2)

90,5

4(4

,71

)92

,68

(4,2

0)

92,1

6(4

,16

)90

,91

(4,4

8)

92,5

0(4

,10

)87

,12

(5,1

2)

86,4

1(5

,54

)88

,89

(4,8

8)

3780

,75

(5,6

6)

94,0

8(5

,54

)94

,60

(5,1

0)

94,3

2(6

,01

)94

,62

(5,4

8)

94,4

6(5

,08

)95

,46

(4,7

8)

95,3

4(5

,45

)96

,92

(4,4

1)

3840

,80

(2,0

1)

91,7

9(3

,44

)96

,52

(2,4

3)

95,4

1(2

,66

)16

,67

(0,0

0)

96,3

4(2

,56

)97

,06

(2,2

0)

96,3

4(2

,21

)99

,30

(1,1

6)

3978

,66

(1,6

3)

98,4

0(0

,64

)99

,50

(0,3

6)

99,4

9(0

,36

)99

,21

(0,4

6)

99,5

0(0

,36

)96

,22

(1,0

9)

90,8

4(1

,66

)96

,58

(1,1

2)

4085

,08

(14,

16)

86,5

2(1

3,46

)84

,91

(15,

27)

88,4

2(1

2,80

)83

,20

(16,

24)

84,9

5(1

5,38

)84

,63

(15,

92)

91,6

8(1

1,63

)90

,94

(11,

73)

4194

,76

(1,7

6)

99,1

7(0

,74

)99

,75

(0,4

0)

99,7

5(0

,46

)99

,52

(0,6

0)

99,7

0(0

,44

)99

,99

(0,0

6)

97,0

5(1

,19

)99

,62

(0,5

1)

4289

,59

(3,5

4)

98,0

9(1

,00

)99

,52

(0,4

6)

99,4

2(0

,48

)99

,04

(0,7

2)

99,3

8(0

,53

)99

,98

(0,0

7)

96,7

8(1

,14

)99

,11

(0,6

0)

4347

,66

(0,7

9)

94,5

0(1

,46

)98

,79

(0,6

5)

98,5

3(0

,66

)97

,71

(0,9

3)

98,5

9(0

,68

)99

,55

(0,3

8)

91,5

4(1

,46

)96

,41

(0,9

7)

4464

,84

(7,2

8)

62,0

1(6

,49

)70

,25

(7,4

0)

70,6

8(7

,30

)69

,55

(7,7

8)

70,4

8(7

,65

)62

,07

(8,1

0)

60,5

0(8

,64

)60

,99

(5,4

6)

4574

,90

(11,

00)

79,2

6(9

,78

)82

,41

(9,5

8)

81,8

2(9

,68

)77

,18

(10,

14)

79,6

0(9

,92

)81

,58

(8,9

6)

82,5

9(9

,34

)85

,13

(8,5

0)

4697

,04

(5,1

3)

96,7

4(5

,24

)98

,03

(4,4

5)

97,1

2(5

,08

)96

,54

(5,1

9)

98,2

6(4

,28

)98

,88

(3,3

4)

98,6

2(3

,78

)99

,32

(2,6

8)

4780

,80

(9,8

8)

83,3

8(9

,78

)85

,68

(9,0

3)

83,6

0(9

,00

)81

,30

(9,9

6)

83,7

7(9

,38

)81

,87

(10,

28)

85,0

5(9

,48

)86

,12

(9,0

0)

4819

,62

(0,6

0)

80,3

0(3

,05

)92

,51

(1,8

1)

92,8

4(1

,74

)88

,59

(2,3

2)

91,7

6(1

,95

)96

,13

(1,3

3)

93,6

2(1

,66

)96

,15

(1,3

4)

4919

,90

(0,2

5)

69,6

3(2

,80

)72

,28

(2,7

5)

72,1

0(2

,92

)71

,44

(2,6

2)

72,2

1(2

,59

)66

,01

(2,6

6)

69,4

5(2

,66

)70

,22

(2,6

4)

5019

,50

(0,5

8)

67,1

0(2

,89

)76

,28

(2,1

6)

77,2

8(2

,24

)73

,55

(2,4

7)

75,0

6(2

,26

)79

,29

(1,8

5)

73,1

6(2

,84

)82

,85

(2,1

6)

5186

,95

(10,

10)

91,6

3(7

,28

)90

,35

(8,0

2)

90,2

9(8

,20

)91

,82

(7,3

1)

91,1

4(7

,64

)82

,91

(11,

58)

92,3

4(7

,08

)92

,57

(6,9

9)

5299

,39

(1,2

2)

99,5

2(1

,18

)99

,34

(1,3

6)

99,1

5(1

,45

)99

,42

(1,2

9)

99,3

6(1

,37

)99

,39

(1,2

2)

99,3

9(1

,22

)99

,35

(1,2

8)

5393

,13

(0,7

0)

95,8

1(0

,72

)97

,22

(0,6

7)

97,2

3(0

,64

)97

,12

(0,7

0)

97,1

6(0

,67

)96

,04

(0,7

5)

90,1

8(1

,73

)93

,08

(0,6

9)

5469

,83

(7,4

8)

66,7

3(8

,90

)57

,85

(12,

14)

68,8

8(7

,77

)69

,78

(7,4

7)

63,1

9(1

0,58

)58

,92

(11,

14)

67,7

9(8

,58

)66

,52

(8,9

1)

5528

,88

(3,7

6)

40,5

0(6

,02

)43

,30

(6,5

8)

39,9

6(5

,80

)40

,92

(6,9

3)

42,8

4(6

,70

)38

,52

(6,8

1)

49,6

0(6

,46

)47

,26

(6,3

6)

5641

,60

(2,3

6)

94,0

4(1

,78

)97

,88

(0,9

7)

97,7

5(0

,90

)96

,68

(1,2

9)

97,7

8(0

,99

)97

,09

(1,1

2)

80,2

4(2

,13

)92

,88

(1,5

6)

5796

,80

(0,8

4)

97,6

6(0

,76

)98

,78

(0,5

5)

98,6

3(0

,64

)98

,72

(0,5

8)

98,9

1(0

,52

)96

,06

(0,9

0)

93,1

2(1

,36

)94

,16

(0,7

9)

5875

,28

(9,0

3)

73,0

5(1

0,21

)80

,72

(8,8

0)

81,5

0(8

,90

)77

,18

(9,5

5)

79,5

2(8

,82

)86

,06

(8,4

4)

73,9

8(8

,32

)77

,76

(8,8

1)

5927

,90

(2,1

1)

88,9

4(3

,24

)93

,00

(2,7

8)

93,3

4(2

,70

)88

,14

(3,5

5)

92,8

0(2

,96

)91

,09

(3,0

6)

92,6

6(2

,88

)93

,06

(2,8

6)

6092

,40

(6,4

3)

92,4

4(6

,83

)92

,97

(7,0

1)

92,4

0(6

,64

)92

,50

(6,1

5)

92,7

2(6

,57

)92

,56

(7,9

6)

89,4

1(1

0,34

)95

,88

(5,8

9)

6142

,76

(10,

87)

49,3

3(9

,78

)61

,44

(11,

38)

50,6

2(1

1,54

)52

,30

(12,

04)

61,8

5(1

1,56

)62

,87

(12,

66)

54,4

0(1

1,24

)53

,45

(12,

03)

6256

,43

(9,7

0)

64,8

8(1

4,51

)57

,07

(12,

37)

64,0

5(1

2,90

)63

,60

(14,

25)

56,9

3(8

,98

)71

,52

(13,

26)

69,5

0(1

2,63

)71

,72

(12,

58)

6366

,75

(12,

88)

70,4

4(1

2,84

)56

,07

(13,

02)

74,9

7(1

2,74

)63

,60

(13,

21)

59,7

0(1

0,21

)85

,50

(9,9

6)

76,7

8(1

2,16

)80

,34

(10,

92)

6458

,73

(13,

35)

69,6

5(1

5,48

)62

,49

(13,

30)

66,7

3(1

5,10

)74

,06

(12,

75)

73,1

8(1

3,44

)75

,19

(13,

78)

73,2

7(1

4,11

)75

,56

(12,

66)

6572

,04

(4,0

7)

87,3

5(3

,59

)99

,19

(0,8

9)

98,5

6(1

,36

)92

,81

(2,7

8)

94,7

1(2

,05

)98

,85

(1,0

6)

76,9

0(5

,36

)98

,23

(1,3

4)

6640

,02

(1,9

4)

67,3

0(3

,95

)75

,52

(3,9

2)

74,3

7(3

,90

)73

,12

(4,1

2)

75,0

8(4

,10

)69

,66

(3,8

5)

45,1

2(4

,54

)74

,22

(3,7

8)

6780

,96

(5,9

0)

94,6

8(3

,75

)97

,09

(2,2

6)

97,8

0(2

,25

)85

,48

(6,6

4)

96,8

8(2

,63

)86

,34

(4,7

7)

84,2

5(5

,67

)90

,92

(4,6

8)

6880

,76

(5,1

4)

93,4

1(3

,55

)96

,29

(2,7

4)

96,8

4(2

,56

)87

,44

(4,9

2)

96,4

4(2

,70

)85

,52

(4,9

6)

84,3

3(5

,74

)91

,98

(4,1

8)

6986

,16

(4,1

1)

98,2

9(1

,98

)98

,91

(1,6

4)

98,4

4(1

,94

)97

,00

(2,7

8)

98,2

6(1

,92

)86

,13

(4,8

8)

82,8

6(4

,67

)97

,43

(2,3

0)

7056

,48

(4,4

8)

53,3

0(7

,40

)52

,41

(7,3

4)

59,8

4(6

,94

)46

,52

(6,5

8)

51,8

7(7

,84

)52

,87

(7,5

0)

52,0

8(6

,84

)55

,66

(7,5

8)

APÊNDICE B. TABELAS DE RESULTADOS 99

Tabe

laB

.3:R

esul

tado

sda

Méd

iada

sTa

xas

deA

cert

odo

sN

ove

Indu

tore

sC

andi

dato

sa

Cla

ssifi

cado

rBas

e.Id

Bas

eD

SD

TPT

JRR

TA

DK

NN

NB

SVM

7186

,30

(5,0

2)

90,4

6(4

,28

)93

,90

(3,7

3)

93,8

5(3

,68

)83

,94

(5,6

7)

93,1

8(3

,83

)82

,24

(5,8

0)

85,1

2(4

,96

)92

,29

(3,8

0)

7286

,30

(5,0

2)

90,4

6(4

,28

)93

,90

(3,7

3)

93,8

5(3

,68

)83

,94

(5,6

7)

93,1

8(3

,83

)82

,24

(5,8

0)

85,1

2(4

,96

)92

,29

(3,8

0)

7395

,80

(2,8

2)

95,0

6(2

,96

)95

,63

(2,9

6)

95,6

8(2

,88

)95

,38

(3,0

3)

95,8

6(2

,81

)92

,48

(3,6

7)

92,4

8(3

,63

)95

,75

(3,0

7)

7419

,65

(2,7

6)

74,2

8(8

,90

)90

,54

(3,1

4)

88,2

2(3

,26

)86

,76

(3,8

4)

91,4

4(3

,03

)98

,98

(1,1

0)

71,0

6(4

,33

)74

,84

(3,9

6)

7584

,80

(2,2

6)

89,0

4(1

,86

)90

,91

(1,5

2)

90,6

5(1

,68

)89

,62

(1,7

9)

89,8

4(1

,67

)85

,16

(1,8

3)

89,2

0(1

,67

)92

,70

(1,5

8)

7683

,84

(1,9

2)

88,9

4(1

,73

)90

,61

(1,5

2)

90,3

1(1

,58

)89

,45

(1,6

8)

89,8

5(1

,61

)85

,40

(1,6

3)

88,9

6(1

,60

)92

,24

(1,3

3)

7789

,18

(1,6

4)

92,1

4(1

,36

)93

,66

(1,2

9)

93,4

2(1

,36

)92

,66

(1,4

2)

92,9

6(1

,40

)89

,71

(1,6

2)

94,4

8(1

,23

)94

,70

(1,0

8)

7861

,84

(2,7

8)

79,3

3(1

,74

)83

,16

(1,5

8)

83,3

6(1

,72

)81

,48

(1,6

6)

81,7

2(1

,68

)73

,58

(1,8

4)

80,0

0(1

,45

)86

,51

(1,5

0)

7953

,42

(41,

98)

59,1

7(4

0,61

)54

,94

(42,

46)

52,4

1(4

2,08

)60

,04

(39,

08)

65,2

3(4

0,02

)76

,90

(37,

12)

57,0

6(4

2,54

)65

,85

(39,

87)

8054

,96

(5,5

6)

51,3

6(2

,58

)51

,96

(3,6

0)

52,8

6(6

,24

)53

,94

(6,4

3)

52,2

7(3

,64

)50

,84

(5,6

3)

48,6

0(3

,79

)64

,07

(7,5

0)

8149

,36

(3,3

4)

50,4

2(1

,18

)50

,22

(1,8

0)

52,2

6(6

,24

)54

,96

(6,5

2)

50,3

2(2

,35

)55

,86

(6,5

2)

51,8

6(4

,10

)65

,79

(8,2

0)

828,

20(1

,07

)57

,68

(3,6

8)

81,8

0(2

,40

)78

,89

(2,6

6)

72,7

5(3

,18

)80

,90

(2,7

1)

83,9

1(2

,05

)60

,92

(3,0

5)

71,5

0(2

,98

)

8327

,24

(2,6

1)

86,2

2(2

,57

)95

,14

(1,5

4)

95,5

2(1

,40

)93

,55

(1,7

1)

94,6

2(1

,60

)96

,35

(1,3

6)

94,9

8(1

,55

)97

,58

(1,0

9)

8419

,71

(0,7

5)

73,6

0(2

,91

)82

,34

(2,6

1)

81,6

0(2

,58

)80

,22

(2,5

1)

82,0

4(2

,70

)81

,86

(2,1

6)

79,1

6(2

,62

)83

,62

(2,2

4)

8519

,67

(0,8

8)

82,3

6(3

,03

)91

,38

(1,9

5)

94,4

2(1

,52

)85

,97

(2,5

9)

87,5

0(2

,26

)95

,48

(1,3

8)

92,9

1(1

,60

)96

,84

(1,0

8)

8665

,52

(0,0

8)

95,8

2(0

,74

)99

,27

(0,3

5)

97,7

5(0

,53

)96

,40

(0,7

6)

97,1

8(0

,64

)95

,45

(0,7

5)

90,9

6(1

,02

)92

,91

(0,9

5)

8722

,62

(4,3

2)

85,8

5(4

,52

)91

,64

(3,6

4)

91,4

8(3

,72

)87

,84

(4,4

3)

91,6

2(3

,65

)97

,22

(2,0

8)

89,7

6(3

,69

)97

,50

(2,0

4)

8821

,04

(2,0

6)

85,6

2(3

,27

)94

,54

(2,1

1)

93,6

9(2

,07

)91

,86

(2,7

2)

94,1

2(2

,24

)97

,78

(1,3

0)

87,5

8(2

,80

)95

,70

(1,9

0)

8973

,36

(1,8

7)

92,4

6(1

,77

)94

,75

(1,2

1)

95,5

6(1

,17

)94

,12

(1,3

2)

94,6

0(1

,32

)82

,07

(2,0

0)

96,1

0(1

,03

)95

,45

(1,2

1)

9061

,16

(3,3

6)

82,1

5(2

,59

)88

,84

(1,9

4)

88,2

2(2

,09

)86

,22

(2,2

7)

88,1

2(2

,00

)86

,32

(2,2

0)

79,4

3(1

,99

)87

,37

(2,1

4)

9167

,88

(6,1

5)

78,0

0(5

,78

)80

,98

(5,3

6)

81,0

9(5

,16

)78

,62

(5,5

5)

79,4

8(5

,25

)70

,42

(6,5

4)

80,8

5(4

,52

)84

,46

(4,5

6)

9283

,05

(1,9

0)

96,7

1(2

,02

)97

,76

(1,7

4)

97,4

8(1

,80

)97

,48

(1,7

2)

97,6

4(1

,76

)97

,26

(1,7

0)

87,8

8(3

,88

)90

,60

(2,8

2)

9386

,50

(4,7

0)

90,9

6(4

,46

)93

,04

(4,3

2)

92,6

9(4

,34

)91

,46

(4,9

2)

93,1

6(4

,15

)89

,62

(4,2

2)

92,0

2(4

,52

)88

,44

(4,8

0)

9486

,50

(4,7

0)

90,9

6(4

,46

)93

,04

(4,3

2)

92,6

9(4

,34

)91

,46

(4,9

2)

93,1

6(4

,15

)89

,62

(4,2

2)

92,0

2(4

,52

)88

,44

(4,8

0)

9522

,02

(2,9

6)

69,9

1(8

,04

)89

,06

(4,3

5)

86,4

8(4

,84

)84

,98

(5,3

4)

89,1

9(4

,28

)98

,78

(1,6

2)

76,2

9(6

,10

)76

,48

(5,9

8)

9693

,88

(6,3

4)

92,0

1(6

,40

)93

,04

(6,6

3)

92,9

8(6

,63

)91

,93

(6,5

4)

92,8

4(6

,60

)93

,78

(7,0

8)

94,6

8(6

,57

)93

,71

(7,0

0)

9798

,56

(4,3

2)

96,7

7(5

,74

)97

,04

(5,5

6)

96,4

5(6

,13

)95

,71

(6,5

8)

97,0

4(5

,56

)98

,54

(4,3

4)

97,0

1(5

,57

)96

,78

(5,8

2)

9885

,12

(7,2

3)

90,2

0(6

,99

)92

,94

(6,5

0)

91,9

7(6

,23

)90

,04

(6,8

0)

93,0

0(6

,22

)92

,32

(5,6

9)

91,9

2(6

,75

)91

,12

(6,4

4)

9988

,45

(7,0

2)

94,2

3(5

,96

)93

,66

(5,8

1)

94,7

7(5

,28

)92

,74

(6,2

7)

94,1

8(5

,56

)96

,02

(4,7

8)

92,9

0(6

,53

)92

,62

(6,3

1)

100

21,8

9(3

,36

)79

,56

(8,5

8)

92,1

2(3

,97

)89

,40

(4,8

0)

87,8

0(5

,62

)91

,76

(4,2

0)

97,7

9(2

,14

)76

,26

(5,9

6)

77,7

3(6

,28

)

101

22,0

2(2

,96

)69

,91

(8,0

4)

89,0

6(4

,35

)86

,48

(4,8

4)

84,9

8(5

,34

)89

,19

(4,2

8)

98,7

8(1

,62

)76

,29

(6,1

0)

76,4

8(5

,98

)

102

24,1

7(3

,63

)69

,60

(8,1

6)

88,1

6(6

,24

)84

,56

(6,9

5)

78,3

1(8

,23

)88

,38

(5,9

4)

95,4

1(4

,04

)73

,25

(7,4

3)

69,8

6(8

,04

)

103

23,4

0(4

,19

)67

,94

(8,0

8)

85,5

0(6

,48

)81

,92

(6,9

1)

70,0

4(9

,27

)86

,25

(6,5

2)

92,4

1(4

,54

)73

,24

(7,5

1)

66,0

0(7

,87

)

104

23,5

0(4

,44

)61

,24

(9,6

0)

81,9

6(7

,37

)78

,22

(7,9

2)

60,0

4(1

0,56

)82

,28

(7,4

8)

89,1

0(5

,78

)69

,67

(8,4

6)

58,9

2(8

,91

)

105

78,3

8(4

,36

)80

,09

(4,8

3)

85,3

7(6

,06

)82

,36

(5,7

7)

79,8

4(5

,93

)85

,21

(5,8

0)

86,9

2(5

,48

)79

,24

(5,3

3)

78,6

0(3

,69

)

APÊNDICE B. TABELAS DE RESULTADOS 100

Tabe

laB

.4:R

esul

tado

sda

Méd

iada

sTa

xas

deA

cert

odo

sN

ove

Indu

tore

sC

andi

dato

sa

Cla

ssifi

cado

rBas

e.Id

Bas

eD

SD

TPT

JRR

TA

DK

NN

NB

SVM

106

78,1

8(4

,03

)78

,90

(3,6

8)

84,9

8(6

,22

)82

,48

(6,0

4)

79,4

9(6

,04

)84

,48

(5,5

9)

86,8

2(6

,39

)79

,84

(5,0

9)

78,8

1(3

,39

)

107

79,0

7(5

,96

)78

,74

(4,9

2)

83,8

4(7

,37

)82

,34

(6,5

0)

78,7

4(6

,06

)83

,06

(6,9

2)

85,6

1(8

,28

)79

,72

(6,3

1)

77,9

0(4

,92

)

108

77,7

5(6

,74

)78

,04

(6,0

8)

82,5

2(8

,64

)80

,75

(7,4

0)

78,7

5(6

,90

)81

,18

(7,8

0)

84,6

3(9

,04

)80

,26

(7,9

7)

79,1

6(5

,47

)

109

77,7

2(7

,52

)77

,00

(6,0

6)

83,2

8(8

,61

)80

,49

(8,5

6)

77,7

8(6

,98

)81

,39

(8,0

5)

85,7

8(9

,32

)78

,47

(8,7

6)

75,9

4(6

,51

)

110

77,9

2(9

,01

)75

,66

(6,7

4)

80,3

4(9

,54

)80

,08

(9,1

0)

75,6

1(6

,77

)79

,98

(8,1

9)

84,1

0(9

,52

)77

,78

(9,7

2)

74,8

6(6

,76

)

APÊNDICE B. TABELAS DE RESULTADOS 101

B.2

Res

ulta

dosp

ara

Arq

uite

tura

Nes

tase

ção

são

apre

sent

ados

osre

sulta

dos

para

asar

qute

tura

sB

aggi

nge

Boo

stin

gav

alia

das

emto

dos

os97

prob

lem

asde

clas

sific

ação

utili

zado

spa

rage

raro

sm

eta-

exem

plos

.

B.2

.1R

esul

tado

spar

aB

aggi

ngA

Tabe

laB

.5ap

rese

nta

ode

sem

penh

om

édio

daar

quite

tura

Bag

ging

emto

dos

osno

vein

duto

res

cand

iddo

sa

clas

sific

ador

base

utili

zado

sne

ste

trab

alho

quan

doav

alia

dos

nas

base

sde

dado

sid

entifi

cada

sco

mos

índi

ces

1a

35.

ATa

bela

B.6

apre

sent

ao

dese

mpe

nho

méd

ioda

arqu

itetu

raB

aggi

ngem

todo

sos

nove

indu

tore

sca

ndid

dos

acl

assi

ficad

orba

seut

iliza

dos

nest

etr

abal

hoqu

ando

aval

iado

sna

sba

ses

deda

dos

iden

tifica

das

com

osín

dice

s36

a70

.

ATa

bela

B.6

apre

sent

ao

dese

mpe

nho

méd

ioda

arqu

itetu

raB

aggi

ngem

todo

sos

nove

indu

tore

sca

ndid

dos

acl

assi

ficad

orba

seut

iliza

dos

nest

etr

abal

hoqu

ando

aval

iado

sna

sba

ses

deda

dos

iden

tifica

das

com

osín

dice

s71

a10

5.

ATa

bela

B.6

apre

sent

ao

dese

mpe

nho

méd

ioda

arqu

itetu

raB

aggi

ngem

todo

sos

nove

indu

tore

sca

ndid

dos

acl

assi

ficad

orba

seut

iliza

dos

nest

etr

abal

hoqu

ando

aval

iado

sna

sba

ses

deda

dos

iden

tifica

das

com

osín

dice

s10

6a

110.

APÊNDICE B. TABELAS DE RESULTADOS 102

Tabe

laB

.5:R

esul

tado

sda

Méd

iada

sTa

xas

deA

cert

odo

sN

ove

Tipo

sde

Cla

ssifi

cado

rBas

equ

ando

Ger

ados

pelo

Mét

odo

Bag

ging

.Id

Bas

eD

SD

TPT

JRR

TA

DK

NN

NB

SVM

164

,58

(1,9

8)

80,8

2(5

,28

)85

,81

(5,6

1)

84,2

7(5

,58

)82

,93

(6,2

3)

84,2

4(5

,86

)80

,90

(6,1

3)

85,6

0(5

,45

)84

,23

(5,5

1)

282

,47

(3,2

9)

97,7

7(1

,48

)98

,60

(1,0

4)

98,5

3(1

,23

)98

,82

(1,1

1)

98,8

1(1

,02

)99

,04

(1,1

1)

86,9

6(3

,47

)97

,74

(1,5

6)

381

,89

(3,8

0)

97,7

7(1

,48

)95

,34

(1,9

5)

95,8

5(1

,99

)93

,59

(2,3

1)

93,8

9(2

,38

)95

,30

(2,2

3)

76,6

5(4

,44

)88

,61

(3,2

2)

455

,33

(2,9

2)

64,8

5(4

,94

)73

,91

(5,3

8)

74,0

5(5

,59

)72

,59

(5,1

7)

73,0

6(5

,18

)53

,89

(5,0

1)

63,4

2(6

,66

)71

,06

(5,3

1)

546

,46

(2,1

8)

70,2

5(6

,13

)82

,13

(7,2

2)

76,9

5(7

,13

)76

,00

(7,2

2)

80,7

4(7

,65

)76

,78

(7,8

5)

71,7

0(6

,43

)77

,77

(6,7

2)

667

,04

(8,4

6)

84,6

5(3

,48

)86

,70

(2,6

8)

85,2

0(3

,00

)83

,25

(3,7

9)

81,8

3(3

,64

)85

,96

(2,9

7)

90,2

8(1

,86

)87

,35

(2,8

0)

785

,45

(0,8

6)

85,4

4(0

,87

)85

,32

(3,0

9)

84,1

4(2

,36

)85

,15

(1,2

8)

82,9

9(2

,98

)81

,94

(3,4

7)

85,4

7(0

,84

)85

,46

(0,8

3)

885

,46

(0,8

3)

85,4

5(0

,87

)85

,03

(3,5

2)

83,9

0(2

,98

)85

,00

(1,6

2)

82,9

9(3

,07

)82

,06

(3,4

3)

85,4

6(0

,83

)85

,46

(0,8

3)

975

,32

(9,0

3)

92,3

2(3

,83

)93

,49

(3,2

3)

91,5

0(3

,52

)89

,80

(3,6

9)

89,3

5(3

,84

)96

,90

(2,4

4)

97,9

2(2

,15

)94

,79

(3,3

2)

1072

,94

(6,9

8)

72,4

9(5

,29

)70

,86

(6,6

3)

73,2

7(6

,07

)69

,25

(6,2

4)

72,5

5(5

,82

)71

,34

(7,6

5)

73,0

3(7

,98

)69

,30

(6,9

5)

1192

,51

(3,4

1)

95,9

0(2

,26

)96

,05

(2,2

6)

96,5

0(2

,04

)95

,57

(2,5

5)

95,9

9(2

,37

)95

,52

(2,5

9)

96,0

6(2

,16

)96

,69

(2,0

5)

1261

,21

(7,2

7)

64,9

1(6

,79

)72

,19

(7,0

5)

71,4

1(7

,39

)71

,17

(7,3

0)

71,5

8(8

,08

)61

,92

(8,0

2)

55,6

4(8

,74

)58

,03

(1,9

8)

1370

,02

(0,1

6)

92,9

8(2

,06

)97

,04

(1,1

7)

90,4

1(2

,33

)91

,91

(2,2

2)

93,3

3(1

,94

)93

,95

(1,4

0)

85,2

4(2

,48

)93

,53

(1,8

9)

1484

,77

(0,6

5)

96,9

4(2

,79

)99

,13

(1,6

4)

94,5

3(3

,26

)97

,34

(2,5

6)

97,3

6(2

,35

)88

,82

(3,0

3)

86,5

6(3

,30

)94

,94

(3,3

8)

1575

,91

(0,2

3)

95,1

4(1

,71

)98

,50

(0,9

6)

94,6

6(1

,82

)95

,82

(1,6

9)

95,6

2(1

,58

)97

,34

(1,2

5)

89,9

9(2

,46

)95

,05

(1,7

4)

1685

,53

(1,0

9)

97,7

3(2

,44

)98

,57

(1,8

3)

96,9

2(2

,78

)97

,93

(2,1

8)

98,1

3(2

,06

)96

,88

(2,4

7)

91,8

0(2

,90

)98

,07

(2,4

7)

1794

,61

(0,2

2)

94,6

1(0

,22

)99

,60

(0,6

4)

98,7

2(0

,95

)99

,39

(0,7

1)

99,3

2(0

,80

)99

,64

(0,5

4)

96,7

3(0

,94

)99

,45

(0,6

7)

1877

,65

(10,

39)

97,6

8(4

,07

)98

,72

(4,1

4)

97,5

8(5

,25

)97

,53

(4,1

5)

99,4

9(2

,45

)94

,99

(5,5

6)

93,0

3(6

,45

)94

,40

(6,9

6)

1964

,58

(1,9

8)

80,8

4(5

,31

)85

,72

(5,5

0)

83,7

4(5

,90

)82

,93

(6,2

3)

84,2

2(5

,85

)80

,61

(6,2

4)

85,5

5(5

,42

)84

,23

(5,5

1)

2080

,06

(5,3

7)

82,7

7(5

,50

)66

,46

(1,4

8)

83,6

7(5

,35

)67

,77

(3,4

6)

66,2

9(1

,27

)65

,57

(7,8

8)

65,8

6(7

,98

)76

,26

(5,8

2)

2185

,51

(3,9

6)

85,4

9(3

,94

)86

,43

(3,6

0)

86,5

0(3

,83

)85

,53

(3,9

9)

85,7

5(3

,89

)81

,61

(4,6

0)

78,0

0(4

,20

)85

,11

(3,8

7)

2285

,51

(3,9

6)

85,4

9(3

,94

)86

,43

(3,6

0)

86,5

0(3

,83

)85

,53

(3,9

9)

85,7

5(3

,89

)81

,61

(4,6

0)

78,0

0(4

,20

)85

,11

(3,8

7)

2368

,88

(4,0

4)

72,2

8(5

,24

)62

,17

(3,9

4)

75,6

9(5

,78

)60

,80

(4,1

2)

57,9

3(1

,19

)74

,96

(5,0

5)

73,6

5(5

,97

)81

,14

(5,4

8)

2472

,47

(5,4

0)

75,3

3(4

,78

)75

,80

(4,4

4)

75,8

6(4

,66

)75

,65

(4,6

4)

75,6

0(4

,70

)70

,97

(4,8

1)

75,6

3(5

,23

)77

,04

(4,5

1)

2551

,23

(6,2

1)

57,2

6(9

,45

)59

,19

(8,0

1)

61,5

3(9

,19

)35

,58

(1,6

5)

58,8

5(9

,43

)56

,37

(9,6

8)

54,1

7(1

0,38

)62

,08

(9,6

2)

2644

,99

(4,1

1)

69,7

4(9

,20

)75

,27

(8,4

5)

72,2

3(8

,73

)72

,59

(9,2

6)

73,6

1(9

,20

)69

,92

(8,5

3)

50,0

6(8

,97

)57

,26

(9,0

3)

2773

,04

(4,4

5)

73,4

1(4

,30

)70

,99

(5,8

3)

72,9

0(5

,09

)72

,82

(5,3

4)

73,1

7(5

,09

)67

,01

(6,6

6)

75,3

0(5

,50

)72

,87

(2,3

4)

2875

,24

(8,1

0)

81,3

4(6

,88

)81

,39

(6,8

8)

81,6

6(6

,46

)80

,51

(6,8

8)

79,0

5(6

,60

)76

,44

(6,7

8)

83,3

3(7

,24

)83

,92

(6,3

5)

2981

,20

(7,2

1)

80,3

1(6

,79

)81

,81

(6,4

2)

81,7

2(6

,35

)79

,61

(6,5

4)

79,8

5(7

,05

)78

,63

(7,4

0)

84,1

5(6

,10

)83

,54

(6,2

4)

3074

,98

(9,0

8)

82,9

3(6

,67

)80

,86

(6,5

2)

81,9

8(6

,61

)80

,57

(7,0

9)

80,5

0(6

,82

)75

,71

(8,2

2)

83,6

8(5

,97

)83

,87

(6,2

1)

3180

,41

(5,7

1)

81,1

3(6

,61

)83

,07

(9,0

1)

80,9

1(7

,96

)81

,75

(6,5

5)

80,9

1(8

,38

)80

,92

(8,5

9)

84,1

8(1

0,04

)85

,55

(8,6

8)

3295

,38

(0,7

1)

99,2

2(0

,46

)99

,61

(0,3

2)

99,4

8(0

,36

)99

,54

(0,3

0)

99,5

8(0

,32

)91

,80

(1,1

4)

95,4

5(0

,75

)93

,60

(0,4

5)

3397

,90

(0,7

5)

99,7

9(0

,22

)99

,86

(0,1

9)

99,7

5(0

,26

)99

,86

(0,1

8)

99,8

7(0

,18

)95

,29

(0,7

8)

96,0

7(0

,75

)95

,09

(0,3

7)

3497

,57

(2,5

4)

98,5

0(2

,27

)98

,34

(2,5

6)

98,4

5(2

,35

)97

,45

(2,6

5)

97,9

0(2

,72

)90

,04

(5,4

8)

94,0

0(4

,35

)95

,25

(3,8

8)

3599

,05

(0,6

5)

99,6

1(0

,31

)99

,70

(0,3

0)

99,6

7(0

,31

)99

,61

(0,3

2)

99,6

9(0

,29

)98

,70

(0,5

1)

99,2

6(0

,42

)98

,72

(0,4

3)

APÊNDICE B. TABELAS DE RESULTADOS 103

Tabe

laB

.6:R

esul

tado

sda

Méd

iada

sTa

xas

deA

cert

odo

sN

ove

Tipo

sde

Cla

ssifi

cado

rBas

equ

ando

Ger

ados

pelo

Mét

odo

Bag

ging

.Id

Bas

eD

SD

TPT

JRR

TA

DK

NN

NB

SVM

3682

,58

(4,9

5)

89,5

6(4

,70

)92

,46

(4,3

4)

91,9

1(4

,20

)91

,05

(4,5

6)

92,0

8(4

,15

)87

,15

(5,1

2)

82,0

0(6

,34

)88

,53

(5,0

2)

3768

,30

(5,8

9)

94,1

5(5

,67

)94

,47

(5,2

0)

94,7

5(5

,71

)94

,31

(5,6

1)

94,6

1(5

,03

)95

,51

(4,7

6)

95,6

0(5

,31

)96

,16

(4,8

7)

3848

,32

(3,6

9)

89,4

7(4

,09

)95

,81

(2,8

0)

94,8

4(2

,87

)16

,67

(0,0

0)

95,5

0(2

,94

)97

,12

(2,1

5)

94,5

5(2

,56

)99

,27

(1,2

0)

3966

,05

(1,7

2)

97,6

8(0

,77

)99

,39

(0,3

9)

99,3

3(0

,41

)99

,06

(0,5

0)

99,4

2(0

,39

)96

,32

(1,0

6)

87,7

5(1

,89

)96

,06

(1,2

5)

4082

,14

(15,

40)

85,4

3(1

4,01

)83

,66

(15,

85)

88,6

3(1

2,04

)83

,85

(15,

86)

83,2

5(1

6,04

)84

,97

(15,

59)

93,6

6(1

0,14

)92

,08

(11,

32)

4191

,85

(2,4

2)

98,7

2(1

,05

)99

,66

(0,4

4)

99,7

2(0

,45

)99

,40

(0,6

8)

99,5

2(0

,61

)99

,99

(0,0

7)

94,7

5(1

,84

)99

,60

(0,5

1)

4288

,18

(4,9

4)

97,3

9(1

,22

)99

,42

(0,5

1)

99,2

3(0

,55

)98

,90

(0,7

3)

99,1

1(0

,65

)99

,98

(0,0

8)

94,9

6(1

,55

)99

,08

(0,6

0)

4347

,64

(0,8

1)

92,9

3(1

,76

)98

,60

(0,7

1)

98,1

2(0

,77

)97

,18

(0,9

8)

98,1

0(0

,80

)99

,55

(0,3

7)

90,2

6(1

,56

)96

,43

(0,9

4)

4461

,21

(7,2

7)

64,9

1(6

,79

)72

,19

(7,0

5)

71,4

1(7

,39

)71

,17

(7,3

0)

71,5

8(8

,08

)61

,92

(8,0

2)

55,6

4(8

,74

)58

,03

(1,9

8)

4574

,38

(11,

30)

78,5

8(9

,63

)82

,39

(9,8

8)

79,2

1(1

0,34

)77

,20

(9,9

6)

77,7

4(1

0,66

)81

,47

(9,1

9)

83,7

0(9

,30

)85

,79

(8,0

4)

4697

,13

(5,0

7)

96,7

5(5

,20

)98

,34

(4,1

6)

97,3

1(4

,95

)95

,45

(5,6

2)

98,3

4(4

,16

)98

,77

(3,4

9)

99,0

3(3

,29

)99

,41

(2,5

0)

4778

,02

(10,

33)

82,5

0(9

,89

)85

,18

(9,1

3)

81,5

8(9

,84

)81

,24

(9,8

5)

81,7

8(9

,99

)82

,23

(10,

07)

85,6

4(9

,42

)86

,73

(8,9

2)

4819

,81

(0,7

2)

73,5

9(3

,80

)91

,69

(1,8

3)

93,0

0(1

,68

)88

,02

(2,2

4)

90,2

7(2

,30

)96

,14

(1,3

1)

93,5

1(1

,57

)96

,81

(1,2

9)

4919

,86

(0,3

0)

70,1

6(2

,81

)72

,84

(2,7

4)

72,1

9(2

,78

)71

,11

(2,7

3)

72,8

0(2

,69

)66

,12

(2,6

3)

69,4

2(2

,59

)70

,27

(2,6

7)

5019

,53

(0,6

2)

65,3

2(3

,01

)76

,39

(2,1

3)

77,2

7(2

,13

)72

,68

(2,2

5)

74,2

8(2

,40

)79

,34

(1,8

5)

73,1

5(2

,84

)82

,98

(2,0

5)

5182

,89

(12,

60)

93,3

2(6

,62

)91

,90

(7,2

5)

92,0

2(7

,39

)92

,85

(6,7

9)

91,9

3(7

,26

)83

,48

(10,

99)

93,3

5(6

,56

)93

,44

(6,5

8)

5299

,39

(1,2

2)

99,3

9(1

,22

)99

,37

(1,2

4)

99,2

5(1

,42

)99

,39

(1,2

3)

99,3

9(1

,22

)99

,39

(1,2

2)

99,3

9(1

,22

)99

,39

(1,2

2)

5393

,13

(0,7

0)

96,0

4(0

,70

)97

,40

(0,6

2)

97,4

0(0

,62

)97

,23

(0,6

7)

97,3

0(0

,64

)96

,06

(0,7

5)

90,0

9(1

,96

)93

,32

(0,7

2)

5469

,59

(7,8

3)

69,8

0(6

,62

)61

,88

(11,

14)

69,2

2(7

,48

)70

,09

(6,7

3)

68,6

7(8

,64

)59

,26

(11,

16)

67,9

3(8

,66

)67

,56

(8,4

1)

5528

,86

(3,7

7)

42,3

1(5

,92

)44

,54

(6,7

1)

41,1

7(6

,02

)43

,17

(6,6

6)

44,0

4(6

,84

)39

,02

(6,7

9)

49,4

9(6

,47

)47

,44

(6,1

4)

5654

,68

(4,5

6)

91,7

8(2

,21

)97

,60

(1,0

5)

97,5

7(0

,90

)96

,56

(1,2

4)

97,3

8(1

,11

)97

,03

(1,1

4)

80,3

0(2

,14

)92

,85

(1,5

5)

5796

,55

(0,9

1)

97,6

6(0

,78

)98

,72

(0,5

9)

98,5

6(0

,69

)98

,74

(0,5

8)

98,8

3(0

,55

)96

,02

(0,8

9)

92,7

4(1

,31

)93

,89

(0,1

4)

5873

,06

(9,3

6)

74,7

5(9

,80

)79

,86

(9,2

5)

80,6

0(9

,09

)76

,29

(9,9

4)

78,5

5(9

,35

)85

,95

(8,4

3)

67,9

2(8

,88

)77

,55

(8,5

7)

5927

,84

(2,0

9)

86,5

4(3

,36

)92

,97

(2,8

2)

93,3

3(2

,71

)86

,93

(3,4

9)

92,7

5(3

,01

)91

,05

(3,1

2)

92,7

6(2

,80

)93

,21

(2,7

3)

6092

,49

(6,1

5)

92,4

9(6

,18

)92

,92

(6,3

6)

92,4

6(6

,21

)92

,50

(6,1

5)

92,7

5(6

,22

)92

,61

(7,8

7)

87,9

7(1

0,94

)95

,50

(6,0

2)

6147

,55

(12,

67)

53,2

2(1

1,45

)58

,90

(10,

60)

53,8

3(1

2,58

)54

,00

(12,

36)

58,9

8(1

1,60

)62

,33

(12,

62)

54,7

9(1

1,41

)53

,30

(12,

02)

6256

,06

(10,

50)

61,3

9(1

4,70

)60

,35

(13,

41)

63,5

2(1

2,84

)61

,31

(13,

20)

63,6

1(1

2,89

)71

,30

(13,

15)

63,4

4(1

3,35

)69

,28

(12,

67)

6364

,04

(13,

85)

69,4

1(1

3,32

)58

,63

(14,

69)

74,3

5(1

3,14

)62

,22

(13,

36)

66,8

2(1

3,97

)84

,48

(10,

35)

71,0

2(1

2,75

)76

,96

(11,

82)

6457

,55

(13,

87)

67,3

9(1

5,33

)65

,20

(14,

52)

66,7

3(1

5,05

)72

,78

(12,

90)

72,5

4(1

3,22

)74

,57

(13,

80)

70,3

2(1

4,70

)76

,20

(13,

11)

6569

,93

(4,3

1)

83,6

4(3

,94

)99

,39

(0,8

1)

98,1

5(1

,32

)91

,14

(2,8

9)

93,0

7(2

,46

)98

,72

(1,1

3)

69,9

6(4

,40

)98

,33

(1,2

8)

6640

,22

(2,0

7)

68,6

2(3

,57

)74

,77

(4,0

0)

73,8

0(3

,87

)73

,04

(4,0

5)

74,2

2(4

,11

)69

,72

(3,9

3)

45,5

7(4

,49

)74

,36

(3,7

0)

6771

,82

(7,5

4)

93,2

6(4

,33

)96

,03

(2,5

7)

97,2

0(2

,66

)84

,75

(6,1

0)

95,6

6(2

,89

)86

,33

(4,8

3)

76,9

0(6

,98

)90

,05

(4,9

0)

6872

,35

(5,7

7)

92,0

5(3

,80

)95

,57

(2,8

8)

96,2

9(2

,75

)88

,05

(4,3

9)

95,5

3(2

,89

)85

,55

(4,9

4)

79,0

4(6

,55

)91

,23

(4,5

2)

6975

,67

(5,7

0)

98,0

3(2

,18

)98

,94

(1,6

5)

98,2

8(2

,08

)96

,74

(2,8

4)

98,0

5(2

,03

)86

,10

(4,8

6)

68,6

7(6

,74

)97

,26

(2,5

0)

7056

,57

(4,6

3)

55,3

9(7

,03

)52

,59

(7,6

0)

58,4

1(6

,92

)45

,74

(7,3

2)

52,5

5(8

,10

)52

,61

(7,5

9)

50,3

4(6

,89

)54

,86

(7,4

2)

APÊNDICE B. TABELAS DE RESULTADOS 104

Tabe

laB

.7:R

esul

tado

sda

Méd

iada

sTa

xas

deA

cert

odo

sN

ove

Tipo

sde

Cla

ssifi

cado

rBas

equ

ando

Ger

ados

pelo

Mét

odo

Bag

ging

.Id

Bas

eD

SD

TPT

JRR

TA

DK

NN

NB

SVM

7184

,18

(5,2

6)

88,0

9(4

,56

)93

,18

(4,1

4)

93,1

4(3

,87

)84

,59

(4,8

5)

92,2

0(4

,05

)82

,15

(5,6

9)

80,1

8(5

,66

)92

,48

(3,7

7)

7284

,18

(5,2

6)

88,0

9(4

,56

)93

,18

(4,1

4)

93,1

4(3

,87

)84

,59

(4,8

5)

92,2

0(4

,05

)82

,15

(5,6

9)

80,1

8(5

,66

)92

,48

(3,7

7)

7395

,62

(2,7

8)

95,5

4(2

,81

)96

,25

(2,6

9)

95,8

5(2

,75

)95

,73

(2,7

6)

96,3

1(2

,63

)92

,39

(3,7

1)

90,0

1(4

,01

)95

,91

(2,9

5)

7421

,83

(4,7

0)

79,4

8(4

,33

)89

,27

(3,3

6)

86,9

7(3

,46

)86

,91

(3,7

3)

89,9

7(3

,31

)98

,90

(1,1

6)

63,2

1(4

,74

)71

,34

(3,9

9)

7580

,81

(2,6

9)

88,7

1(1

,92

)91

,23

(1,5

2)

91,1

5(1

,58

)90

,02

(1,6

4)

89,7

6(1

,70

)85

,21

(1,8

5)

87,8

6(1

,76

)92

,72

(1,5

8)

7679

,69

(2,1

4)

88,9

0(1

,80

)90

,84

(1,5

5)

90,7

9(1

,46

)89

,84

(1,6

0)

89,6

9(1

,66

)85

,48

(1,6

7)

87,7

2(1

,64

)92

,24

(1,3

5)

7786

,41

(1,9

1)

91,9

1(1

,38

)93

,79

(1,2

2)

93,7

5(1

,27

)93

,02

(1,4

3)

92,7

9(1

,46

)89

,72

(1,6

5)

94,4

8(1

,21

)94

,70

(1,0

9)

7857

,54

(2,1

5)

77,0

6(1

,91

)83

,50

(1,6

1)

84,1

4(1

,66

)81

,81

(1,7

1)

81,6

8(1

,61

)73

,75

(1,8

5)

79,9

9(1

,45

)86

,54

(1,4

8)

7948

,35

(42,

14)

56,1

7(4

0,04

)54

,24

(42,

81)

52,2

8(4

1,14

)60

,31

(38,

63)

57,1

5(4

1,97

)75

,31

(37,

84)

54,8

0(4

2,75

)62

,09

(39,

90)

8055

,20

(5,8

7)

52,0

6(4

,67

)53

,80

(5,7

0)

53,6

5(6

,17

)54

,89

(6,4

9)

54,4

1(5

,77

)50

,91

(5,7

0)

48,2

8(3

,79

)63

,98

(7,1

7)

8149

,29

(4,4

4)

50,1

9(1

,87

)49

,77

(3,0

9)

51,8

4(6

,06

)55

,49

(6,4

2)

49,9

8(4

,20

)55

,82

(6,5

3)

51,8

2(4

,12

)66

,56

(7,3

8)

828,

46(1

,52

)62

,13

(3,2

9)

80,6

4(2

,41

)77

,60

(2,7

6)

73,6

1(3

,13

)79

,10

(2,9

6)

83,7

3(2

,09

)61

,19

(3,1

3)

71,7

7(3

,09

)

8334

,75

(4,8

6)

81,8

1(3

,17

)94

,55

(1,7

6)

95,4

6(1

,45

)93

,86

(1,6

5)

93,6

9(1

,80

)96

,38

(1,3

5)

94,9

4(1

,54

)97

,81

(1,0

6)

8419

,74

(1,1

0)

70,3

1(2

,92

)81

,90

(2,5

4)

81,9

4(2

,60

)80

,36

(2,5

5)

81,4

8(2

,70

)81

,84

(2,1

6)

78,4

5(2

,66

)84

,06

(2,2

8)

8520

,02

(1,2

4)

81,7

8(2

,88

)90

,80

(1,9

7)

94,2

4(1

,50

)83

,35

(2,7

1)

83,7

9(2

,57

)95

,56

(1,3

4)

93,2

3(1

,51

)96

,96

(1,0

6)

8665

,56

(0,0

9)

93,9

9(0

,85

)99

,13

(0,3

8)

97,0

0(0

,60

)95

,38

(0,7

8)

96,2

4(0

,69

)95

,30

(0,7

5)

90,4

2(1

,01

)92

,91

(0,9

6)

8725

,70

(7,5

8)

82,9

9(5

,09

)90

,74

(3,7

7)

90,7

6(3

,96

)87

,88

(4,3

0)

90,6

2(3

,91

)97

,26

(2,0

6)

89,9

9(3

,69

)97

,57

(2,0

0)

8821

,50

(3,2

2)

81,1

8(3

,71

)93

,81

(2,2

8)

92,8

8(2

,13

)91

,55

(2,8

4)

92,7

8(2

,52

)97

,72

(1,3

1)

87,5

4(2

,79

)95

,09

(1,9

8)

8962

,40

(1,6

9)

92,1

4(1

,75

)94

,77

(1,2

5)

95,5

7(1

,19

)93

,91

(1,2

8)

94,5

4(1

,29

)82

,96

(1,9

7)

96,1

8(0

,95

)95

,83

(1,1

4)

9056

,56

(2,7

4)

79,7

6(2

,95

)88

,86

(2,0

1)

87,8

6(2

,12

)86

,39

(2,1

2)

87,6

8(2

,02

)86

,24

(2,2

0)

79,4

1(1

,98

)87

,31

(2,2

0)

9162

,49

(6,5

1)

76,6

9(6

,10

)81

,13

(5,4

1)

81,2

6(4

,94

)79

,10

(5,2

4)

78,9

5(5

,48

)70

,74

(6,5

2)

80,8

3(4

,40

)85

,68

(4,6

1)

9282

,47

(3,2

9)

96,0

9(2

,18

)97

,56

(1,8

2)

97,4

5(1

,87

)97

,36

(1,8

0)

97,4

3(1

,88

)97

,22

(1,7

1)

87,3

6(3

,59

)90

,47

(2,7

9)

9382

,58

(4,9

5)

89,6

6(4

,49

)92

,60

(4,4

1)

92,2

6(4

,49

)91

,52

(4,7

2)

92,6

3(4

,18

)89

,61

(4,1

9)

91,6

3(4

,47

)88

,21

(4,7

1)

9482

,58

(4,9

5)

89,6

6(4

,49

)92

,60

(4,4

1)

92,2

6(4

,49

)91

,52

(4,7

2)

92,6

3(4

,18

)89

,61

(4,1

9)

91,6

3(4

,47

)88

,21

(4,7

1)

9526

,65

(4,7

3)

77,5

3(6

,42

)87

,50

(4,4

7)

84,7

9(5

,03

)85

,43

(5,1

9)

86,9

3(4

,57

)98

,64

(1,7

1)

70,0

2(6

,53

)71

,50

(6,6

8)

9693

,00

(6,2

3)

92,5

0(6

,15

)92

,42

(6,2

2)

92,6

5(6

,19

)92

,04

(6,5

5)

92,3

9(6

,23

)93

,77

(7,0

7)

95,0

0(6

,15

)93

,63

(6,9

2)

9798

,55

(4,3

3)

95,7

1(6

,58

)95

,92

(6,4

8)

95,7

8(6

,55

)95

,71

(6,5

8)

95,9

2(6

,48

)98

,52

(4,3

6)

95,8

7(6

,51

)95

,79

(6,5

5)

9882

,40

(7,4

5)

88,9

7(7

,01

)92

,70

(6,3

1)

91,4

6(6

,41

)90

,53

(6,7

8)

92,4

2(6

,35

)92

,15

(5,8

0)

91,1

3(7

,43

)90

,30

(6,4

9)

9985

,35

(8,3

0)

93,7

1(6

,29

)93

,72

(5,4

9)

94,9

7(5

,15

)93

,41

(5,9

7)

93,8

9(5

,58

)95

,84

(4,7

9)

91,8

4(7

,57

)91

,86

(6,5

8)

100

24,1

8(4

,71

)82

,31

(6,5

0)

90,7

8(4

,18

)87

,61

(5,0

3)

86,8

1(5

,74

)89

,81

(4,8

5)

97,6

0(2

,21

)69

,41

(7,1

2)

72,0

8(6

,71

)

101

26,6

5(4

,73

)77

,53

(6,4

2)

87,5

0(4

,47

)84

,79

(5,0

3)

85,4

3(5

,19

)86

,93

(4,5

7)

98,6

4(1

,71

)70

,02

(6,5

3)

71,5

0(6

,68

)

102

27,7

4(5

,45

)75

,83

(8,2

7)

86,5

2(6

,70

)82

,64

(7,2

8)

80,7

8(7

,41

)86

,41

(6,4

4)

95,0

4(4

,18

)66

,54

(8,1

0)

63,3

7(8

,43

)

103

27,1

2(5

,57

)74

,90

(8,0

4)

83,4

9(6

,71

)79

,49

(7,3

3)

74,3

9(8

,05

)83

,74

(7,2

9)

92,0

2(4

,63

)66

,28

(8,2

9)

60,3

4(7

,94

)

104

26,7

4(5

,48

)69

,05

(9,3

1)

79,8

0(7

,33

)75

,68

(8,2

8)

66,4

3(9

,76

)79

,83

(8,0

3)

88,4

8(5

,92

)62

,09

(9,3

2)

53,1

4(8

,93

)

105

78,1

8(4

,10

)80

,92

(4,9

1)

83,5

1(6

,40

)80

,85

(5,1

5)

79,6

4(5

,54

)82

,99

(5,8

6)

86,7

2(5

,39

)79

,81

(5,2

9)

78,1

6(2

,53

)

APÊNDICE B. TABELAS DE RESULTADOS 105

Tabe

laB

.8:R

esul

tado

sda

Méd

iada

sTa

xas

deA

cert

odo

sN

ove

Tipo

sde

Cla

ssifi

cado

rBas

equ

ando

Ger

ados

pelo

Mét

odo

Bag

ging

.Id

Bas

eD

SD

TPT

JRR

TA

DK

NN

NB

SVM

106

77,8

8(3

,93

)79

,56

(3,4

2)

82,8

8(6

,51

)81

,65

(5,2

7)

79,3

5(5

,29

)82

,45

(5,3

5)

86,6

1(6

,44

)80

,06

(5,1

7)

78,8

4(2

,11

)

107

78,2

0(5

,34

)79

,32

(4,5

2)

81,9

1(7

,34

)80

,99

(5,9

8)

78,3

7(5

,24

)81

,08

(6,2

1)

85,4

2(8

,32

)80

,10

(5,9

6)

78,2

5(3

,33

)

108

77,5

2(5

,99

)78

,81

(5,2

7)

81,0

1(8

,33

)80

,97

(6,7

7)

79,0

7(5

,44

)79

,43

(6,5

3)

84,5

1(8

,94

)81

,50

(8,0

5)

79,5

7(3

,99

)

109

77,1

0(6

,87

)77

,76

(5,8

4)

81,6

6(8

,57

)80

,02

(8,1

8)

77,5

6(5

,51

)79

,88

(7,1

5)

85,3

4(9

,58

)80

,24

(8,0

6)

76,4

6(4

,47

)

110

76,0

7(8

,19

)76

,52

(6,4

4)

78,0

5(9

,33

)80

,19

(8,5

0)

76,0

8(5

,15

)77

,67

(6,8

2)

83,6

5(9

,58

)79

,06

(8,5

4)

75,5

6(4

,73

)

APÊNDICE B. TABELAS DE RESULTADOS 106

B.2

.2R

esul

tado

spar

aB

oost

ing

ATa

bela

B.9

apre

sent

ao

dese

mpe

nho

méd

ioda

arqu

itetu

raB

oost

ing

emto

dos

osno

vein

duto

res

cand

iddo

sa

clas

sific

ador

base

utili

zado

sne

ste

trab

alho

quan

doav

alia

dos

nas

base

sde

dado

sid

entifi

cada

sco

mos

índi

ces

1a

35.

ATa

bela

B.1

0ap

rese

nta

ode

sem

penh

om

édio

daar

quite

tura

Boo

stin

gem

todo

sos

nove

indu

tore

sca

ndid

dos

acl

assi

ficad

orba

seut

iliza

dos

nest

etr

abal

hoqu

ando

aval

iado

sna

sba

ses

deda

dos

iden

tifica

das

com

osín

dice

s36

a70

.

ATa

bela

B.1

1ap

rese

nta

ode

sem

penh

om

édio

daar

quite

tura

Boo

stin

gem

todo

sos

nove

indu

tore

sca

ndid

dos

acl

assi

ficad

orba

seut

iliza

dos

nest

etr

abal

hoqu

ando

aval

iado

sna

sba

ses

deda

dos

iden

tifica

das

com

osín

dice

s71

a10

5.

ATa

bela

B.1

1ap

rese

nta

ode

sem

penh

om

édio

daar

quite

tura

Boo

stin

gem

todo

sos

nove

indu

tore

sca

ndid

dos

acl

assi

ficad

orba

seut

iliza

dos

nest

etr

abal

hoqu

ando

aval

iado

sna

sba

ses

deda

dos

iden

tifica

das

com

osín

dice

s10

6a

110.

APÊNDICE B. TABELAS DE RESULTADOS 107

Tabe

laB

.9:R

esul

tado

sda

Méd

iada

sTa

xas

deA

cert

odo

sN

ove

Tipo

sde

Cla

ssifi

cado

rBas

equ

ando

Ger

ados

pelo

Mét

odo

Bag

ging

.Id

Bas

eD

SD

TPT

JRR

TA

DK

NN

NB

SVM

164

,62

(1,9

4)

81,3

3(5

,10

)83

,15

(5,8

8)

82,4

2(5

,90

)81

,93

(6,2

4)

82,5

3(6

,02

)80

,66

(6,1

6)

85,5

0(5

,46

)84

,63

(5,4

1)

283

,63

(0,5

2)

99,4

3(0

,71

)99

,47

(0,7

9)

99,5

2(0

,75

)99

,31

(0,9

0)

99,5

6(0

,71

)99

,13

(1,0

6)

93,8

1(2

,65

)99

,30

(0,8

0)

383

,62

(0,5

7)

99,4

3(0

,71

)95

,81

(1,8

7)

99,0

5(0

,99

)93

,97

(2,4

9)

94,9

6(2

,27

)95

,49

(2,2

1)

83,1

1(6

,05

)90

,14

(3,0

9)

455

,13

(3,9

1)

67,5

9(6

,06

)73

,30

(5,1

3)

71,9

1(5

,64

)68

,49

(5,5

8)

71,5

0(5

,74

)53

,20

(5,0

6)

63,3

6(6

,41

)67

,43

(5,7

6)

546

,46

(2,1

8)

79,4

3(7

,04

)84

,76

(7,2

3)

80,8

0(7

,78

)72

,35

(7,4

9)

84,2

3(7

,36

)78

,43

(7,0

1)

78,2

7(7

,15

)81

,09

(7,0

3)

671

,20

(4,2

0)

77,7

7(5

,88

)81

,71

(3,9

4)

85,3

2(3

,95

)82

,09

(3,6

2)

77,7

6(4

,13

)86

,72

(2,7

1)

91,6

9(2

,80

)87

,54

(2,4

9)

785

,47

(1,2

1)

84,9

9(1

,68

)87

,45

(4,6

6)

84,6

3(5

,27

)83

,26

(4,2

4)

82,7

1(5

,15

)80

,50

(3,9

9)

91,6

3(4

,76

)88

,97

(4,7

4)

885

,41

(1,1

6)

84,8

2(2

,15

)87

,18

(4,5

3)

84,6

8(5

,40

)82

,16

(5,1

9)

82,2

2(4

,91

)80

,60

(3,8

2)

91,7

4(4

,46

)88

,67

(4,1

2)

992

,46

(2,9

8)

94,5

1(2

,97

)92

,93

(3,5

2)

93,3

8(3

,17

)91

,89

(3,5

5)

89,9

2(3

,93

)97

,26

(2,1

9)

98,8

2(1

,53

)95

,27

(3,0

1)

1071

,49

(7,7

6)

69,9

3(7

,57

)68

,32

(8,8

9)

70,5

6(7

,64

)67

,86

(6,9

9)

66,4

8(7

,73

)71

,25

(7,4

3)

68,9

3(7

,98

)68

,45

(7,8

4)

1195

,04

(2,4

6)

95,9

7(2

,27

)96

,14

(2,1

4)

96,0

4(2

,15

)95

,18

(2,6

8)

96,0

9(2

,24

)95

,28

(2,5

9)

95,6

1(2

,44

)96

,73

(2,0

4)

1268

,46

(7,3

0)

59,1

1(6

,19

)68

,31

(7,7

5)

69,9

6(7

,22

)67

,93

(8,2

6)

69,3

9(7

,22

)62

,22

(8,1

8)

65,3

7(8

,55

)63

,95

(8,9

4)

1370

,02

(0,1

6)

95,9

9(1

,66

)98

,53

(0,9

6)

95,7

2(2

,06

)94

,75

(1,8

4)

95,8

4(1

,61

)93

,05

(1,5

9)

89,8

1(2

,50

)94

,25

(1,9

7)

1487

,35

(3,0

8)

99,0

8(1

,93

)99

,59

(1,3

8)

97,7

7(2

,98

)97

,57

(2,7

5)

98,7

0(1

,85

)87

,18

(2,6

7)

92,2

3(3

,63

)97

,08

(2,5

6)

1583

,98

(2,3

7)

98,9

2(0

,90

)99

,66

(0,4

8)

98,9

1(1

,03

)98

,38

(1,2

2)

98,5

4(0

,99

)98

,28

(1,1

3)

92,8

1(2

,05

)95

,18

(1,7

2)

1689

,06

(2,6

9)

99,2

7(1

,53

)99

,23

(1,3

6)

98,3

7(2

,51

)98

,77

(1,7

1)

98,9

1(1

,57

)96

,48

(2,6

4)

98,2

5(2

,06

)99

,41

(1,4

6)

1796

,74

(1,2

8)

99,8

8(0

,34

)99

,84

(0,3

6)

99,1

7(0

,92

)99

,50

(0,7

7)

99,6

6(0

,59

)99

,83

(0,4

1)

99,7

2(0

,45

)99

,85

(0,4

6)

1893

,68

(6,4

5)

99,8

5(1

,08

)99

,38

(2,8

3)

96,7

8(5

,01

)98

,05

(5,5

4)

99,9

9(0

,08

)95

,59

(5,3

3)

96,9

6(4

,93

)99

,47

(2,6

5)

1964

,62

(1,9

4)

81,4

9(4

,93

)83

,30

(5,7

7)

82,0

2(5

,84

)81

,95

(6,2

5)

82,7

5(6

,04

)80

,36

(6,3

0)

85,4

2(5

,45

)85

,08

(5,5

3)

2084

,14

(5,4

4)

82,4

5(5

,83

)66

,28

(1,4

6)

81,6

0(6

,18

)62

,52

(11,

05)

66,2

8(1

,46

)65

,18

(7,9

3)

67,1

2(7

,59

)77

,32

(6,2

2)

2185

,33

(4,0

2)

85,0

0(4

,18

)84

,43

(4,2

7)

84,4

4(4

,17

)83

,15

(4,1

3)

84,7

9(4

,03

)81

,57

(4,5

7)

80,8

7(4

,12

)83

,68

(4,0

8)

2285

,33

(4,0

2)

85,0

0(4

,18

)84

,43

(4,2

7)

84,4

4(4

,17

)83

,15

(4,1

3)

84,7

9(4

,03

)81

,57

(4,5

7)

80,8

7(4

,12

)83

,68

(4,0

8)

2371

,72

(5,4

2)

80,5

2(5

,78

)58

,68

(2,3

8)

76,6

3(5

,55

)62

,38

(8,5

2)

57,7

8(0

,74

)75

,22

(5,1

2)

77,7

0(6

,05

)81

,56

(5,6

9)

2474

,65

(4,8

6)

73,8

5(4

,85

)73

,65

(5,1

0)

74,3

6(4

,30

)73

,77

(4,9

3)

72,3

4(4

,72

)70

,62

(4,6

7)

75,8

5(4

,87

)76

,80

(4,5

4)

2550

,93

(5,7

2)

56,0

8(9

,57

)56

,39

(9,9

5)

59,8

6(9

,40

)35

,58

(1,6

5)

59,9

0(1

0,37

)56

,24

(9,8

5)

54,2

4(1

0,89

)59

,36

(10,

27)

2644

,89

(3,0

5)

67,8

7(9

,92

)75

,69

(8,0

2)

74,3

0(8

,21

)70

,04

(9,7

6)

75,6

0(8

,19

)69

,95

(8,4

3)

49,6

2(9

,54

)59

,40

(8,6

3)

2773

,63

(5,2

4)

71,4

1(4

,72

)69

,12

(6,8

7)

72,4

3(5

,90

)71

,22

(6,4

7)

69,7

5(6

,77

)66

,56

(6,6

9)

74,1

5(5

,80

)73

,46

(5,1

0)

2882

,90

(6,8

4)

80,1

8(7

,86

)79

,50

(6,9

1)

79,2

4(6

,84

)79

,07

(6,8

0)

78,6

7(7

,29

)76

,06

(6,8

4)

83,1

2(6

,48

)83

,88

(6,3

8)

2982

,06

(6,7

3)

81,2

3(7

,43

)80

,94

(6,6

8)

78,8

2(6

,90

)79

,85

(6,4

1)

78,5

3(7

,23

)78

,33

(7,5

4)

84,5

6(5

,90

)83

,20

(6,0

0)

3081

,60

(7,1

8)

82,6

4(6

,83

)80

,18

(6,6

4)

79,5

2(7

,17

)78

,07

(7,6

2)

79,2

4(7

,23

)76

,15

(8,4

6)

82,5

5(6

,35

)83

,67

(6,3

3)

3181

,01

(8,4

4)

79,4

9(8

,88

)83

,28

(8,2

1)

80,5

4(8

,47

)80

,15

(9,5

3)

82,4

2(8

,64

)81

,40

(8,5

5)

84,4

4(8

,76

)82

,67

(8,4

3)

3293

,13

(0,8

9)

98,6

1(0

,64

)99

,62

(0,3

2)

99,3

7(0

,42

)99

,50

(0,3

4)

99,6

4(0

,32

)91

,52

(1,1

6)

95,2

8(0

,74

)94

,64

(0,6

7)

3399

,21

(0,4

4)

99,4

4(0

,40

)99

,83

(0,2

2)

99,7

6(0

,30

)99

,82

(0,2

1)

99,8

2(0

,21

)95

,40

(0,7

5)

97,3

5(0

,84

)96

,82

(0,6

5)

3499

,12

(1,7

9)

99,3

6(1

,52

)98

,89

(2,1

9)

98,9

8(1

,90

)98

,34

(2,4

6)

99,4

6(1

,69

)90

,07

(5,4

0)

95,5

5(3

,92

)95

,74

(3,7

4)

3599

,59

(0,3

3)

99,5

0(0

,36

)99

,75

(0,3

0)

99,6

9(0

,30

)99

,61

(0,3

6)

99,7

6(0

,25

)98

,72

(0,5

3)

99,1

3(0

,44

)99

,06

(0,5

2)

APÊNDICE B. TABELAS DE RESULTADOS 108

Tabe

laB

.10:

Res

ulta

dos

daM

édia

das

Taxa

sde

Ace

rto

dos

Nov

eTi

pos

deC

lass

ifica

dorB

ase

quan

doG

erad

ospe

loM

étod

oB

aggi

ng.

IdB

ase

DS

DT

PTJR

RT

AD

KN

NN

BSV

M36

90,5

0(4

,48

)91

,53

(4,7

2)

92,8

9(4

,05

)92

,40

(4,1

3)

90,7

7(4

,39

)92

,91

(4,0

4)

87,1

0(5

,12

)90

,82

(4,7

3)

89,2

5(4

,75

)

3793

,20

(5,4

3)

94,0

1(5

,40

)94

,72

(4,9

9)

93,8

8(6

,31

)94

,92

(5,3

6)

94,3

1(5

,13

)95

,40

(4,8

0)

95,0

8(5

,59

)97

,68

(3,9

5)

3833

,27

(0,3

3)

94,1

1(2

,80

)97

,24

(2,0

6)

95,9

8(2

,45

)16

,67

(0,0

0)

97,1

9(2

,18

)97

,00

(2,2

5)

98,1

3(1

,86

)99

,33

(1,1

1)

3991

,28

(1,5

4)

99,1

1(0

,52

)99

,60

(0,3

3)

99,6

5(0

,31

)99

,36

(0,4

2)

99,5

9(0

,33

)96

,12

(1,1

2)

93,9

3(1

,44

)97

,10

(1,0

0)

4088

,02

(12,

93)

87,6

2(1

2,90

)86

,16

(14,

69)

88,2

1(1

3,56

)82

,56

(16,

61)

86,6

5(1

4,73

)84

,30

(16,

24)

89,7

0(1

3,12

)89

,81

(12,

14)

4197

,68

(1,1

0)

99,6

2(0

,43

)99

,84

(0,3

5)

99,7

8(0

,47

)99

,63

(0,5

1)

99,8

7(0

,26

)99

,99

(0,0

6)

99,3

5(0

,54

)99

,65

(0,5

1)

4291

,00

(2,1

5)

98,7

9(0

,77

)99

,61

(0,4

0)

99,6

1(0

,40

)99

,19

(0,7

2)

99,6

5(0

,41

)99

,99

(0,0

6)

98,5

9(0

,73

)99

,14

(0,5

9)

4347

,67

(0,7

7)

96,0

7(1

,16

)98

,99

(0,5

9)

98,9

4(0

,54

)98

,23

(0,8

8)

99,0

8(0

,56

)99

,55

(0,3

8)

92,8

1(1

,37

)96

,39

(1,0

0)

4468

,46

(7,3

0)

59,1

1(6

,19

)68

,31

(7,7

5)

69,9

6(7

,22

)67

,93

(8,2

6)

69,3

9(7

,22

)62

,22

(8,1

8)

65,3

7(8

,55

)63

,95

(8,9

4)

4575

,43

(10,

69)

79,9

3(9

,92

)82

,43

(9,2

9)

84,4

3(9

,02

)77

,17

(10,

31)

81,4

7(9

,19

)81

,69

(8,7

3)

81,4

7(9

,39

)84

,47

(8,9

5)

4696

,94

(5,1

9)

96,7

4(5

,29

)97

,72

(4,7

4)

96,9

3(5

,20

)97

,64

(4,7

6)

98,1

7(4

,39

)99

,00

(3,2

0)

98,2

2(4

,26

)99

,22

(2,8

5)

4783

,59

(9,4

3)

84,2

5(9

,66

)86

,17

(8,9

3)

85,6

3(8

,16

)81

,37

(10,

08)

85,7

6(8

,76

)81

,50

(10,

50)

84,4

6(9

,54

)85

,51

(9,0

9)

4819

,44

(0,4

7)

87,0

2(2

,31

)93

,33

(1,7

8)

92,6

7(1

,80

)89

,15

(2,4

0)

93,2

5(1

,60

)96

,12

(1,3

4)

93,7

4(1

,75

)95

,48

(1,4

0)

4919

,93

(0,2

0)

69,1

1(2

,79

)71

,71

(2,7

6)

72,0

1(3

,06

)71

,77

(2,5

2)

71,6

2(2

,50

)65

,90

(2,7

0)

69,4

8(2

,74

)70

,17

(2,6

2)

5019

,46

(0,5

3)

68,8

8(2

,78

)76

,18

(2,2

0)

77,3

0(2

,36

)74

,42

(2,6

9)

75,8

5(2

,11

)79

,24

(1,8

5)

73,1

6(2

,84

)82

,72

(2,2

7)

5191

,01

(7,6

1)

89,9

5(7

,94

)88

,80

(8,8

0)

88,5

7(9

,02

)90

,79

(7,8

4)

90,3

5(8

,02

)82

,35

(12,

16)

91,3

4(7

,61

)91

,70

(7,4

0)

5299

,39

(1,2

2)

99,6

5(1

,15

)99

,30

(1,4

8)

99,0

5(1

,48

)99

,45

(1,3

5)

99,3

3(1

,52

)99

,39

(1,2

2)

99,3

9(1

,22

)99

,32

(1,3

4)

5393

,13

(0,7

0)

95,5

8(0

,73

)97

,05

(0,7

2)

97,0

6(0

,66

)97

,01

(0,7

3)

97,0

3(0

,70

)96

,03

(0,7

5)

90,2

6(1

,50

)92

,84

(0,6

6)

5470

,07

(7,1

4)

63,6

6(1

1,17

)53

,82

(13,

15)

68,5

5(8

,05

)69

,48

(8,2

1)

57,7

1(1

2,51

)58

,58

(11,

11)

67,6

5(8

,51

)65

,47

(9,4

1)

5528

,91

(3,7

5)

38,7

0(6

,13

)42

,07

(6,4

6)

38,7

4(5

,57

)38

,68

(7,2

0)

41,6

3(6

,56

)38

,01

(6,8

3)

49,7

1(6

,46

)47

,09

(6,5

9)

5628

,52

(0,1

7)

96,2

9(1

,34

)98

,15

(0,8

8)

97,9

3(0

,90

)96

,79

(1,3

3)

98,1

8(0

,86

)97

,15

(1,1

1)

80,1

7(2

,12

)92

,92

(1,5

7)

5797

,04

(0,7

7)

97,6

5(0

,73

)98

,84

(0,5

2)

98,7

0(0

,59

)98

,71

(0,5

9)

98,9

9(0

,50

)96

,10

(0,9

2)

93,5

1(1

,42

)94

,42

(1,4

5)

5877

,50

(8,7

0)

71,3

5(1

0,62

)81

,57

(8,3

5)

82,3

9(8

,71

)78

,08

(9,1

6)

80,4

8(8

,29

)86

,17

(8,4

5)

80,0

3(7

,77

)77

,98

(9,0

5)

5927

,96

(2,1

3)

91,3

4(3

,12

)93

,02

(2,7

5)

93,3

5(2

,68

)89

,35

(3,6

1)

92,8

4(2

,91

)91

,12

(3,0

0)

92,5

6(2

,96

)92

,90

(2,9

9)

6092

,30

(6,7

1)

92,3

8(7

,48

)93

,02

(7,6

6)

92,3

4(7

,08

)92

,50

(6,1

5)

92,6

8(6

,93

)92

,50

(8,0

6)

90,8

5(9

,73

)96

,25

(5,7

6)

6137

,98

(9,0

7)

45,4

4(8

,12

)63

,99

(12,

15)

47,4

1(1

0,51

)50

,61

(11,

71)

64,7

2(1

1,53

)63

,41

(12,

70)

54,0

1(1

1,06

)53

,60

(12,

04)

6256

,80

(8,8

9)

68,3

7(1

4,32

)53

,79

(11,

33)

64,5

8(1

2,95

)65

,89

(15,

31)

50,2

5(5

,08

)71

,73

(13,

37)

75,5

7(1

1,91

)74

,15

(12,

50)

6369

,46

(11,

92)

71,4

6(1

2,35

)53

,51

(11,

35)

75,5

9(1

2,34

)64

,98

(13,

06)

52,5

8(6

,45

)86

,53

(9,5

8)

82,5

5(1

1,57

)83

,72

(10,

02)

6459

,91

(12,

83)

71,9

0(1

5,64

)59

,78

(12,

07)

66,7

3(1

5,14

)75

,33

(12,

59)

73,8

2(1

3,65

)75

,81

(13,

75)

76,2

2(1

3,53

)74

,92

(12,

20)

6574

,14

(3,8

4)

91,0

6(3

,24

)98

,99

(0,9

7)

98,9

6(1

,40

)94

,48

(2,6

6)

96,3

5(1

,64

)98

,98

(0,9

8)

83,8

3(6

,33

)98

,13

(1,3

9)

6639

,81

(1,8

0)

65,9

7(4

,33

)76

,27

(3,8

5)

74,9

3(3

,92

)73

,21

(4,2

0)

75,9

3(4

,09

)69

,59

(3,7

7)

44,6

8(4

,59

)74

,09

(3,8

7)

6790

,09

(4,2

7)

96,1

0(3

,17

)98

,15

(1,9

5)

98,3

9(1

,84

)86

,22

(7,1

8)

98,1

0(2

,37

)86

,35

(4,7

1)

91,6

0(4

,36

)91

,80

(4,4

5)

6889

,16

(4,5

2)

94,7

7(3

,31

)97

,02

(2,6

0)

97,3

8(2

,37

)86

,84

(5,4

6)

97,3

5(2

,50

)85

,50

(4,9

8)

89,6

2(4

,94

)92

,74

(3,8

3)

6996

,64

(2,5

2)

98,5

5(1

,79

)98

,88

(1,6

3)

98,5

9(1

,80

)97

,25

(2,7

3)

98,4

8(1

,80

)86

,16

(4,9

0)

97,0

5(2

,60

)97

,59

(2,1

0)

7056

,38

(4,3

4)

51,2

1(7

,77

)52

,23

(7,0

7)

61,2

8(6

,96

)47

,29

(5,8

4)

51,1

9(7

,59

)53

,13

(7,4

2)

53,8

3(6

,78

)56

,46

(7,7

5)

APÊNDICE B. TABELAS DE RESULTADOS 109

Tabe

laB

.11:

Res

ulta

dos

daM

édia

das

Taxa

sde

Ace

rto

dos

Nov

eTi

pos

deC

lass

ifica

dorB

ase

quan

doG

erad

ospe

loM

étod

oB

aggi

ng.

IdB

ase

DS

DT

PTJR

RT

AD

KN

NN

BSV

M71

88,4

3(4

,77

)92

,84

(4,0

0)

94,6

3(3

,32

)94

,57

(3,4

9)

83,3

0(6

,49

)94

,15

(3,6

1)

82,3

4(5

,92

)90

,05

(4,2

7)

92,1

0(3

,82

)

7288

,43

(4,7

7)

92,8

4(4

,00

)94

,63

(3,3

2)

94,5

7(3

,49

)83

,30

(6,4

9)

94,1

5(3

,61

)82

,34

(5,9

2)

90,0

5(4

,27

)92

,10

(3,8

2)

7395

,97

(2,8

6)

94,5

8(3

,11

)95

,01

(3,2

3)

95,5

0(3

,01

)95

,04

(3,3

0)

95,4

0(2

,99

)92

,58

(3,6

3)

94,9

4(3

,25

)95

,59

(3,1

9)

7417

,47

(0,8

2)

69,0

9(1

3,46

)91

,81

(2,9

3)

89,4

8(3

,06

)86

,61

(3,9

4)

92,9

2(2

,75

)99

,05

(1,0

4)

78,9

0(3

,92

)78

,34

(3,9

2)

7588

,80

(1,8

2)

89,3

6(1

,80

)90

,59

(1,5

3)

90,1

4(1

,77

)89

,22

(1,9

4)

89,9

1(1

,65

)85

,12

(1,8

1)

90,5

3(1

,58

)92

,67

(1,5

8)

7687

,99

(1,7

1)

88,9

9(1

,66

)90

,38

(1,4

9)

89,8

3(1

,70

)89

,06

(1,7

7)

90,0

1(1

,56

)85

,31

(1,5

9)

90,2

0(1

,57

)92

,23

(1,3

1)

7791

,96

(1,3

6)

92,3

8(1

,35

)93

,53

(1,3

6)

93,1

0(1

,45

)92

,30

(1,4

1)

93,1

3(1

,33

)89

,70

(1,5

8)

94,4

9(1

,25

)94

,70

(1,0

7)

7866

,14

(3,4

2)

81,6

0(1

,58

)82

,82

(1,5

5)

82,5

8(1

,78

)81

,14

(1,6

1)

81,7

5(1

,75

)73

,41

(1,8

2)

80,0

1(1

,45

)86

,48

(1,5

3)

7958

,48

(41,

81)

62,1

7(4

1,17

)55

,63

(42,

11)

52,5

4(4

3,03

)59

,78

(39,

52)

73,3

1(3

8,08

)78

,50

(36,

41)

59,3

3(4

2,34

)69

,61

(39,

84)

8054

,73

(5,2

6)

50,6

6(0

,50

)50

,13

(1,5

0)

52,0

8(6

,32

)52

,98

(6,3

6)

50,1

3(1

,50

)50

,77

(5,5

6)

48,9

2(3

,79

)64

,16

(7,8

2)

8149

,42

(2,2

3)

50,6

6(0

,50

)50

,66

(0,5

0)

52,6

9(6

,42

)54

,42

(6,6

1)

50,6

6(0

,50

)55

,90

(6,5

1)

51,9

0(4

,08

)65

,02

(9,0

3)

827,

93(0

,62

)53

,24

(4,0

7)

82,9

7(2

,39

)80

,18

(2,5

6)

71,8

9(3

,24

)82

,69

(2,4

6)

84,0

9(2

,02

)60

,66

(2,9

7)

71,2

2(2

,87

)

8319

,74

(0,3

6)

90,6

3(1

,97

)95

,73

(1,3

3)

95,5

9(1

,35

)93

,24

(1,7

7)

95,5

6(1

,40

)96

,32

(1,3

6)

95,0

2(1

,56

)97

,34

(1,1

2)

8419

,68

(0,4

0)

76,9

0(2

,90

)82

,79

(2,6

8)

81,2

7(2

,57

)80

,07

(2,4

7)

82,6

1(2

,71

)81

,87

(2,1

6)

79,8

6(2

,59

)83

,18

(2,2

0)

8519

,32

(0,5

2)

82,9

3(3

,18

)91

,95

(1,9

3)

94,6

1(1

,54

)88

,59

(2,4

7)

91,2

2(1

,94

)95

,39

(1,4

1)

92,6

0(1

,68

)96

,72

(1,0

9)

8665

,49

(0,0

6)

97,6

6(0

,63

)99

,41

(0,3

2)

98,5

0(0

,47

)97

,42

(0,7

5)

98,1

3(0

,58

)95

,60

(0,7

5)

91,5

1(1

,04

)92

,92

(0,9

4)

8719

,54

(1,0

6)

88,7

2(3

,96

)92

,55

(3,5

1)

92,2

0(3

,49

)87

,79

(4,5

6)

92,6

3(3

,39

)97

,19

(2,1

0)

89,5

4(3

,69

)97

,43

(2,0

7)

8820

,57

(0,8

9)

90,0

6(2

,83

)95

,26

(1,9

4)

94,5

0(2

,01

)92

,17

(2,6

0)

95,4

7(1

,95

)97

,83

(1,2

8)

87,6

2(2

,82

)96

,30

(1,8

1)

8984

,33

(2,0

5)

92,7

7(1

,78

)94

,73

(1,1

8)

95,5

5(1

,15

)94

,32

(1,3

5)

94,6

7(1

,34

)81

,19

(2,0

3)

96,0

1(1

,11

)95

,07

(1,2

8)

9065

,76

(3,9

7)

84,5

4(2

,23

)88

,82

(1,8

8)

88,5

9(2

,07

)86

,06

(2,4

2)

88,5

5(1

,97

)86

,39

(2,2

1)

79,4

5(2

,00

)87

,43

(2,0

7)

9173

,28

(5,7

9)

79,3

0(5

,45

)80

,84

(5,3

2)

80,9

2(5

,37

)78

,14

(5,8

6)

80,0

1(5

,02

)70

,10

(6,5

7)

80,8

8(4

,63

)83

,25

(4,5

1)

9283

,63

(0,5

2)

97,3

3(1

,85

)97

,95

(1,6

6)

97,5

0(1

,73

)97

,61

(1,6

4)

97,8

4(1

,65

)97

,29

(1,6

9)

88,4

0(4

,17

)90

,72

(2,8

4)

9390

,42

(4,4

6)

92,2

5(4

,43

)93

,47

(4,2

4)

93,1

2(4

,19

)91

,40

(5,1

1)

93,7

0(4

,13

)89

,63

(4,2

4)

92,4

0(4

,58

)88

,66

(4,8

9)

9490

,42

(4,4

6)

92,2

5(4

,43

)93

,47

(4,2

4)

93,1

2(4

,19

)91

,40

(5,1

1)

93,7

0(4

,13

)89

,63

(4,2

4)

92,4

0(4

,58

)88

,66

(4,8

9)

9517

,40

(1,1

8)

62,2

9(9

,65

)90

,62

(4,2

3)

88,1

7(4

,64

)84

,53

(5,4

9)

91,4

5(4

,00

)98

,91

(1,5

3)

82,5

7(5

,67

)81

,47

(5,2

7)

9694

,75

(6,4

5)

91,5

2(6

,64

)93

,65

(7,0

4)

93,3

0(7

,07

)91

,82

(6,5

4)

93,2

8(6

,98

)93

,79

(7,0

9)

94,3

6(6

,99

)93

,79

(7,0

9)

9798

,57

(4,3

1)

97,8

3(4

,90

)98

,15

(4,6

4)

97,1

2(5

,71

)95

,71

(6,5

8)

98,1

5(4

,64

)98

,57

(4,3

1)

98,1

5(4

,64

)97

,78

(5,0

9)

9887

,84

(7,0

2)

91,4

2(6

,97

)93

,19

(6,6

9)

92,4

8(6

,05

)89

,56

(6,8

2)

93,5

9(6

,08

)92

,48

(5,5

7)

92,7

2(6

,07

)91

,93

(6,3

8)

9991

,55

(5,7

5)

94,7

5(5

,63

)93

,60

(6,1

3)

94,5

7(5

,42

)92

,06

(6,5

7)

94,4

7(5

,55

)96

,19

(4,7

6)

93,9

6(5

,49

)93

,37

(6,0

5)

100

19,6

0(2

,01

)76

,82

(10,

65)

93,4

5(3

,76

)91

,18

(4,5

8)

88,8

0(5

,51

)93

,70

(3,5

4)

97,9

8(2

,06

)83

,11

(4,8

0)

83,3

8(5

,85

)

101

17,4

0(1

,18

)62

,29

(9,6

5)

90,6

2(4

,23

)88

,17

(4,6

4)

84,5

3(5

,49

)91

,45

(4,0

0)

98,9

1(1

,53

)82

,57

(5,6

7)

81,4

7(5

,27

)

102

20,6

1(1

,81

)63

,38

(8,0

4)

89,8

1(5

,78

)86

,49

(6,6

2)

75,8

4(9

,05

)90

,36

(5,4

5)

95,7

8(3

,91

)79

,96

(6,7

6)

76,3

6(7

,64

)

103

19,6

7(2

,80

)60

,97

(8,1

3)

87,5

0(6

,26

)84

,35

(6,4

9)

65,6

9(1

0,49

)88

,76

(5,7

6)

92,8

0(4

,45

)80

,20

(6,7

3)

71,6

5(7

,80

)

104

20,2

7(3

,41

)53

,43

(9,9

0)

84,1

1(7

,41

)80

,76

(7,5

7)

53,6

6(1

1,37

)84

,73

(6,9

3)

89,7

2(5

,63

)77

,25

(7,5

9)

64,7

0(8

,88

)

105

78,5

9(4

,61

)79

,25

(4,7

5)

87,2

2(5

,71

)83

,87

(6,3

9)

80,0

4(6

,32

)87

,43

(5,7

5)

87,1

2(5

,58

)78

,66

(5,3

7)

79,0

5(4

,85

)

APÊNDICE B. TABELAS DE RESULTADOS 110

Tabe

laB

.12:

Res

ulta

dos

daM

édia

das

Taxa

sde

Ace

rto

dos

Nov

eTi

pos

deC

lass

ifica

dorB

ase

quan

doG

erad

ospe

loM

étod

oB

aggi

ng.

IdB

ase

DS

DT

PTJR

RT

AD

KN

NN

BSV

M10

678

,47

(4,1

3)

78,2

5(3

,95

)87

,09

(5,9

2)

83,3

0(6

,80

)79

,63

(6,7

9)

86,5

2(5

,83

)87

,03

(6,3

4)

79,6

1(5

,01

)78

,78

(4,6

8)

107

79,9

4(6

,58

)78

,17

(5,3

3)

85,7

7(7

,40

)83

,69

(7,0

1)

79,1

1(6

,89

)85

,03

(7,6

3)

85,8

0(8

,24

)79

,34

(6,6

7)

77,5

4(6

,52

)

108

77,9

8(7

,48

)77

,26

(6,8

9)

84,0

2(8

,96

)80

,53

(8,0

3)

78,4

3(8

,35

)82

,93

(9,0

7)

84,7

5(9

,13

)79

,03

(7,8

9)

78,7

5(6

,95

)

109

78,3

4(8

,17

)76

,24

(6,2

9)

84,8

9(8

,65

)80

,96

(8,9

4)

78,0

1(8

,44

)82

,90

(8,9

5)

86,2

1(9

,06

)76

,70

(9,4

7)

75,4

1(8

,55

)

110

79,7

7(9

,83

)74

,79

(7,0

4)

82,6

3(9

,76

)79

,97

(9,7

0)

75,1

4(8

,39

)82

,28

(9,5

6)

84,5

6(9

,45

)76

,49

(10,

89)

74,1

5(8

,79

)