73215706 Data Mining Final

  • View
    216

  • Download
    0

Embed Size (px)

DESCRIPTION

Data mining

Text of 73215706 Data Mining Final

  • UNIO DAS INSTITUIES EDUCACIONAIS DO ESTADO DE SO PAULO

    CURSO DE SISTEMA DE INFORMAES

    APLICAO DE TCNICAS DE DATA MINING NA BOLSA DE VALORES

    BRUNO DOS SANTOS GONALVESHAELITON PICELLI

    LEANDRO DOS SANTOS GONALVESMATEUS DA SILVA GERBONI

  • Hortolndia2011

    2

  • UNIO DAS INSTITUIES EDUCACIONAIS DO ESTADO DE SO PAULO

    CURSO DE SISTEMA DE INFORMAES

    APLICAO DE TCNICAS DE DATA MINING NA BOLSA DE VALORES

    BRUNO DOS SANTOS GONALVESHAELITON PICELLI

    LEANDRO DOS SANTOS GONALVESMATEUS DA SILVA GERBONI

    Hortolndia2011

    3

  • DEDICATRIA

    Dedicamos este trabalho a Deus, por

    sempre nos proporcionar f para nunca

    desistirmos e sade para sempre

    continuar na caminhada.4

  • AGRADECIMENTO

    Agradecemos aos professores,

    profissionais que dedicaram seu tempo e

    disponibilizaram seus conhecimentos, aos

    colegas da faculdade, aos nossos

    familiares e amigos que nos apoiaram e

    acreditaram em nossa capacidade.

    5

  • RESUMO

    Este estudo tem como objetivo analisar o contedo proposto pelo processo

    de Minerao de Dados e a possibilidade da aplicao de suas tcnicas na Bolsa de

    Valores. tambm um objetivo apresentar conceitos bsicos que envolvem o

    processo de Data Mining. Nesse contexto, o presente texto pretende apresentar

    alguns desses conceitos sobre as tcnicas que envolvem a Minerao de Dados em

    grandes conjuntos de dados, alm de registrar algumas caractersticas de softwares

    especficos para Data Mining, aplicaes j realizadas com sucesso e o grau de

    dificuldade da aplicao desta tecnologia na Bolsa de Valores.

    A Minerao de Dados destaca-se como parte de um processo maior de

    pesquisa denominado Busca de Conhecimento em Banco de Dados (KDD), para

    qual apresentado sua metodologia para preparao e explorao dos dados,

    interpretao de seus resultados e assimilao dos conhecimentos minerados.

    Organizaes que tm como finalidade obter lucro, qualidade e tomar

    decises com rapidez, suportam grandes desafios por parte da gesto de negcios.

    Para superar estes desafios, h necessidade de tais organizaes aperfeioarem

    seus processos de tomada de deciso. A Minerao de Dados apresenta-se como

    auxlio para tal aperfeioamento.

    Palavras-chave: Data Mining, Minerao de Dados, Bolsa de Valores, Busca de Conhecimento em Banco de Dados (KDD).

    6

  • ABSTRACT

    This study has how I aim to analyse the content proposed by the process of

    Mining of Data and the possibility of the application of his techniques in the Stock

    Exchange. It is also an objective to present basic concepts that wrap the process of

    Date Mining. In this context, the present text intends to present some of these

    concepts on the techniques that wrap the Mining of Data in great sets of data,

    besides registering some characteristics of softwares special for Date Mining,

    applications already carried out with success and the degree of difficulty of the

    application of this technology in the Stock Exchange.

    The Mining of Data stands out how part of a process bigger of inquiry called

    a Search of Knowledge in Database (KDD), for which his methodology is presented

    for preparation and exploration of the data, interpretation of his results and

    assimilation of the mined knowledges.

    Organizations that have like finality obtains profit, quality and to take

    decisions with speed, support great challenges for part of the business management.

    To surpass these challenges, there is need of such organizations they perfect his

    processes of taking decision. The Mining of Data presents itself a help for such an

    improvement.

    Key-words: Data Mining, Data Mining, Stock Exchange, Knowledge Discovery in database (KDD).

    7

  • LISTA DE ABREVIATURAS E SIGLAS

    KDD Knowledge Discovery in databaseSQL Structured Query LanguageAAFES Army and Air Force Exchange ServiceMTS Microsoft Time SeriesMSC Microsoft Sequence ClusteringDB2 Database 2DWE Data Warehouse Edition

    8

  • LISTA DE FIGURASFIGURA 1: ETAPAS DO PROCESSO KDD [4].....................................................16FIGURA 2: FUNCIONALIDADES EM MINERAO DE DADOS [3].........................20FIGURA 3: SUB-FUNCIONALIDADES DA ANLISE PRVIA [3]............................21FIGURA 4: SUB-FUNCIONALIDADES DO DESCOBRIMENTO [3]...........................21FIGURA 5: EXEMPLO DE UMA RVORE DE DECISO [6]....................................25FIGURA 6: EXEMPLO DE RVORE DE DECISO SOBRE A TABELA 1 [2]..............32FIGURA 7: JANELA DA FERRAMENTA DARWIN [2]............................................34FIGURA 8: JANELA DA FERRAMENTA IBM INTELLIGENT MINER EXIBINDO UM GRFICO DE CLIENTES [2].............................................................................35FIGURA 9: FLUXO DE MINERAO DE DADOS EM ANLISE DE EMPRSTIMO [2]36FIGURA 10: EVOLUO DAS COTAES DIRIAS PARA OS TTULOS DO NDICE NASDAQ PARA CADA DIA DA SEMANA [7].......................................................38FIGURA 11: DISTRIBUIES DE DIVIDENDOS [7].............................................39FIGURA 12: EXEMPLO DE APLICAO DE DATA MINING NA BOLSA DE VALORES [7]...............................................................................................................41

    9

  • LISTA DE TABELAS

    TABELA 1: TABELA EXEMPLO PARA RVORE DE DECISO [2]...........................31

    10

  • LISTA DE QUADROS

    QUADRO 1: FUNCIONALIDADES E SUAS TCNICAS [3].....................................24QUADRO 2: DISTRIBUIO DA EVOLUO EM DUAS CLASSES (VALORIZAO E DESVALORIZAO) QUANDO NO DIA ANTERIOR ACONTECEU UMA VALORIZAO SUPERIOR A 15% [7].....................................................................................39QUADRO 3: DISTRIBUIO DA EVOLUO EM DUAS CLASSES (VALORIZAO E DESVALORIZAO) QUANDO NO DIA ANTERIOR ACONTECEU UMA DESVALORIZAO SUPERIOR A 15% [7].........................................................40

    11

  • SUMRIODEDICATRIA.................................................................................................4DEDICATRIA.................................................................................................4DEDICAMOS ESTE TRABALHO A DEUS, POR SEMPRE NOS PROPORCIONAR F PARA NUNCA DESISTIRMOS E SADE PARA SEMPRE CONTINUAR NA CAMINHADA...................................................................................................4DEDICAMOS ESTE TRABALHO A DEUS, POR SEMPRE NOS PROPORCIONAR F PARA NUNCA DESISTIRMOS E SADE PARA SEMPRE CONTINUAR NA CAMINHADA...................................................................................................4AGRADECIMENTO ..........................................................................................5AGRADECIMENTO ..........................................................................................5INTRODUO ............................................................................................... 14 BUSCA DE CONHECIMENTO EM BANCO DE DADOS (KDD) ................................. 16

    ETAPAS DO PROCESSO DE KDD ................................................................................................. 16 Definio (Database) ................................................................................................ 17 Seleo (Selection) ................................................................................................... 17 Limpeza de Dados e pr-processamento (Preprocessing) ......................................... 17 Reduo de Dados e Projeo (Transformation) ....................................................... 17 Minerao de Dados (Data Mining) ........................................................................... 17 Interpretao / Avaliao (Interpretation/Evaluation) ............................................... 17 Implantao do Conhecimento Descoberto (Knowledge) .......................................... 17

    KDD E DATA MINING ........................................................................................................... 17 MINERAO DE DADOS (DATA MINING) .......................................................... 19

    FUNCIONALIDADES ................................................................................................................. 19 Anlise Descritiva ..................................................................................................... 20 Anlise Prvia