MBA em Gestão de Empreendimentos Turísticoskmpress.com.br/site/wp-content/uploads/2011/09/004-TI_KDD-TURISMO.pdf · PROJETOS ARMAZENADOS EM BASES DE DADOS. o FACILIDADE DE INTEGRAR

MBA em Gestão de Empreendimentos Turísticos

MBA em Gestão de Empreendimentos Turísticos

Gestão do Conhecimento e Tecnologia da Informação Gestão do Conhecimento – evolução conceitual. Níveis de maturidade da organização. Conhecimento tácito e explícito. Tecnologia da Informação no Turismo. Sistemas especialistas na indústria do Turismo. Principais Sistemas: Sistemas de agenciamento e sistemas de reservas (transportes e hospedagem); Sistema de Informações Gerenciais; Mapeamento e modelagem de processos; Princípios do e-Business e do E-commerce. Alavancagem de negócios na internet; Gestão da tecnologia da Informação: Sistemas de gestão: ERP, Soluções de SCM – Supply Chain Management, Soluções de CRM –Customer Relationship Management e Soluções de Portais Corporativos; Gerenciamento de projetos tecnológicos e Gestão do Conhecimento.

Prof. Martius V. Rodriguez y Rodriguez, DSc – [email protected]

- 2

AGENDAAGENDA

• SOCIEDADE DO CONHECIMENTO

• ARQUITETURA TIC

• PRÁTICAS

© Martius V. Rodriguez y Rodriguez, DSc 03 - 3

O PROCESSO DE DATAMINING

O PROCESSO DE DATAMINING


20% - T

80% - I

70% - T

18% - I

10% - T

2 % - I

(Pyle, 1999)

Seleçãodos dadosde basede dados

operacionais

Limpeza econsistêncados dados

Enriquecimentodos dados

Codificação

Relatórios

Soluçõese

Alternativas

Soluçõese

Alternativas

Data mining- Cluster- Segmentação- Predição

T - TEMPO DISPENDIDOI - IMPORTÂNCIA PARA O SUCESSO

Problemaa ser

resolvido

O PROCESSO

UTILIZADO


PERGUNTAS QUE PODERÃO SER RESPONDIDAS


o VENDAS

o Identificar padrões de comportamento dos consumidores.

o Encontrar características dos consumidores de acordo com a região demográfica.

o Prever quais consumidores serão atingidos nas campanhas de marketing.

o Prever demandas em função das características dos clientes, personalizando o atendimento.

o FINANÇAS o Detectar padrões de fraudes.

o Identificar os consumidores que estão tendendo a mudar para a concorrência.

o Identificar regras de estocagem a partir dos dados do mercado.

o Encontrar outras correlações escondidas nas bases de dados.


o TRANSPORTE

o Determinar a distribuição dos horários entre os vários caminhos.

o Analisar padrões de sobrecarga.

o SEGUROS E PLANOS DE SAÚDE o Determinar quais procedimentos médicos são requisitados ao mesmo

tempo.

o Prever quais consumidores comprarão novas apólices.

o Identificar comportamentos fraudulentos.

o MEDICINA

o Caracterizar o comportamento dos pacientes para prever novas consultas.

o Identificar terapias de sucessos para diferentes doenças




DadoDado InformaInformaççãoão ConhecimentoConhecimento

BANCODE

DADOS

ANÁLISE ERECUPERAÇÃO

DE DADOSSQL, OLAP

DATA MININGKnowledge

Management

DADO - INFORMAÇÃOCONHECIMENTO

DADO - INFORMAÇÃOCONHECIMENTO


MICHAEL POLANYI e LUDWIG WITTGENSTEIN - FIALHO, 1998

CONHECIMENTO HUMANO É : tácito, orientado para a ação, baseado em regras, individual e em constante mutação.

INFORMAÇÃOCONHECIMENTO

ÉÉ A CAPACIDADE DE AGIRA CAPACIDADE DE AGIR

EXPLEXPLÍÍCITOCITOEXTERIORIZADOEXTERIORIZADO

TÁCITOINTERIORIZADOREGRAS

10 9 bits

10 2 bits

A DEFINIÇÃO DE CONHECIMENTOA DEFINIÇÃO DE CONHECIMENTO

MICHAEL POLANYI e LUDWIG WITTGENSTEIN

CONHECIMENTO

EVENTOS

DADOS

INFORMAÇÃO


MOTIVAÇÃO PARA O KDDMOTIVAÇÃO PARA O KDD

EVOLUÇÃO DOS SISTEMAS ESPECIALISTASEVOLUÇÃO DAS TÉCNICAS DE KDD EM BDEVOLUÇÃO DAS BDFACILIDADE DE INTEGRAÇÃO DE DADOSAUMENTO DO FLUXO DE INFORMAÇÕES


Produção de 2.000.000 Terabytes por ano (2 Exabyte)Aproximadamente 250 MB por pessoa no planeta.US$ 10,00 por GB armazenado em 2000US$ 1,00 por GB armazenado em 20055 EXABYTES = TODAS AS PALAVRAS JÁ FALADAS PELOS SERES HUMANOS = 5.000.000.000 GB1 GB = Um caminhão cheio de papel100 MB = 1 metro de livros organizados em uma prateleira1 bilhão de PCs no mundo – jun2008 – Gartner2 bilhões de PCs no mundo – até 2014 - Gartner

ESTATÍSTICAVISUALIZADORESBANCO DE DADOS

REDES NEURONAISSISTEMAS ESPECIALISTAS

INFRAESTRUTURA DE HW/SW

MOTIVAÇÃO PARA O USO DO KDDA EXPLOSÃO DAS INFORMAÇÕES

MOTIVAÇÃO PARA O USO DO KDDA EXPLOSÃO DAS INFORMAÇÕES

LESK, Michael, How much information is there in the world – ref. 1999


ERP, CRM, SCM, B2B, B2E, B2CERP, CRM, SCM, B2B, B2E, B2C

o GRANDE VOLUME DE DADOS DE CLIENTES, COMPETIDORES, PROCESSOS, EMPREGADOS E PROJETOS ARMAZENADOS EM BASES DE DADOS.

o FACILIDADE DE INTEGRAR BASES DE DADOS:

o GRANDE VOLUME DE DADOS DE CLIENTES, COMPETIDORES, PROCESSOS, EMPREGADOS E PROJETOS ARMAZENADOS EM BASES DE DADOS.

o FACILIDADE DE INTEGRAR BASES DE DADOS:

MOTIVAÇÃO KDDMOTIVAÇÃO KDD

ÁRVORES DE DECISÃOREDES NEURAISALGORÍTMOS GENÉTICOSLÓGICA FUZZYREGRAS DE ASSOCIAÇÃO...

ÁRVORES DE DECISÃOREDES NEURAISALGORÍTMOS GENÉTICOSLÓGICA FUZZYREGRAS DE ASSOCIAÇÃO...

CLUSTERIZAÇÃO

CLASSIFICAÇÃOPREDIÇÃOSUMARIZAÇÃO...

CLUSTERIZAÇÃO

CLASSIFICAÇÃOPREDIÇÃOSUMARIZAÇÃO...MÉTODOSMÉTODOS TAREFASTAREFAS

o OS ALGORÍTMOS DE DATAMINING PODEM ENCONTRAR CLUSTERS E PADRÕES DE COMPORTAMENTOS EM CONJUNTO DE DADOS.

o NOVAS TÉCNICAS COMO: ÁRVORES DE DECISÃO, REDES NEURAIS, ALGORITMOS GENÉTICOS...

o OS ALGORÍTMOS DE DATAMINING PODEM ENCONTRAR CLUSTERS E PADRÕES DE COMPORTAMENTOS EM CONJUNTO DE DADOS.

o NOVAS TÉCNICAS COMO: ÁRVORES DE DECISÃO, REDES NEURAIS, ALGORITMOS GENÉTICOS...

Fayyad, 1996


1111

2222

3333

CLUSTERIZAÇÃOCLUSTERIZAÇÃO

© Martius V. Rodriguez y Rodriguez, DSc

Grau de Instrução

Nível Médio Nível Superior

CLASSIFICAÇÃO E PREDIÇÃOCLASSIFICAÇÃO E PREDIÇÃO


Renda

Alta RendaBaixa Renda



Alta RendaAlta RendaAlta RendaAlta RendaBaixa RendaBaixa RendaBaixa RendaBaixa Renda

““““Grau de InstruGrau de InstruGrau de InstruGrau de Instruççççãoãoãoão””””

RESPOSTARESPOSTARESPOSTARESPOSTA

NNNNíííível Superiorvel Superiorvel Superiorvel Superior NNNNíííível Mvel Mvel Mvel Méééédiodiodiodio

““““RendaRendaRendaRenda””””



Tempo

Valor do Negócio

Query & reporting

Quantos clientes nós perdemos?

Em quais cidades eles moram?

OLAP

Data mining

Quais tipos de clientes possuem risco de deixar a empresa?

Real-time distribution

O que devo oferecer ao meu cliente hoje?

Como alinhar a empresa em torno do cliente?

Como integrar as descobertas a cada interação do cliente?

Medição Predição

Ambiente Analítico

MOTIVAÇÃO KDDMOTIVAÇÃO KDD


CONHECENDO O CLIENTE E SUA HISTÓRIA

CONHECENDO O CLIENTE E SUA HISTÓRIA

Data Mart 1

Vendas

Data Mart 2

Marketing

Data Mart 3

Logística

Data Warehouse

Data Mining


ONDE APLICAR O DATA MINING?ONDE APLICAR O DATA MINING?

Passado Previsão Descobrimento

ANÁLISE&

RELATÓRIOS(OLAP)

MODELAGEMESTATÍSTICA

DATA MININGMINERAÇÃO

DOCONHECIMENTO


DESCOBRIMENTO DO CONHECIMENTO

DESCOBRIMENTO DO CONHECIMENTO

+ SIMPLES

+ DIFÍCIL E INCERTO

OLTP – TRANSAÇÕES

SQL - QUERIES

TÉCNICAS ESTATÍSTICAS(ELEMENTARES)

OLAP – ANALISES

DATA MINING


SHALLOW DATA - SQL

MULTI-DIMENSIONAL DATA - OLAP

HIDDEN DATA - KDD

DEEP DATA - CLUES

HIDDEN & DEEP KNOWLEDGEHIDDEN & DEEP KNOWLEDGE


PROCESSOS TRANSACIONAISPROCESSOS TRANSACIONAIS

Quantos clientes existem por filial?

Quantos clientes por tipo de produto existem?

Quantos clientes por tipo de produto e por região por filial?

Quantos clientes por tipo de produto, região, atendente, valor, ...?

OLTPOLTPOLTPOLTP

OLAPOLAPOLAPOLAP

consulta

relatório/consulta

relatório/consulta

arquivo

excel, access, ...excel, access, ...excel, access, ...excel, access, ...


AnalAnalAnalAnalííííticoticoticotico

HistHistHistHistóóóóricoricoricorico

DescobertaDescobertaDescobertaDescoberta

CorrelaCorrelaCorrelaCorrelaççççãoãoãoão

PrediPrediPrediPrediççççãoãoãoão

Data MiningData MiningData MiningData Mining

Data WarehouseData WarehouseData WarehouseData Warehouse

CapacidadesCapacidadesCapacidadesCapacidades

DO CONTROLE A ANÁLISEDO CONTROLE A ANÁLISE


TECNOLOGIATECNOLOGIA


ETLETLETLETLETLETLETLETL

IntegraIntegraIntegraIntegraççççãoãoãoãoSincronismoSincronismoSincronismoSincronismo

TransformaTransformaTransformaTransformaççççãoãoãoãoComposiComposiComposiComposiççççãoãoãoão

DATA WAREHOUSEDATA WAREHOUSE

FontesFontesFontesFontesData WarehouseData WarehouseData WarehouseData Warehouse

HistHistHistHistóóóórico pequenorico pequenorico pequenorico pequenoGranularidade altaGranularidade altaGranularidade altaGranularidade alta

Data MartsData MartsData MartsData Marts

HistHistHistHistóóóórico intermedirico intermedirico intermedirico intermediááááriorioriorioGranularidade intermediGranularidade intermediGranularidade intermediGranularidade intermediááááriariariariaAlta capacidade de relatAlta capacidade de relatAlta capacidade de relatAlta capacidade de relatóóóóriorioriorio

CONTEXTOSCONTEXTOSCONTEXTOSCONTEXTOSCONTEXTOSCONTEXTOSCONTEXTOSCONTEXTOSSeparaSeparaSeparaSeparaççççãoãoãoãoAgregaAgregaAgregaAgregaççççãoãoãoão

CubosCubosCubosCubos

VISÕESVISÕESVISÕESVISÕESVISÕESVISÕESVISÕESVISÕESSeparaSeparaSeparaSeparaççççãoãoãoãoAgregaAgregaAgregaAgregaççççãoãoãoão

HistHistHistHistóóóórico granderico granderico granderico grandeGranularidade baixaGranularidade baixaGranularidade baixaGranularidade baixa

Alta capacidade analAlta capacidade analAlta capacidade analAlta capacidade analííííticaticaticatica

AAAAççççãoãoãoão

ExecutivoExecutivoExecutivoExecutivo


• Quantidade de Cliente• Quantidade de Débito

Tempo• Ano• Semestre• Mês• Semana

Grupo• Código• Descrição

Segmento• Código• Descrição

Estrutura Organizacional• Código Regional• Descrição regional• Código Filial• Descrição Filial

“Em novembro de 2003, qual a quantidade de clientes em cada filial, agrupados porsegmento?”

MODELO MULTIDIMENSIONAL

MODELO MULTIDIMENSIONAL


FERRAMENTAS ROLAPFERRAMENTAS ROLAP


ARQUITETURA TECNOLOGICAARQUITETURA TECNOLOGICA


DIRECIONAMENTO AO NEGÓCIODIRECIONAMENTO AO NEGÓCIO

Objetivos de Negócio

Objetivosdo

Data Mining

Resultadosde Negócio

Resultadosdo

Data Mining

O projeto de Data Mining deve estar direcionado aos objetivos deO projeto de Data Mining deve estar direcionado aos objetivos denegnegóócio!cio!


MINERAÇÃO DOS DADOS

SISTEMÁTICA DE MINERAÇÃO DE DADOS

SISTEMÁTICA DE MINERAÇÃO DE DADOS

ORIENTADA PARA VERIFICAÇÃO

ORIENTADA PARA DESCOBERTA

SQLGERADORES DE SQL

•FERRAMENTAS DE CONSULTA•OLAP

DESCRIÇÃO

•VISUALIZAÇÃO•AGRUPAMENTO•ASSOCIAÇÃO•AVALIAÇÃO•SUMARIZAÇÃO

•ESTRUTURAS DE DECISÃO• REDES NEURAIS• REGRESSÃO ESTATÍSTICA

ESTRUTURAS DE DECISÃOCLASSIFICAÇÃO

PREDIÇÃO


KDD - DATA MININGKDD - DATA MINING

KDD - Knowledge Discovery in Databases:

É UMA EXTRAÇÃO NÃO TRIVIAL, A PARTIR DE UMA BASE DE DADOS, DE UM CONHECIMENTO IMPLÍCITO, PREVIAMENTE DESCONHECIDO E POTENCIALMENTE ÚTIL

Primeira Conferência Internacional sobre KDD Montreal - 1995 (Adriaans, 1998)

O CONHECIMENTO OBTIDO PELO PROCESSO DE KDD NÃO ESTARÁVISÍVEL SE UTILIZADA UMA LINGUAGEM DE BUSCA ESTRUTURADA -SQL (STRUCTURE QUERY LANGUAGE) OU SE ANALISADOS OS DADOS A PARTIR DE UMA FERRAMENTA OLAP - (ONLINE ANALYTICAL PROCESSING TOOL)


o HIDDEN KNOWLEDGE:

SÃO DADOS QUE PODEM SER FACILMENTE ENCONTRADOS A PARTIR DO USO DE FERRAMENTAS DE RECONHECIMENTO DE PADRÕES OU ALGORÍTMOS DE APRENDIZAGEM POR COMPUTADOR :: MACHINE-LEARNING

É UMA INFORMAÇÃO QUE ESTÁ ARMAZENADA EM BASE DE DADOS MAS QUE SÓ PODE SER LOCALIZADA POR MEIO DE “DICAS” OU “COLA” QUE DIGA ONDE DEVEMOS PROCURAR

HIDDEN & DEEP KNOWLEDGEHIDDEN & DEEP KNOWLEDGE

DEEP KNOWLEDGE:

(Adriaans, 1998)


FALTA DE INTEGRAÇÃO DOS DADOS

Diversas formas de armazenagem e inconsistência

entre elas

DATA MININGDIFICULDADES DE IMPLEMENTAR

DATA MININGDIFICULDADES DE IMPLEMENTAR

FALTA DE ATUALIZAÇÃO DOS DADOS

Dados perdidos ou incorretos

DISPUTA ENTRE DEPARTAMENTOS

Não cessão dos dados

FALTA DE UMA VISÃO DE LONGO PRAZO

O que queremos obter dos dados no futuro?

FRACA COOPERAÇÃO ENTRE AS ÁREAS DE TECNOLOGIA DE

INFORMAÇÃORestrições no acesso aos dados

PRIVACIDADE DOS DADOSPor questões legais alguns

dados não podem ser utilizados

CONECTIVIDADE E INTEROPERABILIDADE

DIFICULTADADificuldades de acesso as

redes internas

SIGNIFICADO DIFERENTESAdministração de dados falha

TEMPO DE ATUALIZAÇÃOOs dados são atualizados em

um tempo muito longo


DATA MININGÉ INTERDISCIPLINAR E UTILIZA AS DIVERSAS TECNOLOGIAS

DATA MININGÉ INTERDISCIPLINAR E UTILIZA AS DIVERSAS TECNOLOGIAS

Banco de

Dados

Redes

Neuronais

Sistemas

Especialistas

Estatística

KDDConhecimento

Tácito

ConhecimentoExplícito

Extração de novas regras

Explicito - Tácito

Tácito - Explicito

AÇÃOAÇÃO

Visualizadores


CARACTERÍSTICAS Aprendizagempor aproximação

(K-nearestneighbor)

Árvores dedecisão(Decisiontrees)

Regras deAssociação(Association

Rules)

RedesNeuronais(Neural

Networks)

Algorítmosgenéticos

(Algorítmosgenéticos)

QUALIDADE-DADOS DE ENTRADAHabilidade de manipular umagrande quantidade de registros

MÉDIA BOA BOA MÉDIA MÉDIA

Habilidade de manipular umagrande quantidade de atributos

MÉDIA BOA MÉDIA RUIM RUIM

Habilidade de manipular atributosnuméricos

BOA BOA RUIM BOA RUIM

Habilidade de manipular caracteres RUIM RUIM RUIM MÉDIA MÉDIA

QUALIDADE-DADOS DE SAÍDAHabilidade para aprender regrastransparentes

RUIM BOA BOA RUIM BOA

Habilidade para aprenderincrementalmente

RUIM RUIM BOA MÉDIA MÉDIA

Habilidade para estimar asignificância estatística dos dados

BOA BOA BOA RUIM RUIM

DESEMPENHO DE APRENDIZAGEMCarga de armazenagem dos dados BOA MÉDIA MÉDIA MÉDIA MÉDIACarga de CPU BOA MÉDIA MÉDIA RUIM RUIM

DESEMPENHO DA APLICAÇÃOCarga de armazenagem dos dados RUIM BOA BOA BOA BOACarga de CPU MÉDIA BOA BOA MÉDIA MÉDIA

TÉCNICAS DE KDD RECOMENDADASTÉCNICAS DE KDD RECOMENDADAS

(Adriaans, 1998)


Geradas + 50 árvores de

decisãodas quais 20

utilizadas


USO DE BASE DE DADOS: Facilidade na utilização de base de dados,

obtidas a partir da pesquisa de campo.

SIMPLICIDADE: A explicitação de regras de forma eficiente, o que

possibilitou a análise sob diversos pontos do objeto de análise.

CAPACIDADE DE INDUÇÃO: Além da simplicidade permitiu a indução

dos dados em função do grau de interesse desejado.

PRECISÃO: Obtenção dos dados dentro do grau de precisão necessário

para extração do conhecimento dos dados.

VERIFICAÇÃO DAS REGRAS OBTIDAS: Possibilidade de verificação

das regras. Utilizando 80% dos dados para obtenção e outros 20% para

validação.

MOTIVAÇÃO PARA USO DE ÁRVORES DE DECISÃO

MOTIVAÇÃO PARA USO DE ÁRVORES DE DECISÃO


o FACILIDADE DE ACESSO AOS DADOS

o INTERFACE AMIGÁVEL

o FACILIDADE DE INDUÇÃO

o PRECISÃO

o MASSA DE TESTES

o EXPLICITAÇÃO DAS REGRAS

MOTIVAÇÃO PARA USO DOXpertRule Miner

MOTIVAÇÃO PARA USO DOXpertRule Miner


Nó

NÓ DE TOPO ouNÓ DE RAIZ

NÓ DE FOLHA



Leaf #5 : (Custo_overhead_realizado >= 242124,4894948)

and (Hh_realizado_nm < 6494)

EXEMPLO DE REGRAEXEMPLO DE REGRA

REGRA 1.8#Se o Custo de Overhead Realizado for >= US$

242.124,48 eHH de nível médio realizado for < 6494 ePrioridade for alta.80,3% dos projetos são Concluídos e Implantados

ou em implantação19,7% dos projetos concluídos e não implantados ou

cancelados(do total de 25,5% dos 514 projetos analisados).


INTERESSABILIDADECOMPLETEZAPRECISÃOCOMPREENSIBILIDADE

CRITÉRIOS PARA OBTENÇÃO DAS REGRAS


(Nagai, 2000)


Interessabilidade: possuem uma lógica utilizável no entendimento do conhecimento relacionado àpriorização de projetos de tecnologia

Modelos de regras: interessam somente as regras que "casam" com os objetivos definidos inicialmente.

Cobertura de regras mínimas: Interessam o conjunto de regras que possam representar o objeto de estudo para o conjunto de dados analisado.

Acionabilidade de regras: as regras devem trazer vantagens quando utilizadas.

Inesperabilidade de regras: as regras interessam se possuem um fator de inesperabilidade.



(Nagai, 2000)


Completeza = # de exemplos cobertos / # total de exemplos.

Cobertura entre regras: as regras devem se complementar.

Precisão: possuem a precisão necessária para a imediata utilização das regras obtidas. Correspondem a diferença entre os valores reais e valores preditos pela regra.

Compreensibilidade: possuem um grau de complexidade inteligível ao ser humano. Sendo entendido que a complexidade de uma regra é medida pelo número de cláusulas que a mesma possuí associada ao total de regras, ou seja:

Complexidade = 0,6 * # de regras + 0,4* # de clausulas



(Nagai, 2000)


Camadas : entrada escondida saída

CARACTERÍSTICAS DOS CLIENTES

TÉCNICAS PARA SUPORTAR O PROCESSO ANALÍTICO

UTILIZAÇÃO DE REDES NEURONAIS

TÉCNICAS PARA SUPORTAR O PROCESSO ANALÍTICO

UTILIZAÇÃO DE REDES NEURONAIS

PRODUTOS/ SERVIÇOS

UTILIZADOS

NOVOCLIENTE

PROVÁVELSITUAÇÃO

FINAL


Automação de

Marketing

Gerência de

Supply Chain Sistemas

LegadosGerência de

Pedidos Produto

Atendimento

em Campo

Voz

URA, ACD

Conferência

Conferência

via Web

Fax

Cartas

Interação

Direta

Aplicações

Verticais

Automação

de Marketing

CRM Operacional CRM Analítico

CRM Colaborativo

ERP/ERM

Automação

de Atendim .

Automação

vendas

Sistema Móvel

de Vendas

Pro

cess

am

ento

em

“Loop Fech

ado”

e-mail

Gerência deEstoques

Inte

raçã

o

Mobile

Fro

nt

Back

com

o c

liente

Off

ice

Off

ice

Off

ice

Clientes ProdutosAtividade

de Clientes

Data Warehouse

Gerência de

Campanhas

Gerência de

Categorias

de

Fonte: Apllication Delivery Strategies , META Group

CRMCRM

Documents

MBA em Gestão de Empreendimentos Turísticoskmpress.com.br/site/wp-content/uploads/2011/09/004-TI_KDD-TURISMO.pdf · PROJETOS ARMAZENADOS EM BASES DE DADOS. o FACILIDADE DE INTEGRAR