20
Leandro Escobar [email protected]

hadoop é o ecossistema para big data

Embed Size (px)

Citation preview

Page 1: hadoop é o ecossistema para big data

Leandro [email protected]

Page 2: hadoop é o ecossistema para big data

PENSE BEM...

Até 70% dos dados são INATIVOSAPPFLUENT

Empresas UTILIZAM 15% dos dados disponíveisGARTNER

Em média, 65% dos atributos (campos) NÃO POSSUEM QUALIDADE suficiente para serem analisadosPesquisas acadêmicas Boa parte dos DADOS

INACESSÍVEIS estão dentro da empresa, mas EM SILOS

DAVENPORT

Page 3: hadoop é o ecossistema para big data

NO COMEÇO...

Ciência de

Dados

EstatísticaVisualização

Mineração

de Dados

Mineração

de Dados

Computação cognitiva

Aprendizado

de máquina

Reconhecimento

de padrões

Page 4: hadoop é o ecossistema para big data

LIMITAÇÃO DA ARQUITETURA

OS DADOS SÃO TRAZIDOS ATÉ A LÓGICA DO

PROGRAMA

A lógica fica centralizada nos

servidores

Page 5: hadoop é o ecossistema para big data

UMA NOVA ABORDAGEM

LEVAR A COMPUTAÇÃO ATÉ OS DADOS...

A lógica é distribuída

Page 6: hadoop é o ecossistema para big data

UMA NOVA ABORDAGEM

LEVAR A COMPUTAÇÃO ATÉ OS DADOS...

PARADIGMA DISTRIBUÍDO - MapReduce

Page 7: hadoop é o ecossistema para big data

BIG DATA

Page 8: hadoop é o ecossistema para big data

BIG DATA

VOLUME

De TeraBytes Para YotaBytes!

VARIEDADE

De dados estruturados

Para todo tipo de dados!

VELOCIDADE

De captação lenta

Para streaming de dados!

Page 9: hadoop é o ecossistema para big data

HADOOP É O ECOSSISTEMA PARA BIG DATA

A linguagem de programação que prevalece é o

Page 10: hadoop é o ecossistema para big data

POSSIBILIDADES DO BIG DATAACELERAR INTEGRAÇÕE DE DADOS

INSTITUIÇÃO DE ENSINO SUPERIOR ON LINESem Hadoop: 5 dias para gerar os indicadoresCom Hadoop: 2 horas

Page 11: hadoop é o ecossistema para big data

POSSIBILIDADES DO BIG DATAGEORREFERENCIAMENTO – ANTECIPAR A OCORRÊNCIA DE EVENTOS: Ex EPIDEMIAS

SINAN(Registro de casos de Dengue)

IBGE(Pnad)

MOTEOROLOGIA ONLINE(Accuweather)

Page 12: hadoop é o ecossistema para big data

POSSIBILIDADES DO BIG DATAMÁQUINAS DE RECOMENDAÇÃO – OFERECER OS PRODUTOS COM MAIOR POTENCIAL

Page 13: hadoop é o ecossistema para big data

POSSIBILIDADES DO BIG DATAANÁLISE DE SENTIMENTOS – SABER O QUE AS PESSOAS FALAM SOBRE AS EMPRESAS

Page 14: hadoop é o ecossistema para big data

POSSIBILIDADES DO BIG DATAANÁLISE DE REDES SOCIAIS – ANTECIPAR AMEAÇAS DE FRAUDES

- Relacionamento com fraudadores conhecidos: Novos consumidores que estão ligados a fraudadores;

- Redes extraordinariamente grandes e diversificadas: Grandes grupo, que surgem rapidamente, podem indicar um golpe prestes a ocorrer

- Anomalias estatísticas: As famílias que compartilham muitos sobrenomes ou diferentes indivíduos que compartilham os mesmos bens

Page 15: hadoop é o ecossistema para big data

POSSIBILIDADES DO BIG DATAANÁLISE DE REDES SOCIAIS– IDENTIFICAÇÃO DE PESSOAS INFLUENTES

• Oferecer produtos

• Formar opiniões

• Divulgar eventos

Page 16: hadoop é o ecossistema para big data

POSSIBILIDADES DO BIG DATAPREVISÃO DE EVENTOS– CONTROLE IOT– PREVISÃO DE DEFEITOS OU FALHAS

Conectar diferentes equipamentosAnalisar dados e prever eventos

Page 17: hadoop é o ecossistema para big data

BIG DATA NA UNIVERSIDADE POSITIVO

Projetos:- Monitoramento da velocidade da frota em tempo real

(Projeto Global)- Otimização no atendimento a incidentes- Previsão de demanda de lasanhas: BRF- Recomendação de estoques para loja de motocicletas- Análise de tendência de vendas de produtos em mercados, para

decisão de compra- Identificação de futuros pacientes de alto risco: Cliente sob sigilo- Apoio ao diagnóstico médico: Médicos sem fronteiras- Alertas de riscos de epidemias: Secretaria de Saúde do Paraná- Georreferenciamento de crises endêmicas: Secretaria de Saúde do

Paraná- Alertas de evasão de alunos: UP- Máquinas de recomendação para retenção de alunos: UP- Analise de expressões faciais durante as compras- Máquina de recomendação para e-commerce- Previsão de compras em empresas de varejo

Page 18: hadoop é o ecossistema para big data

O BIG DATA NOS PERMITE CONHECER AS PESSOAS, SEUS HÁBITOS, NECESSIDADES E DESEJOS, bem como ANTECIPAR EVENTOS E COMPORTAMENTOS

Page 19: hadoop é o ecossistema para big data

Dúvidas????

Page 20: hadoop é o ecossistema para big data

Leandro [email protected]

Muito obrigado!