26
Big Data Como utilizar melhor e mais rápido seus dados e informações utilizando metodologias e tecnologias GED/ECM

Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

  • Upload
    others

  • View
    5

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Big Data

Como utilizar melhor e mais rápido seus dados e

informações utilizando metodologias e

tecnologias GED/ECM

Page 2: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Irineu Granato, CDIA+

CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs)

AIIM Professional Member

Page 3: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Big Data

Page 4: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

A Representativdade do Big Data ?

Page 5: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

O que é o Big Data ?

Big data se trata de um conceito, no qual o foco é o grande armazenamento de dados oriundo

de todos os meios, aliados a maior velocidade de crescimento destas informações.

Começou a ser sentido e consolidado na última década com o aumento relevante na utilização

de computadores, notebook e todos os tipos de device, principais geradores e replicadores de

dados.

”Estamos na era onde todas as ações realizadas pela humanidade geram dados registrados”

Page 6: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Porque chamam de Big Data e não Big Information ?

Por conceito: Um dado só passa ser informação quando processado ou colocado dentro de

um contexto.

Dados analisados e interpretados sob determinada ótica, e a partir de análise, se torna

possível qualificar, classificar, medir, quantificar, etc…

Cliente A Cliente B Cliente C Cliente D Cliente E

Page 7: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

O que motiva o conceito “Big Data” no Mundo ?

É a oportunidade de usar os dados coletivos “Big” com a possibilidade de

prever e reconhecer padrões e comportamentos para aumentar a

receita e otimizar resultados a seus processos de negócios.

Page 8: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Volumes do Big Data através do mundo

Page 9: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Variedade nos meios de geração de Big Data através do mundo

Page 10: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Velocidade na geração de Big Data através do mundo

Page 11: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Desafios mundiais na utilização do conceito de “Big Data” ?

•  Os desafios decorrem as exigências para eDiscovery, governança, conformidade de

privacidade e armazenamento, aumento contínuo de regulamentos, legislações, ISO, SOX,

etc...

“Quanto mais dados, mais controles serão necessários”

•  Crescente de dados exponencial que já preocupam os especialistas pela falta de espaço:

•  Segundo a IBM em 2008 foram produzidos cerca de 2,5 quintilhões de bytes todos

os dias;

•  90% dos dados no mundo foram criados nos últimos dois anos;

•  Crescentes formatos de dados, mídia rica, línguas diferentes, nuvens e arquivos locais são

desafios para serem tratados

Page 12: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Saiba o que está procurando e como ivestigar

Encontrar sem saber exatamente o que procurar, mas sempre com padrão:

•  Análise de conteúdo, tais como mineração de texto, difere da busca tradicional. Análise

de texto por relevância pode ser o início.

A análise de texto faz toda a diferença, pois é particularmente interessante em áreas

onde os usuários devem descobrir idéias novas e desconhecidas, pois desconhecem o

seu próprio contexto do Big Data.

•  Antes de iniciar é necessário saber que padrões ou percepções estamos querendo com

o contexto de Big Data. Se é níveis hierárquicos, documentos correlacionais, padrões

geográficos, etc..

É necessário compreender quais resultados poderão ser obtidos com o Big Data

existente em termos de possibilidades.

Page 13: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Técnicas de extração de informações geralmente são agrupados da seguinte forma

•  Extração de arquivos do sistema: extração de propriedades do arquivo, como nome do arquivo,

tamanho, data de modificação, data de criação, atributos, tipo mime, etc

extração de propriedades Documento: extração de propriedades de documentos específicos,

dependendo do formato do documento, como título, autor, editora, versão, etc

•  Extração de propriedades Email: extração de propriedades comuns, tais como e-mail do remetente,

destinatário, Enviado Data, Assunto, tópico de conversação e outras propriedades, como cabeçalhos

de Internet, o remetente original, etc

•  ECM Plataformas: extrações de todas as propriedades de documento no ECM como estes são

armazenados com o documento, incluindo as configurações de segurança.

•  Cálculo Hash: cálculo de valores de hash para efeitos de identificação, suporte a vários tipos de hash

como MD5 e SHA1.

•  Detecção duplicado: calcular os valores de hash com base no conteúdo de mensagens de e-mail ou

binários para outros tipos de arquivo para encontrar e detectar documentos duplicados.

•  Detecção de idioma: a detecção de idioma do documento, o suporte para mais de 400 idiomas.

•  Extração Conceito: extração de pré-definido (texto completo) consultas que identificam documento

e conteúdo de informação com combinações específicas de palavras-chave ou (fuzzy e curinga)

padrões palavra dentro

•  Extração Entidade: extração de entidades de base que podem ser encontrados em um texto, tais

como: pessoas, empresas, locais, produtos, países e cidades.

Page 14: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Técnicas de extração de informações geralmente são agrupados da seguinte forma

•  Extração Fato: essas são as relações entre as entidades, por exemplo, uma relação contratual entre

uma empresa e uma pessoa.

•  Extração de Atributos: extração das propriedades das entidades encontradas, como o título da

função, a idade de uma pessoa e número de segurança social, endereços de locais, quantidade de

produtos, números de matrícula do carro, e do tipo de organização.

•  Extração de Eventos: são eventos interessantes ou atividades que envolvam entidades, tais como:

"uma pessoa fala para outra pessoa", "uma pessoa viaja para um local", e "uma empresa transfere o

dinheiro para outra empresa”.

•  Detecção Sentimento: encontrar documentos que expressam um sentimento e determinar a

polarização e a importância do sentimento expresso.

•  Processamento de linguagem estendida natural: Part-de-Speech (POS) para a marcação de pronome,

co-referência e anáfora resolução, a normalização semântica, agrupamento limite entidade, e co-

ocorrência de resolução.

Page 15: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Como fazer extração de informações e enriquecê-las

Um dos métodos para identificar entidades nomeadas é com a ajuda de expressões regulares, que

permitem que os dados, números de telefone, endereços de Internet, números de contas bancárias e

números de segurança social a ser bastante precisão identificados. Um bom exemplo de uma expressão

regular para encontrar um endereço de e-mail é:

\ b [A-Z0-9._% + -] + @ [A-Z0-9 -.]. + \ [A-Z] {2,4} \ b

http://en.wikipedia.org/wiki/Regular_expression

Page 16: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Coleta de Dados Automatizada a partir de múltiplas origens

Page 17: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Estruturação da Informação

Page 18: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Como fazer extração de informações e enriquecê-las

Page 19: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Como fazer extração de informações e enriquecê-las

Page 20: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Relacionamento entre dados e informações

Podemos coletar facilmente ótimas informações extraídas que permite a visualização de dados

avançados, tais como a árvore de estrela ou um mapeamento geográfica.

Lembre-se: Todos ligados a Big Data da companhia, oriundo de diversos legados e conteúdos externos

da Internet vinculados a períodos e datas, se necessário.

Page 21: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Mineração dos dados transformando em informação:

Page 22: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Coleta e estruturação dos dados:

Page 23: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Análise Cronológica da Informação:

Page 24: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Georeferenciamento da informação:

Page 25: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Análise de relacionamento da Informação:

Page 26: Big Data - IIMAecmshow.com.br/apresentacoes_2013/df2013/04_irineu...tecnologias GED/ECM Irineu Granato, CDIA+ CBPP, AIIM (ECMp, ECMs, IOAp, BPMs, ERMs) AIIM Professional Member Big

Perguntas ?

Irineu Granato, AIIM ECMp, ECMs,AIIM IOAp, AIIM ERMs, BPMp, CBPP, CDIA+