Artigo Científico apresentado à Faculdade de Tecnologia da Zona Sul – Fatec-ZS como exigência parcial para a obtenção do título de

Tecnólogo em Informática para Gestão de Negócios. 

Orientador: Prof. Alex Macedo de Araujo.

“Big Data são dados que excedem a capacidade de processamento dos sistemas de banco de dados convencionais.”

Um problema de memória em escala global.

Formação de um fenômeno

Internet das coisas

A web dos dados

Cientistas medindo o infinito

Atualmente somam-se a esses dados estruturados informações disponíveis nos meios digitais. A internet, a melhor fonte de dados, é quase incompreensivelmente grande. Os usuários criam o conteúdo como postagens de blog, tweets, interações em redes sociais, fotos e vídeos. Servidores registram continuamente logs sobre suas ações online. registro de eventos relevantes num sistema computacional

Formação de um fenômeno

Internet das coisas

O termo foi cunhado em 1999 por Kevin Ashton para descrever um futuro onde quase tudo poderia se tornar rastreável através de uma etiqueta de RFID aplicada. Hoje, quando se fala sobre a "internet das coisas", se descreve a proliferação de dispositivos conectados à internet e sensores interligados a que atualmente conhecemos como internet.

A web dos dados

A Web 3.0, anunciada como a terceira onda da Internet, projeta estruturar todo o conteúdo disponível na rede mundial de computadores dentro dos conceitos de “compreensão das máquinas” e "semântica das redes”.

Cientistas medindo o infinito

A metodologia científica exige a exaustiva repetição de testes e medições para comprovação das teorias e evolução nas pesquisas. A computação acompanha a ciência intrinsecamente para executar o processamento de tarefas repetitivas.

Descodificar o genoma humano originalmente levou 10 anos para o processo, agora pode ser conseguido em uma semana.

JustificativaCompreender o fenômeno e sua conseqüência no

setor de TI

MetodologiaInvestigação indutiva sobre o temaDados acadêmicos dirigidos a questões técnicasFontes de pesquisa no mercado de TI

ObjetivoTecer parâmetros para estratégia futuras na camada

de negócios

...são criadas mais informações em dois dias do que a civilização

gerou desde seu início até o ano de 2003 (Schmidt, 2010). O ano

de 2012 está sendo marcado pela explosão do mercado de

análise de Big Data. Empresas como a Gartner e IBM já

observavam em 2011 que o Big Data era uma tecnologia

emergente.

Atualmente...

Big Data é uma denominação nova para um problema antigo, que

adquiriu proporções maiores e que exige redobrada atenção. A

possibilidade de colapso dos sistemas de tecnologia de

informação exigiu um salto tecnológico na maneira de manipular

dados que exercem grande influência sobre os diversos aspectos

da vida humana: ciência, política, economia, sociedade e

comportamento e qualquer área que necessite ser alimentada

com dados para processamento.

Um problema de memória em escala global.

Nos próximos dez anos, só os dados digitais deverão crescer 44 vezes. Em

2020, haverá 4 bilhões de pessoas on-line criando 50 trilhões de gigabytes

de dados. " (HP Intelligent Research - ed. May 15 - 2012)

Big Data é um termo aplicado a conjuntos de dados cujo tamanho é

além da capacidade de ferramentas de software usadas para capturar,

gerenciar e processar os dados dentro de um tempo tolerável decorrido.

Estão configurados em grandes formatos de dados e em constante

movimento atualmente e variando de algumas dezenas de terabytes a

petabytes de muitos dados em um único conjunto de dados.

Características

Os limites atuais são da ordem de:• Petabytes • Exabytes• Zettabytes

Os cientistas frequentemente vem deparam-se com este cenário em:

• Meteorologia• Genômica• Conectônomia• Simulações de físicas

complexas• Pesquisas biológicas e

ambientais• Pesquisas na Internet, finanças• Informática empresarial.

Até aonde (em tamanho dados): O quê está sendo analisado:

Uma das chaves para extrair dados não estruturados como áudio, vídeo, imagens, eventos, tweets, wikis, fóruns e blogs, e transformá-los em informações valiosas é criar um modelo de dados semântico a partir de uma camada que fica em cima do armazenamento de dados.

“Temos de reunir os dados a partir de diferentes fontes e dar sentido a eles. O modo pelo qual fizemos isso e a forma que a indústria tem feito, é realizar extrações dos dados a partir de lugares diferentes e construir um repositório, depois, produzir relatórios fora desse repositório. É um processo que consome tempo e não é uma questão extremamente flexível.”

Tipo de dados e como lhe dar com eles

TecnologiasAs tecnologias que estão sendo aplicados aos dados incluem:

• Processamento Paralelo Massivo(Massively Parallel Processing, MPP);

• Redes de prospecção de dados;

• Sistemas de arquivos distribuídos;

• Bancos de dados distribuídos;

• Plataformas de computação em nuvem;

• Internet;

• Sistemas de armazenamento escaláveis.

Os cinco “Vs”

Os cinco “Vs”

Em termos técnicos poderíamos definir o Big Data por cinco termos

que denominamos por “3 Vs” ( Velocidade, volume e variedade).

Porém, em algumas teses veem se acrescentando mais dois “Vs”

(Veracidade e valor).

Os cinco “Vs”

Atualidade - A massificação do Big Data, no entanto, ainda enfrenta obstáculos. O maior deles, como não poderia deixar de ser quando o assunto é dados, é a preocupação quanto à privacidade. Se a recomendação de links patrocinados pelo Google já parece invasiva à maioria das pessoas, o mundo e a legislação atuais não estão preparados para as possibilidades que o Big Data oferece de agregar e tirar conclusões de dados até então esparsos.

Fazer um balanço dos dados - Quase todas as organizações têm a possibilidade de acesso a um fluxo equilibrado de dados não estruturados, sejam eles dirigidos às redes sociais ou gerados a partir de sensores que monitoram os andares de uma fábrica, por exemplo. Mas produzir uma enxurrada de informação não significa que é imperativo salvar e manusear cada byte gerado.

Onde e como aplicar

Muitas das oportunidades de Big Data começaram em áreas fora da TI: os departamentos de marketing são exemplo. Eles têm buscado no fenômeno uma forma de obter mais conhecimento sobre as necessidades dos clientes e identificar tendências de compras por meio das redes sociais.1. Reavaliar as estruturas - Big Data exige grandes mudanças na infraestrutura de servidores e armazenamento na maioria das empresas. 2. Estruturar os dados – O mundo do Big Data vem com uma longa lista de novas siglas e tecnologias que provavelmente nunca estiveram antes na mira dos CIOs.

3. Prepare sua equipe - A maioria das empresas de TI conta com apenas o talento necessário para dar os passos seguinte com Big Data. Por isso, as capacidades analíticas são as mais cruciais e as que mais faltam às equipes de TI.

Primeiros negócios

Big Data Analytics é uma prática que cresce rápida e

influentemente. Para descobrir quantas organizações e usuários

realmente o fazem, foi formulada uma pesquisa que perguntou

aos entrevistados:

"A sua organização executa análise avançada de dados contra

grandes volumes hoje?”

Analisando o Big Data Analytics

1. CDO - Chief Data Officer é o diretor corporativo responsável por todo o processamento e mineração de dados de uma empresa.

2. Cientista de dados - Um novo campo foi criado em 2001, quando o termo "ciência de dados" foi usado pela primeira vez em um artigo pelo estatístico William Cleveland, Data Science: Um Plano de Acção para a Expansão das Áreas Técnicas do Campo de Estatística .

1. Montando o Quebra Cabeça - Desde a época do boca a boca e do comércio baseado na produção artesanal, o relacionamento interpessoal entre cliente e produtor passou por diversas fases evolutivas. Transitamos da indiferença e do foco exclusivo na produção e na capitalização à descoberta de certo controle proporcionado pela informatização dos sistemas, como os de atendimento aos clientes ou Call Center/URA, de Relacionamento com os clientes CRM, de Inteligência de negócios BI e, por fim, a unificação de todas essas bases de conhecimento em um sistema ou ERP.

2. “O Perde e Ganha” do Social Big Data - Empresas de variados portes se aproveitam atualmente do intenso movimento social e tecnológico para ampliar bases de seguidores e fãs, unindo listagens de milhares e até milhões de clientes.

Cada um desses clientes mantém grande quantidade de dados pessoais, de relacionamento, de atividades e de hábitos de consumo disponíveis de forma pública. Porém, esses dados estão extremamente desestruturados e dispostos em muitas redes sociais diferentes.

As empresas que conquistaram essas bases, hoje as utilizam apenas para manter um relacionamento através de conteúdos nos canais sociais, sem beneficiarem-se dessa riqueza de informações.

Como consideramos os dados, ao invés de lógica de negócios, como entidade primária em um programa, é preciso criar ou redescobrir o idioma que nos permite concentrar os dados, ao invés de abstrações. Em outras palavras:

Escrever programas mais curtos que tornam claro o que estamos fazendo com os dados.

Essas abstrações por sua vez se prestam para a criação de melhores ferramentas para não-programadores. Melhor suporte a interatividade. Se o Hadoop tem alguma fraqueza, é a natureza orientada por lotes de computação. A natureza ágil da ciência de dados irá favorecer qualquer ferramenta que permita mais interatividade.

Questões? 

Obrigado pela atenção.