Embed Size (px)
Citation preview
ANHANGUERA EDUCACIONALGUARULHOS (SP) – FACS. INTEGRADAS TORRICELLI
CAMPUS IV
TÉCNICO EM MANUTENÇÃO E SUPORTE EM INFORMÁTICA – SALA 418
DANIELA DE ASSIS CARRAMÃO – RA. 1400033421
DAMIÃO RAMOS JUNIOR – R.A. 1400033269
EDSON NASCIMENTO DA SILVA – R.A. 1400002292
EDIMILSON PEREIRA DE ALENCAR – RA. 1400033900
IVANILDO DE GOUVEIA – RA. 1400033304
TRABALHO MULTIDISCIPLIANAR
GUARULHOS 2015
Trabalho Multidisciplinar
“BIG DATA”
Trabalho de Avaliação Bimestral apresentado ao curso de Técnico em Manutenção e Suporte em Informática da Anhanguera Educacional – Faculdades Integradas Torricelli, requisito parcial à obtenção de Avaliação Bimestral em Arquitetura de Computadores.
Orientadora: Professora Carolina Almeida Santos
GUARULHOS 2015
2Trabalho Multidisciplinar – “Big Data”
RESUMO
Big Data é a quantidade enorme de informações existentes dentro de servidores de banco de dados como por exemplo o Microsoft SQL Server e o Oracle MYSQL que funcionam dentro de diversos servidores de rede de computadores, utilizando um sistema operacional de rede, interligados entre si, que hoje em dia funcionam dentro de um sistema operacional com armazenamento em Cloud Compunting, cujas informações são acessadas pela internet por pessoas utilizando um computador comum ou celular (smartphone), para lêr essas informações ou para incluir mais informações dentro do banco de dados.
Mantenha o objetivo final em mente ao lidar com a compilação de dados, marketing digital ou outras iniciativas de base tecnológica. Existem muitos benefícios intangíveis do big data: melhor atendimento ao cliente, mais envolvimento, a unificação do tom de voz da marca e mais conhecimento sobre o cliente. Todos são objetivos nobres, assim como algumas novas tecnologias, como um painel sempre ativo na rede social ou um mecanismo de recomendação no seu site da internet. Mas nada é melhor do que o crescimento das vendas. Mantenha o foco nas vendas e trabalhe a partir desse ponto para trás.
Não faz muito tempo, curiosidade, criatividade e comunicação não eram pontos enfatizados em departamentos de TI. O IIA, afirma Phillips, vê o cientista de dados como aquele que reúne três importantes características: tecnológica (TI, hardware e software), quantitativa (estatística, matemática, modelagem e algoritmos) e de negócios (domínio da área). “Os profissionais bem-sucedidas têm o lado quantitativo aguçado”, observa. “Eles conhecem a tecnologia, mas não a executam. Eles dependem da TI”.
Palavras chave (Big Data, Cloud Copunting, Analytics, etc).
3Trabalho Multidisciplinar – “Big Data”
SUMÁRIO
Big Data – Definição 05 Big Data Analytics 06 O Valor do Big Data , Sem Modismos 07 Integre o Big Data em sua Estratégia de Marketing
Como um Todo.08
Impactos do Big Data 09 Benefícios de Negócios Utilizando o Big Data 10 Riscos com o Big Data 10 Avalanche de Dados 11 Avalanche de Dados Gera Grandes Oportunidades
profissionais11
Curiosidade Faz a Diferença 12 Procura-se Tempero Científico 13 A Influência do Big Data no Business
Inteligence13
Armazenamento da Massa de Dados 14 Business Inteligence – Data Warehouse 15 Big Data – Mapreduce e Hadoop 16 Impactos Positivos e Negativos 16 Impactos em Business Intelligence 17 Impactos em Big Data 19 Uma Visão Geral Sobre Big Data 20 Big Data & Analytics: uma visão geral desse
profissional da TI22
Formação Ampla 22 Big Data x BI: Quem é Quem? 22 Perfil do Profissional de Big Data & Analytics 23 Desafio da Profissão: Inteligência e Decisão 23 Conclusão 23 Bibliografia 24
4Trabalho Multidisciplinar – “Big Data”
BIG DATA - DEFINIÇÃOBig Data é a quantidade enorme de informações existentes dentro de
servidores de banco de dados como por exemplo o Microsoft SQL Server e o Oracle MYSQL que funcionam dentro de diversos servidores de rede de computadores (Intel, HP, IBM, Dell, Cisco, Samsung, etc, utilizando um sistema operacional de rede, interligados entre si, que hoje em dia funcionam dentro de um sistema operacional com armazenamento em Cloud Compunting, cujas informações são acessadas pela internet por pessoas utilizando um computador comum (notebook, por exemplo) ou celular (smartphone), para lêr essas informações ou para incluir mais informações dentro do banco de dados.
Cada ano que passa, essa informação Big Data, tende a aumentar cada vez mais. Para garantir a segurança da informação e para proteger a privacidade das informações, hoje em dia existem várias técnicas modernas (ITIL + Cobit, por exemplo). E a proteção que existe desde a década de 80, os antivírus. Hoje em dia o banco de dados SQL existe dentro dos servidores dos provedores de internet, que fornecem o serviço de uso disponível aos clientes.
Podemos citar aqui dois exemplos de Big Data: O Youtube onde todos os videos disponíveis online estão armazenados em diversos servidores de banco de dados SQL; e a Wikipédia com todos os textos disponíveis online estão armazenados em diversos servidores de banco de dados SQL.
Big Data é um termo popular usado para descrever o crescimento, a disponibilidade e o uso exponencial de informações estruturadas e não estruturadas. O Big Data pode ser tão importante para os negócios - e para a sociedade - como a Internet se tornou. Por quê? O excesso de dados pode levar à realização de análises mais precisas.
Em 2001, o analista do setor de Doug Laney (Gartner) articulou a definição do termo Big Data em três Vs: Volume, Velocidade e Variedade.
Volume. Muitos fatores contribuem para o aumento do volume de dados. Transações de dados armazenados ao longo dos anos, dados de texto constantemente em streaming nas mídias sociais, o aumento da quantidade de dados de sensores que estão sendo coletados etc. No passado o volume de dados excessivo criou um problema de armazenamento. Mas com os atuais custos de armazenamento decrescentes, outras questões surgem, incluindo, como determinar a relevância entre os grandes volumes de dados e como criar valor a partir dessa relevância.
Velocidade. De acordo com o Gartner, velocidade significa tanto o quão rápido os dados estão sendo produzidos quanto o quão rápido os dados devem ser tratados para atender a demanda. Etiquetas RFID e contadores inteligentes estão impulsionando uma necessidade crescente de lidar com torrentes de
5Trabalho Multidisciplinar – “Big Data”
dados em tempo quase real. Reagir rápido o suficiente para lidar com a velocidade é um desafio para a maioria das organizações.
Variedade. Os dados de hoje vem em todos os tipos de formatos. Sejam bancos de dados tradicionais, hierarquias de dados criados por usuários finais e sistemas OLAP, arquivos de texto, e-mail, medidores e sensores de coleta de dados, vídeo, áudio, dados de ações do mercado e transações financeiras. Por algumas estimativas, 80 por cento dos dados de uma organização não é numérico! Mas, estes dados também precisam ser incluídos nas análises e tomadas de decisões das empresas.
Big Data AnalyticsBig Data Analytics é o processo de examinar grandes conjuntos de dados contendo uma variedade de tipos de dados - ou seja, de Big Data - para descobrir padrões escondidos, correlações desconhecidos, tendências de mercado, preferências dos clientes e outras informações sobre negócios útil. Os resultados analíticos podem tornar o marketing mais eficaz, novas oportunidades de receita, melhor serviço ao cliente, melhoria da eficiência operacional, vantagens competitivas sobre organizações rivais e outros benefícios para o próprio negócio
O principal objetivo do Big Data Analytics é a de ajudar as empresas a tomar decisões de negócios mais informadas, permitindo que cientistas de dados, modeladores preditivos e outros profissionais de análise para analisar grandes volumes de dados de transações, bem como outras formas de dados que podem ser inexplorado pela inteligência de programas de negócios convencionais. Isso poderia incluir logs do servidor Web e Internet fluxo de cliques dados, conteúdo de mídia social e os relatórios de atividades de redes sociais, e-mails de texto a partir de clientes e respostas da pesquisa, os registros de detalhes de chamadas de telefonia móvel e dados de máquinas captadas por sensores conectadas à Internet das Coisas. Algumas pessoas associam exclusivamente grandes dados com semiestruturadas e dados não estruturados desse tipo, mas como empresas de consultoria também consideram transações e outros dados estruturados para ser componentes válidos de grandes aplicativos de análise de dados.
Big Data podem ser analisadas com as ferramentas de software comumente usados como parte de análise avançadas disciplinas como análise preditiva, mineração de dados, análise de texto e análise estatística. Mas os dados semiestruturados e não estruturados podem não se encaixar bem em tradicionais armazenadores de dados com base em bancos de dados relacionais. Além disso, armazenadores de dados podem não ter a capacidade de lidar com as demandas de processamento colocadas por grandes conjuntos de dados que precisam ser atualizados com frequência ou mesmo continuamente - por exemplo, dados em tempo real sobre o desempenho de aplicativos móveis ou de oleodutos e gasodutos.Como resultado, muitas organizações que procuram recolher, processar e analisar grandes volumes de dados voltaram-se para uma nova classe de tecnologias quem incluem o Hadoop e ferramentas de banco de dados
6Trabalho Multidisciplinar – “Big Data”
relacionadas, tais como Faísca e NoSQL. Essas tecnologias formar o núcleo de uma estrutura de software open source que suporta o processamento de grandes conjuntos de dados entre os sistemas em cluster.Em alguns casos, o Clusters Hadoop e NoSQL são sistemas que estão sendo usados como almofadas de aterragem e áreas de armazenamento temporário para os dados antes que ele seja carregado em um armazenador de dados para análise, muitas vezes de forma resumida que é mais propício para estruturas relacionais. Cada vez mais, porém, grandes fornecedores de dados estão empurrando o conceito de um Hadoop que serve como o repositório central de fluxos de entrada de uma organização de dados brutos. Em tais arquiteturas, subconjuntos dos dados podem então ser filtrados para análise em armazenadores de dados e analíticos, ou ele pode ser analisado diretamente no Hadoop usando ferramentas de consulta de lote, software de processamento de fluxo e SQL em Handoop tecnologias que executam consultas ad hoc escrito em SQL.
O VALOR DO BIG DATA , SEM MODISMOSEsses estudos de casos sugerem quatro pontos de reflexão sobre o aproveitamento do potencial do big data:Mantenha o objetivo final em mente ao lidar com a compilação de dados, marketing digital ou outras iniciativas de base tecnológica. Existem muitos benefícios intangíveis do big data: melhor atendimento ao cliente, mais envolvimento, a unificação do tom de voz da marca e mais conhecimento sobre o cliente. Todos são objetivos nobres, assim como algumas novas tecnologias, como um painel sempre ativo na rede social ou um mecanismo de recomendação no seu site da internet. Mas nada é melhor do que o crescimento das vendas. Mantenha o foco nas vendas e trabalhe a partir desse ponto para trás.Pense grande, comece pequeno e ganhe escala rapidamente. Integrar os dados de diversas fontes por meio de pontos de contato e canais requer um “pensamento grande”, mas isso não necessariamente significa investimentos maciços. Você pode começar pequeno. Rastrear as vendas atuais dos revendedores foi inicialmente um passo pequeno para o fabricante de bebidas na América Latina, o teste foi realizado em uma única cidade durante algumas semanas. Isso criou uma informação em tempo real que a empresa usou para melhorar as vendas e os itinerários de entrega. Com um modelo comprovado, a empresa, em seguida, ampliou a região de atuação e
7Trabalho Multidisciplinar – “Big Data”
começou a integrar os dados de consumo reais dos clientes por meio do rastreamento dos celulares.Entender o poder da informação em tempo real. Big data não é comparável ao seu último projeto de CRM ou ao esforço de implementação de um ERP. As informações de vendas diárias ajudaram o fabricante de bebidas a
ajustar imediatamente as vendas, entregas, logística e programas promocionais e de marketing. Mantenha em mente, entretanto, que sua indústria pode ser diferente. O que será importante para você? Você pode ter de verificar as tendências trimestralmente ou a cada seis meses. Use o big data para manter-se atualizado, não se impressione ou se deixe enganar.
Integre o big data em sua estratégia de marketing como um todo. No passado, as equipes de marketing desenvolviam as estratégias na matriz, que depois eram executadas nas regiões ou unidades locais. A matriz contava com pesquisas e estudos preparados por empresas de pesquisa de mercado. A gerência regional e local, ao contrário, estava focada em obter a eficiência operacional na execução das estratégias concebidas pela matriz no último ciclo de planejamento. Esses dias acabaram. O big data irá provar que o pensamento tradicional centrado em marcas, que acontecia na matriz da empresa (concentrando em uma grande ideia criativa que poderia ser executada consistentemente em todos os canais e pontos de contato), é totalmente inadequado hoje em dia. O big data vai mudar a tomada de decisão para a administração local e regional e integrar seus planos no processo de estratégia como um todo, de forma que a estratégia de marca e os planos de marketing possam ser realmente concebidos, otimizados e executados localmente.Uma ressalva: o big data levanta o espectro de vigilância do consumidor e preocupações com privacidade. E essas preocupações são legítimas. Ainda assim, as empresas e especialmente os especialistas em marketing precisam trabalhar com dados dos consumidores. A promessa do big data é vazia a menos que os consumidores queiram compartilhar informações sobre si mesmos. Essas informações são a base para muitos serviços que agregam valores aos consumidores, com enormes benefícios, como nos exemplos da Burberry e do Sporting KC. E esses exemplos não são exceções.Big data é essencial para que as empresas criem novos modelos de negócios, descubram novas perspectivas dos consumidores, otimizem o relacionamento com canais de distribuição e criem um marketing mais eficiente ao identificar melhor seu alvo, melhorar a gestão de campanhas e monitorar o sucesso. Em última instância, as empresas tornam-se realmente centrada no cliente.Entretanto, mantenha dois itens importantes em mente. Primeiro, foque somente no que você precisa. Há muita água no oceano, mas você não consegue beber tudo isso. E também reconheça o que é “bom saber” versus o
8Trabalho Multidisciplinar – “Big Data”
que você “precisa saber”. Peça permissão aos clientes para usar as informações que você está coletando. Em segundo lugar, agregue informações ao micro segmento ou grupo para preservar a privacidade individual e mantenha ou armazene a informação nesse nível.Na Vivaldi, nós pedimos permissão aos clientes para monitorar seus comportamentos diários por meio do celular. Nós então desenvolvemos micro segmentos e agregamos os dados nesse nível, incluindo conversas sociais, dados de navegação digital ou informações internas sobre relacionamento com o cliente. O uso altamente pessoal e frequente do celular proporciona informações poderosas e contextualmente relevantes para dar suporte a decisões de marketing a qualquer momento e esses dados podem ser atualizados semanalmente, diariamente ou com frequência ainda maior. Mais importante que isso, o big data muda a maneira com que os executivos lidam as decisões. Passam a existir muito menos decisões tomadas por instinto, experiência e intuição. As decisões também são tomadas e executadas mais rapidamente.1 Reeves Wiederman, “Sporting Kansas City Makes the Stadium More Like Your Couch,” Bloomberg Businessweek, 18 de julho de 2013.
Impactos do Big Data Além do impacto no negócio, O Big Data pode afetar a empresa em vários aspectos, como governança e gerenciamento do planejamento, utilização, garantia e privacidade (ISACA®, 2013): Governança: A governança garante que as necessidades, condições e opções das partes interessadas sejam avaliadas para determinar que metas devem ser alcançadas pela empresa. Sem um processo de governança adequado, os projetos de Big Data podem desencadear uma série de problemas, incluindo dados enganosos e custos inesperados. Um desafio significativo no processo de governança de Big Data é categorizar, modelar e mapear os dados à medida que são capturados e armazenados. Planejamento: Envolve o processo de coleta e organização dos resultados obtidos pela análise dos dados. Utilização: O uso de Big Data pode variar de uma empresa para outra, dependendo de seu nível de maturidade e cultura. Uma empresa menor pode demorar mais tempo para adotar o Big Data por não dispor de uma infraestrutura necessária para suportar os novos processos envolvidos. Por outro lado, empresas de porte como a IBM, HP e Amazon.com, fizeram os investimentos necessários e adotaram o Big Data, utilizando as informações obtidas por essa tecnologia para tomar decisões de negócio e mudar a direção de suas vendas. Garantia: A maior preocupação de garantia para uma empresa é a qualidade dos dados. Uma informação é eficaz se atende às necessidades do consumidor de informações. Quanto melhor a qualidade do dado, melhores serão as decisões com base no dado, criando valores para a empresa. A gestão de Big Data deve garantir a qualidade do dado ao longo do seu ciclo de vida. Privacidade: Leis protegem a privacidade dos indivíduos e todas as informações coletadas sobre eles, mesmo que as pessoas compartilhem informações confidenciais inadequadamente. Mesmo com a autenticidade da
9Trabalho Multidisciplinar – “Big Data”
informação coletada das mídias sociais, ela precisa ser protegida de usuários com má-fé e de governos muito controladores.
Benefícios de Negócios Utilizando o Big Data As oportunidades de negócios utilizando o Big Data são significativas, assim como os desafios. Uma pesquisa feita por Erik Brynjolfsson, economista da Sloan School of Management do Instituto de Tecnologia de Massachusetts (EUA), mostra que as empresas que utilizam a "tomada de decisão com base em dados" obtêm um aumento de cinco a seis por cento em produtividade. O uso adequado de Big Data vai além de coletar e analisar grandes quantidades de dados; também exige a compreensão de como e quando usar os dados ao tomar decisões cruciais. As empresas que dominam a disciplina emergente de gerenciamento de Big Data podem obter vantagens significativas e se diferenciar de seus concorrentes. A vantagem competitiva pode ser muito melhorada com a otimização dos dados certos. Alinhando-se os processos de gerenciamento de dados com a estratégia da empresa, benefícios financeiros podem ser concretizados a analise do big data pode impactar positivamente (ISACA®; 2013).
Desenvolvimento de produto; Desenvolvimento do mercado; Eficiência operacional; Experiência e lealdade do cliente; Previsões de demanda de mercado.
Riscos com o Big Data As empresas estão cada vez mais dependentes dos dados para a melhoria na tomada de decisões. Dados imprecisos, incompletos ou manipulados de maneira fraudulenta representam um risco crescente para os tomadores de decisões estratégicas (FEIJÓ, 2013). Segurança e privacidade desempenham um papel cada vez mais importante em Big Data, e todas as partes interessadas devem estar cientes das implicações de armazenamento e análises cruzadas de grandes quantidades de dados confidenciais. Além disso, alguns dados podem ser considerados tóxicos, se não forem bem controlados pela empresa. Exemplos de dados que podem ser considerados tóxicos (ISACA®, 2013):
Informações privadas ou de custódia, como número de cartão de crédito, informações bancárias e informações pessoais, como por exemplo, informações pessoais de saúde; Informações estratégicas, como propriedade intelectual, planos de negócios e projetos de produtos;
Dados como indicadores-chave de desempenho, resultados de vendas, métricas financeiras e de produção utilizadas para tomar decisões estratégicas.
10Trabalho Multidisciplinar – “Big Data”
Como forma de minimizar os prejuízos causados pela utilização de dados imprecisos ou fraudulentos, as empresas devem fazer um inventário de todas as fontes de dados que estão incluídos em suas análises e avaliá-las sob o aspecto de vulnerabilidade. Quando detectados, dados fraudulentos devem ser removidos antes de sua divulgação (ISACA®, 2013).
AVALANCHE DE DADOSBig Data, conceito que vem chamando a atenção devido ao acelerado crescimento de dados criados pela sociedade, nada mais é do que a simples constatação de que o imenso volume de dados gerados, a cada dia, excede a capacidade de tratamento adequado das tecnologias atuais. Redes sociais, GPS, telefones celulares e a popularização dos mais diversos dispositivos móveis foram o estopim para o início desse serviço.O termo se refere a bancos de dados de tamanho significativamente maior que os que usualmente conhecemos. Essa tecnologia é capaz de reunir uma quantidade inimaginável de dados digitais e cruzá-los, aumentando a possibilidade de ganhos com o uso dessas informações. Dessa forma, o Big Data analisa informações em variedade, volume a velocidade, como nunca antes se viu tratar analiticamente estes dados pode gerar grandes benefícios para a sociedade e as empresas. Em um momento, onde quase tudo o que fazemos passa em algum momento pelo computador, as empresas começam a enxergar essa “avalanche de dados” com outros olhos.
Na prática, a tecnologia permite analisar qualquer tipo de informação digital em tempo real, sendo fundamental para a tomada de decisões. Além disso, a grande inovação das soluções Big Data é lidar, também, com dados não estruturados como twitter, posts no facebook, vídeos, geolocalização e comportamento de clientes, que dependem do contexto para serem interpretados. Assim, quando se passa a identificar padrões dentro desses dados, é possível tirar conclusões que vão além do óbvio.
AVALANCHE DE DADOS GERA GRANDES OPORTUNIDADES PROFICIONAISTecnologias de Big Data estão em ascensão, sentenciam analistas do mercado. Esse cenário está ajudando a criar grandes oportunidades de carreira para profissionais de TI, mas as chances não são para todos.De acordo com um relatório publicado em 2011 pela consultoria McKinsey & Co., os Estados Unidos podem enfrentar, em 2018, uma escassez de 140 mil a 190 mil pessoas com “talentos analíticos profundos” e de 1,5 milhão de pessoas capazes de estudar dados para tomar decisões de negócios. O quadro se repete em solo nacional.As empresas estão (e vão continuar) procurando profissionais com um conjunto complexo de habilidades para concretizar a promessa de Big Data de promover vantagem competitiva. “Não há dúvidas de que o talento é o primeiro requisito para as empresas que levam a sério a obtenção de vantagem competitiva utilizando dados e análises”, avalia Jack Phillips, CEO da empresa de pesquisa International Institute for Analytics (IIA), localizada nos Estados Unidos.
11Trabalho Multidisciplinar – “Big Data”
Mas o que deve reunir um talento em Big Data? Quais as competências necessárias para conquistar um emprego na área? Que tipo de formação qualifica uma pessoa para trabalhar no segmento?“Não há unanimidade para o perfil do profissional de Big Data”, diz Sandeep Sacheti, ex-chefe do risco e análise do UBS Wealth Management, que agora ocupa o cargo de vice-presidente de pesquisas com consumidores e excelência operacional na Wolters Kluwer Corporate Legal Services, que atua na área jurídica.Em seu novo emprego, Sacheti lida todos os dias com Big Data. Ele analisa grandes quantidades de dados para entender clientes, desenvolver produtos e reduzir custos operacionais. Em um dos projetos em curso, a divisão da Wolters que vende serviços de fatura eletrônica para escritórios de advocacia, usa análises para extrair dados que reúne de seus clientes (com a permissão deles) para criar produtos, incluindo o “Real Rate Report”, que compara taxas de escritórios de direito nos Estados Unidos.Sacheti busca agora profissionais para atuar na área e também treinamentos para sua equipe. Ele separa as oportunidades de Big Data em quatro vertentes: cientista dados, arquiteto de dados, visualizador de dados e agente de mudança de dados.Ele lembra, no entanto, que não há padrão para os títulos dos cargos. O que uma empresa chama de analista de dados, por exemplo, pode ser definido de outra forma em diferentes companhias, constata John Reed, diretor-executivo sênior de pessoal de TI da Robert Half Technology, organização de recrutamento. O próprio cargo de Sacheti mostra que alguns profissionais não carregam o termo Big Data no título.“Todos perguntam: ‘Como identifico esse profissional? Quais habilidades devo procurar?’”, comenta Greta Roberts, CEO da Talent Analytics, que desenvolve software para ajudar os empregadores a correlacionar as competências dos trabalhadores e suas características para alavancar o desempenho dos negócios.Os especialistas dizem que as habilidades mais citadas incluem conhecimentos em matemática, estatística, análise de dados, análise de negócios e processamento de linguagem. E, embora os títulos não sejam sempre os mesmos, alguns, como cientista de dados e arquiteto de dados estão tornando-se mais comuns.
Curiosidade faz a diferençaSegundo Josh Wills, diretor sênior de ciência dados da Cloudera, que vende e suporta a versão comercial do Hadoop (framework que gerencia Big Data), há uma tendência pela busca de talentos que tenham atuado como desenvolvedores de aplicativos e engenheiros de software, mais do que profissionais que trabalharam na operação de TI.Isso não quer dizer que especialistas em operações de TI não sejam necessários para a estratégia de Big Data. Afinal, eles desenham a infraestrutura e apóiam os sistemas de Big Data.“É daí que saem os profissionais de Hadoop”, observa D.J. Patil, cientista de dados da Greylock Partners, empresa de capital de risco. “Sem eles, a empresa não pode fazer nada. Eles estão construindo infraestruturas impressionantes, mas não necessariamente fazem a análise”, completa.
12Trabalho Multidisciplinar – “Big Data”
Funcionários de TI podem aprender rapidamente sobre Hadoop por meio de aulas tradicionais ou autoaprendizagem, observa. Isso porque a maioria dos postos de trabalho emergentes em Big Data exige conhecimento de programação e capacidade de desenvolver aplicações e alinhamento com os negócios.Patil é Ph.D. em matemática aplicada. Sacheti tem Ph.D. em agricultura e recursos econômicos. Patil acredita, no entanto, que atributos como curiosidade e criatividade importam mais para o profissional do que a própria área de estudo ou credencial acadêmica.Wills, por exemplo, trilhou um caminho curioso até chegar à função de cientista dados. Depois de formar-se em matemática, partiu para uma pós-graduação em operações de pesquisa e conquistou um emprego no Google em 2007. Wills trabalhou no Google como estatístico e então como engenheiro de software antes de ingressar na Cloudera e assumir o posto de cientista de dados.
Procura-se tempero científicoNão faz muito tempo, curiosidade, criatividade e comunicação não eram pontos enfatizados em departamentos de TI. O IIA, afirma Phillips, vê o cientista de dados como aquele que reúne três importantes características: tecnológica (TI, hardware e software), quantitativa (estatística, matemática, modelagem e algoritmos) e de negócios (domínio da área). “Os profissionais bem-sucedidas têm o lado quantitativo aguçado”, observa. “Eles conhecem a tecnologia, mas não a executam. Eles dependem da TI”, avalia.Big data também exige um tempero científico, destaca Wills. O talento da área precisa ser intelectualmente flexível o suficiente para mudar rapidamente seus pressupostos e abordagens diante dos problemas, diz Brian Hopkins, analista da Forrester Research.
A INFLUÊNCIA DO BIG DATA NO BUSINESS INTELLIGENCEO Big Data é conhecido pela enorme quantidade de informações produzidas por nós, todos os dias em qualquer lugar. Essa quantidade de dados disponíveis vem aumentando como nunca antes, e entre esses dados, valiosos conhecimentos estão sendo descartados. Mais de 90% da informação guardada sempre aparenta ser dispensável. Notamos é que o real diferencial está no que é considerado lixo. Pesquisar e achar valores nesses dados podem mostrar tendências importantes ao negócio, fortalecendo a gestão estratégica da organização. Mas o que isso tudo significa para o Business Intelligence (BI)? Com toda a atenção na análise do enorme quantidade de dados, o que é o jogado para o BI? De acordo com novos relatórios dos analistas de Tecnologia da Informação (TI), de fato o aumento de dados das organizações nos próximos cinco anos é estimado em mais de 650%. Cerca de 80% destes dados serão sob forma não estruturada, tornando os consideravelmente mais difíceis de analisar e utilizar. (Revista Power Channel, 2012, p.14).
13Trabalho Multidisciplinar – “Big Data”
Dados não estruturados como FAX, e-mail, fotos e vídeos, por exemplo, muitas vezes possuem conhecimentos valiosos para a organização, mas pela sua característica são de complicado administração e introdução de novas análises.
Assim, os dados incorporados pelo Big Data e pelo Business Intelligence, podem proporcionar grande valor para uma tomada de decisão estratégica para o negócio, mostrando que esse enorme volume de dados estimula a inovação e permite um melhor resultado para o negócio, gerando poder de orientar as organizações na tomada de vários tipos de decisão de vários tipos e permitindo-lhes prosseguir com confiança. No entanto, o Big Data não está prestes a sobrepujar as ferramentas tradicionais de Business Intelligence, ele tornará o Business Intelligence mais rico e aproveitável para o negócio, cruzando os seus dados para produzir novas estratégias de mercado. Antes de nos aprofundarmos no assunto vamos entender o Conceito de Business Intelligence:O Business Intelligence com o entendimento de que é Inteligência de Negócios ou Inteligência Empresarial é composto de um conjunto de conceitos e metodologias de gestão que, fazendo uso dos dados extraídos de uma organização, dispõe ganhos nos processos decisórios gerenciais e da alta administração nas organizações, baseada na capacidade analítica das ferramentas que integram em um só lugar todas as informações necessárias ao processo decisório. O objetivo do Business Intelligence é extrair dados estruturados de planilhas excel, ERPs, Sistemas Operacionais, CRM, etc, transformá-los e gerá-los em informações (Relatórios Dashboards, Mineração de dados, etc.) que suporte o processo decisório e gere vantagens competitivas.
Armazenamento da massa de Dados As informações permitem-lhe, a qualquer hora de decisão, diminuir as incertezas e decidir com qualidade. Isso implica decidir um caminho onde, por um lado, se está informado do que se perde no momento e, por outro, no que se pode ganhar. Em qualquer organização, enormes quantidades de dados relativos às diversas áreas do negócio e na mídia social, são geradas e armazenadas diariamente. Não obstante, esses dados encontram-se frequentemente dispersos por várias bases de dados operacionais e, a própria concentração e eventual agregação enfrentam muitas dificuldades. Por um lado é necessário criar sistemas adaptados ao processo de centralização e, por outro, é preciso conceder ao usuário as ferramentas certas que lhe permitam obter resposta às suas questões. As tecnologias de informação podem realizar
14Trabalho Multidisciplinar – “Big Data”
um papel muito relevante em todo este método, quer seja na extração, migração, armazenamento ou disponibilização de dados, no processo de aquisição de informação, no método de tomada de decisão ou na separação do conhecimento. É então necessária
toda a disposição na administração destas tecnologias, especialmente em locais de decisões complexas. Assim o Business Intelligence e o Big Data possuem suas ferramentas certas que lhe permitam obter resposta às suas questões. Veremos a seguir alguns dos principais armazenamentos de dados para essas estruturas:
Business Intelligence – Data WarehouseEntende-se Data Warehouse como um sistema computacional encarregado por guardar informação referente às atividades de uma organização em banco dados, de forma consolidada. A estrutura da base de dados auxilia para que possam ser feitos relatórios e análise de enormes volumes de dados e assim obter informações estratégicas que podem auxiliar a tomada de decisões. O processamento de dados em um Data Warehouse é sempre referenciado como OLAP (Online Analytical Processing) ou Processo Analítico em Tempo Real, usado para memorizar as operações de negócios. Outra característica do Data Warehouse é que os dados não são voláteis, ou seja, eles não mudam, a não ser quando são necessárias correções de dados previamente carregados. Assim sendo, os dados são apenas para leitura e não podem ser alterados.O Data Warehouse propicia a análise de grandes volumes de dados guardados em sistemas transacionais. Essas análises são chamadas de séries históricas que possibilitam uma melhor análise de eventos passados para a tomada de decisões presentes e a previsão de eventos futuros. O mercado de ferramentas de Business Intelligence aumentou. Suas ferramentas ficaram melhores e mais sofisticadas para apoiar a estrutura do Data Warehouse e sua utilização. Assim, pela sua capacidade de sumarizar grandes volumes de dados e de possibilitar estudos, os Datas Warehouses são nos dias de hoje o núcleo dos sistemas de informação gerenciais e apoio à decisão das principais soluções de Business Intelligence do mercado.
Big Data – MapReduce e Hadoop
15Trabalho Multidisciplinar – “Big Data”
O termo Big Data, usado para se descrever o uso de dados desestruturados, traz consigo dois outros termos: Hadoop e Map Reduce. Esses são gatilhos importantes para entender o processo de explosão de informações e o impacto que isso traz para o profissional mais técnico de TI.
Antes de falar desses dois termos, imagine que você esteja pensando em adquirir um computador novo, por exemplo. Você começa reclamando da lentidão de sua máquina no Facebook, olha vários sites de informática com dicas sobre um PC ideal e até fuça algumas lojas online em busca de melhores preços. Dias depois, uma empresa que tenha cruzado todas essas informações, notando a alta probabilidade de você comprar um eletrônico novo, pode mandar um e-mail a você com produtos a preços tentadores. Mágico, não? Percebe-se que todas essas informações foram dados não estruturados e não associados entre si. Assim, os conceitos do MapReduce e Hadoop fica fácil de entender.
O termo MapReduce se refere a duas operações diferentes. A primeira é o “Map” (Mapeamento), que recebe dados de entrada e os processa para produzir pares de chaves e valores. Já o “Reduce” (Reduzir) recebe esses pares de chaves e valores e os combina, ou agrega, para fornecer as soluções finais. A lógica do MapReduce é fragmentar o processamento das grandes quantidades de informações não-relacionais em partes, guardando um conjunto de dados resultantes. Já em questão ao Hadoop, ele opera empurrando esse conjunto de dados resultante que se pretende verificar. É uma ferramenta de implementação do MapReduce, que serve para agendar processos e estruturar os dados em muitos pequenos fragmentos de trabalho (diversos computadores), cada um dos quais podem ser executados em qualquer nó no cluster.
O Hadoop pode trabalhar tanto em conjunto com o convencional Data Warehouse da empresa ou em conjunto dos dados que estão jogados em qualquer tipo de base – seja ela uma rede social ou então qualquer outra fonte. Assim o Hadoop atua para a evolução e execução de aplicativos que processam enormes quantidades de dados. Ele oferece a infraestrutura que distribuem dados através de uma infinidade de máquinas em um cluster e que empurra análise de código para nós mais próximos dos dados que estão sendo pesquisado. Seu trabalho é escrever funções MapReduce que aproveitam esta infraestrutura para pesquisar os dados, buscas distribuídas baseadas em padrões, ordenação distribuída, classificação de documentos, aprendizado de máquina, entre outros.
Impactos positivos e negativosA utilização dos dados com as ferramentas de análises do Big Data e do Business Intelligence irão possibilitar impactos positivos e/ou negativos nas empresas, pessoas e sociedade nos próximos anos. Assim, vale à pena observar alguns impactos já previstos:
16Trabalho Multidisciplinar – “Big Data”
Impactos em Business Intelligence Uma grande vantagem usando o Business Intelligence é que você usa dados de um único lugar, o Data Warehouse, o que significa que apenas a versão existe uma para cada valor de dados. Se um sistema recebe dados de várias bases de dados diferentes algumas colisões de dados podem ocorrer, assim, a aplicação de um sistema de Business Intelligence diminui os erros e os custos graças a uma consolidação no Data Warehouse. Como mostram na Figura 4, alguns dos benefícios são fáceis de medir e, ao mesmo tempo tem um impacto local, enquanto outros são difíceis de medir e ter um impacto global. Graças à transferência de dados rápida e eficiente, a empresa economiza um tempo precioso, além disso, a informação extraída é de uma maior qualidade e nível de detalhe. Isso por si só pode levar a melhores decisões, no entanto, este resultado é difícil de medir e pode afetar a empresa em uma escala mais global. Dois outros benefícios como também pode ver na Figura 4, que são difíceis de medir e pode afetar a empresa em uma escala mais global é a melhoria dos processos de negócio e com o apoio para a realização de objetivos estratégicos de negócios.
Fig.4 - Benefício do Business Intelligence (Watson & Wixom, 2007).
Por isso, os aspectos positivos de um sistema de Business Intelligence são muito difíceis de calcular e comprovar como fatos, como alguns deles são intangíveis, como o conhecimento maior de negócios, relações mais eficazes de trabalho e outros benefícios equivalentes possíveis. Estes podem ser considerados os benefícios ocultos de um sistema de Business Intelligence, porque não há forma de prever que qualquer dos benefícios intangíveis que acontecerá em uma empresa específica. A empresa pode, portanto, apenas aguardar que o sistema de Business Intelligence fosse apto de ajudar em descobrir uma predisposição importante ou gatilho em seu negócio, que faz todo o diferencial em vendas em algum instante no futuro. Mas, é importante ressaltar que a forma com que a ferramenta de Business Intelligence é introduzida nas empresas irá ditar seu sucesso ou insucesso. Desta forma, a introdução é fundamental neste aspecto. Neste caso, as
17Trabalho Multidisciplinar – “Big Data”
ferramentas de Business Intelligence trarão benefícios para a organização, dentre os quais:
✓ Redução de custos com softwares.✓ Redução de custos com administração e suporte.✓ Redução de custos na avaliação de projetos.✓ Redução de custos com treinamentos aos colaboradores.✓ ROI (Retorno sobre Investimento) mais rápido para projetos
implantados com Business Intelligence.✓ Maior controle e menos dados incorretos.✓ Maior segurança da informação.✓ Alinhamento de informações estratégicas e operacionais.✓ Facilidade de controle de acesso e definição de níveis de
gerência.✓ Melhor alinhamento dos usuários corporativos.✓ Rapidez na informação para tomada de decisões estratégicas.✓ Informação consistente em vários locais dispersos.✓ Vantagem competitiva.
Porém, na introdução do Business Intelligence muitas barreiras devem ser adaptadas, garantindo assim o sucesso do projeto. Mas na prática, muitos fracassos já aconteceram revelando que a implantação do Business Intelligence deve ser bem planejada. Desta forma, estão abaixo algumas dificuldades em uma implantação do Business Intelligence:
Dados operacionais estão dispersos, e muitas vezes incoerentes com a organização.
Deficiência dos sistemas operacionais utilizados pelas organizações, que não armazenam dados úteis para futura tomada de decisão.
A organização não reconhece as necessidades de informações, e só reconhece quando muitas vezes é tarde demais.
A falta de conhecimento dos gestores pode deixar um projeto de Business Intelligence sem utilidade prática.
Necessidade de uma boa inter-relação entre a área de negócio com a equipe de tecnologia da informação.
As ferramentas técnicas operacionais da atualidade são dispersas e ineficientes, e necessitam de uma reconstrução para serem utilizadas para o Business Intelligence.
A obtenção de informações de diversas fontes externas é feita de uma maneira que a relação custo benefício pode não ser favorável. Alguns projetos falham em decorrência de uma adoção de hardware e software equivocada. Muitos problemas podem ocorrer devido à falta de experiência e
conhecimento do fornecedor da ferramenta de Business Intelligence. O tratamento dos dados (ETL) e o armazenamento (Data Warehouse) é
um processo que deve ser bem planejado, em decorrência de ser
18Trabalho Multidisciplinar – “Big Data”
trabalhoso e complexo, necessitando de profissionais de alto gabarito para garantir o sucesso desta etapa.
Simples erros na elaboração e desenvolvimento de um Data Warehouse podem ser fatais e trazerem resultados negativos ao projeto. Dificuldade de realizar o nivelamento entre o Business Intelligence e a
gestão do conhecimento da organização. O custo para implantação de um projeto de Business Intelligence não é
barato.
Impactos em Big dataO termo Big Data está aquecendo a cada dia. O aumento do volume e dos tipos de dados é imenso e velocidade de geração de novos dados está acelerando rapidamente. O aumento do que é conhecido como Big Data irá facilitar no desenvolvimento de software que avalia os resultados padrões e na criação de algoritmos avançados que permitem nova compreensão do mundo real.No geral, o surgimento do Big Data é um ponto muito positivo para a sociedade em todos os aspectos. Porém, a outra questão mostrada são os pontos negativos, incluindo a construção da observação humana, internet e máquina de análise para o Big Data. A existência de enormes conjuntos de dados não estruturados para análise, irá gerar falsa certeza em nossos poderes de previsão e vai levar a praticar erros graves e dolorosos. Além disso, a análise dos dados do Big Data serão usados impropriamente por pessoas poderosas e instituições que manipulam resultados para fazer o caso parar a onde que lhe interessem, obstruindo a questões de privacidade e uso indevido e não autorizado de informações pessoais. Mas, vendo pelo o ponto positivo, há eventos de uso muito interessantes do Big Data, que identifica através do grande volume de dados padrões de dados e interdependências que não poderíamos observar ao utilizar amostras muito menores. Um deles é o Google. Com base na quantidade enorme de dados que recebe a cada minuto no seu navegador de busca e está relacionado às necessidades das pessoas, o Google desenvolveu um projeto em que a tendência vai além da busca e conseguiu identificar tendências antes dos números oficiais refletirem a situação.
“De qualquer forma, em minha opinião, eu acho que Big Data é agora o que a internet foi em 1995, ou seja, quando a onda começou e as primeiras Webs de e-commerce surgiram. Ninguém poderia prever naquele tempo, o nascimento de empresas como Amazon bilionário (criada precisamente em 1995), Google (iniciado em 1998), Facebook (2004) e muito menos do que ESDS Software Solutions Pvt. Ltd. (início em 2005), assim como as principais mudanças que resultaram na Web. Por isso, acredito que apenas por volta de 2020, teremos uma ideia muito mais precisa das novas oportunidades para a compreensão do mundo gerado pelo Big Data nos negócios e na sociedade. Mas os primeiros passos devem ser tomados agora, conhecendo os riscos, mas também de grandes prêmios para empresas pioneiras que começam na frente.” (Pravin Ganore,2012)
19Trabalho Multidisciplinar – “Big Data”
O assunto de Big Data vem crescendo e amadurecendo a cada dia. Sendo necessário observar as tecnologias que manuseiam rapidamente este imenso volume de dados, agregando valores e padrões entre as informações.O Conceito de Business Intelligence.O Business Intelligence com o entendimento de que é Inteligência de Negócios ou Inteligência Empresarial é composto de um conjunto de conceitos e metodologias de gestão que, fazendo uso dos dados extraídos de uma organização, proporciona ganhos nos processos decisórios gerenciais e da alta administração nas organizações, baseada na capacidade analítica das ferramentas que integram em um só lugar todas as informações necessárias ao processo decisório. O objetivo do Business Intelligence é extrair dados estruturados de planilhas excel, ERPs, Sistemas Operacionais, CRM, etc, transformá-los e gerá-los em informações (Relatórios Dashboards, Mineração de dados, etc.) que suporte o processo decisório e gere vantagens competitivas.Como se observa, o propósito do Business Intelligence é converter o volume de dados em informações relevantes aos negócios.Toda essa massa de dados será extraída, organizada e integrada para uma base nãovolátil (que não pode ser alterada), conceituada como Data Warehouse, que tem como objetivo de garantir a consistência e integridade das informações, construindo desta forma uma base de dados de alta qualidade e confiabilidade, que retrate efetivamente a realidade de negócio da organização. O Data Warehouse é considerado a evolução natural do ambiente de apoio à decisão e ele representa uma grande base de dados capaz de integrar, de forma concisa, as informações de interesse para a organização.Como mostra a Figura 2, é importante entendermos que o Data Warehouse é um armazém de dados históricos, cuja finalidade é apresentar as informações que permitam identificar indicadores e a evolução de valores ao longo de uma grande janela de tempo:A arquitetura do Data Warehouse inclui, além de estrutura de dados, mecanismos de comunicação, processamento e apresentação da informação para o usuário final (Metadata, Summary Data e Raw Data). As arquiteturas orientadas a esse ambiente são constituídas por um conjunto de ferramentas que podem ser relacionadas à carga inicial, atualizações periódica do Data Warehouse ou consultas orientadas para o usuário final que são responsáveis pela elaboração de relatórios, pesquisas informativas, análise de desempenho e mineração de dados. Assim, toda essa estrutura do Business intelligence habilita a obtenção e distribuição de informações geradas a partir de dados transacionais, históricos e externos, visando proporcionar subsídios para a tomada de decisão gerencial e estratégica.
UMA VISÃO GERAL SOBRE BIG DATAEntre as muitas tendências emergentes no mercado atual, o Big Data, segundo muitos Sênior Managers de TI, é algo diferente. É um termo usado por muitos fornecedores, muitas vezes de forma inadequada, mas que traz consigo a promessa de algo verdadeiramente revolucionário para diversos setores industriais.Hoje em dia existem muitas pessoas que não trabalham na área de TI, mas que estão cientes da existência do Big Data, pelo fato de ele ser realmente revolucionário do ponto de vista de modelo de business; algumas corporações
20Trabalho Multidisciplinar – “Big Data”
têm até mesmo feito desta coleção de conjunto de dados (ou, pelo menos, os resultados) um elemento essencial da sua estratégia de negócios.Os desafios que enfrentamos com Big Data são muitos e variados, mas talvez o mais importante seja a compreensão do que isso significa para cada empresa. É necessário que se tenha uma visão ilimitada do que poderia ser o futuro, sem os freios que as tecnologias impuseram no conceito de como uma empresa deve pensar. Isto significa não limitar os nossos pensamentos no que antes era considerada a “arte do possível”. Neste sentido, surge a oportunidade de se concentrar no que isso significa para as realidades empreendedoras, contrariando aquilo que o setor está dizendo e, também, nas ideias pré-concebidas que cada indivíduo possa ter.Ao considerar a implementação de um plano de Big Data, a primeira consideração a fazer é sobre os modelos de integração já existentes entre o modelo organizacional da empresa e a área de TI. Do ponto de vista comercial, não há nenhum motivo para se criar novas visões que não possam ser analisadas em conjunto com as informações estratégicas já existentes e que já permitem a empresa de funcionar; do ponto de vista TI, nasce a necessidade de ser coerente na implementação de modo que a solução de Big Data possa se adaptar, sem problemas, à estrutura de TI existente.A disciplina da arquitetura tem um papel importante nos aspectos-chave de Big Data. Técnicas como a Business Planning Capability fornecem uma estrutura que permite que a empresa expresse suas capacidades e, neste contexto, serão incluídos os resultados que são imaginados de modo implícito ou explícito do Big Data. A Arquitetura da Informação também é importante: a dimensão da informação é exatamente o lugar onde se podem materializar as novas oportunidades e é uma das áreas em que a coerência agrega valor a longo prazo. Por fim, a arquitetura de tecnologia é fundamental para uma implementação que concretize a visão geral. Na aplicação de uma solução de Big Data deve-se planejar inicialmente uma proof-of-concept (POC), embora muitas das chamadas fases de "prova de conceito" trazem à tona muito pouco além daquilo que já se sabe, o problema enfrentado pela solução de Big Data poderia ter permanecido sem solução se fosse seguido o método tentado pela empresa. Uma prova de conceito também deve considerar uma combinação das necessidades de grandes análises de dados e de outras áreas emergentes relacionadas, tanto em termos de informação, quanto em nível geral. No setor da informação, existem outras tendências relacionadas ao conceito, como uma verdadeira inteligência operativa em tempo real, a virtualização de dados e tecnologias in-memory; de modo mais amplo, o Big Data pode ser conectado de forma bastante significativa à Cloud Computing, à Internet das Coisas e às Redes Sociais.A solução de Big Data deve ser considerada um caminho e não o destino a ser alcançado, uma vez que a tecnologia que permite este paradigma está em contínua evolução; assim como a oportunidade de combiná-la com tecnologias como o Complex Event Processing e o Business Rules Engines para obter resultados ainda mais úteis, e que uma vez foram considerados inatingíveis ou nem mesmo considerados.
21Trabalho Multidisciplinar – “Big Data”
Big Data & Analytics: uma visão geral desse profissional da TIO conceito de Big Data pode ser resumido em quatro principais eixos, com os quais o profissional especializado terá que lidar em sua rotina de monitoramento e análise de dados, seja em ambiente público ou privado.
Plataformas com grandes volumes de informação, que muitas vezes necessitam ser subutilizadas, demandam o tratamento de dados em tempo hábil, para fornecer respostas até mesmo dentro de processos simultâneos. Assim, volume e velocidade são, respectivamente, o primeiro e segundo eixo.A veracidade dos dados somada à variedade de estruturas e formatos – como áudio, imagem, vídeo e documentos, compõem os dois eixos restantes. A preocupação aqui, é ter informações consistentes e dominar todas as extensões de dados da atualidade. Agora, foquemos no conceito de Analytics. É preciso saber gerir os dados com a máxima eficiência e extrair o significado de cada um deles, gerando valor para a organização. E para isso, é necessário deter um panorama estratégico e analítico dos processos, bem como uma postura baseada na liderança engajada.Temos, então, cinco “Vs”: volume, velocidade, variedade e veracidade – Big Data – e por fim, valor – Analytics. O desafio geral do profissional que trabalha com Big Data & Analytics é dominar a informação, em seus níveis de coleta e extração, vinculando a visão de um verdadeiro cientista de dados.
Formação amplaAlém da perspectiva analítica, uma formação focada em diversas competências da TI, é imprescindível para quem deseja ter uma carreira de sucesso.A primeira competência é a inteligência artificial. A partir dela, é possível conhecer o funcionamento de máquinas de algoritmos, modelos compostos e conjunto de hipóteses. Isso permitirá a busca pela correlação em um mar de dados confusos que serão compreendidos facilmente, sem privilegiar a exatidão.
A segunda é a habilidade matemática, que possibilita o estudo de tendências e estatísticas para transformação desses dados em um conjunto de informações estratégicas para a corporação.
Big Data x BI: quem é quem?Enquanto BI pode ser definido como o cenário do conjunto de dados no passado, – abrangendo aspectos como perfil, região, tempo e descrição, – o conceito de Big Data se restringe às predições que podem ser feitas das informações em determinado momento. Dessa forma, BI é um dos produtos de Big Data.
22Trabalho Multidisciplinar – “Big Data”
A eficiência em Big Data dependerá dos algoritmos que o profissional implementará e da estratégia adotada para se ter insights sobre os dados. O Analytics fica embutido dentro desse desempenho, assegurando a privacidade das informações e demonstrando as modelagens estatísticas.
Perfil do profissional de Big Data & AnalyticsÉ importante frisar que, além dos volumes de dados não estruturados, há os algoritmos que fazem processamentos paralelos, entregando informações em tempo real. Com a tecnologia de armazenamento em nuvem – cloud computing – é possível, ainda, processar e acessar dados em vários lugares. Portanto, para se trabalhar com grandes volumes de informação é fundamental ter uma base sólida de recursos computacionais e tecnológicos, além de habilidade com processamento paralelo, modelagem automática, estatística e análise preditiva.Uma formação com forte embasamento conceitual, e prática voltada para governança de dados, liderança e engajamento é o que irá diferenciar o profissional no mercado cada vez mais competitivo.
Desafio da profissão: Inteligência e Decisão Segundo dados levantados pela Gartner, as organizações que construírem sistemas de gerenciamento de informação inovadores, irão superar seus pares financeiramente em 20%. Essa expectativa é para 2015, ou seja, para um futuro bem próximo.E é por isso que quando se fala no profissional de Big Data & Analytics um aspecto merece destaque: a tomada de decisão.De um modo resumido, pode-se dizer que as corporações que utilizam dados como combustível, estão necessitando cada vez mais de profissionais com perfis transformadores, capazes de implementar práticas de autogestão.É a visão analítica ocupando seu lugar, mais uma vez, nesse contexto que relaciona inteligência, decisão e ações inovadoras do cientista de dados.
CONCLUSÃO
23Trabalho Multidisciplinar – “Big Data”
Neste trabalho buscamos apresentar um conceito geral do que é Big Data e suas vertentes, convém dizer que nas diversas pesquisas que fizemos em momento algum encontramos uma analogia conclusiva e definitiva do que é o conceito de Big Data, em parametros gerais a melhor explicação que encontramos é a que segue abaixo:
“Big Data é a quantidade enorme de informações existentes dentro de servidores de banco de dados como por exemplo o Microsoft SQL Server e o Oracle MYSQL que funcionam dentro de diversos servidores de rede de computadores (Intel, HP, IBM, Dell, Cisco, Samsung, etc, utilizando um sistema operacional de rede, interligados entre si, que hoje em dia funcionam dentro de um sistema operacional com armazenamento em Cloud Compunting, cujas informações são acessadas pela internet por pessoas utilizando um computador comum (notebook, por exemplo) ou celular (smartphone), para lêr essas informações ou para incluir mais informações dentro do banco de dados.”
É claro que o assunto é muito extenso dentro desta visão podemos também citar a existencia de diversas vertentes, técnicas e metodologias tais como: big data – mapreduce e hadoop, big data analytics, impactos do big data, a influência do big data no business intelligence, business intelligence – data warehouse, entre outros.Obviamente não é só uma avalanche gigantesca de armazenamento, recepção e transmissão de dados através de sistemas préconcebidos e grandes armazenadores e conversores de trafego, talvez, a parte mais importante do conceito geral de Big Data se dê através da presença humana, através de presença de profissionais altamente qualificados em todas as fases desse gigantesco passeio da informação, onde cada um oferecerá sua cota profissional para o bom desempenho dos atos. Tendo como uma predominância imediata a faculdade da tomada de decisões, pois os dados não podem e não devem parar, já que por vezes podem circular simples informações sem maior importância, mas na maioria das vezes são dados importantíssimos, que podem afetar sistemas, pessoas, escolas, cartões de crédito, dados hospitalares, etc.
É conclusivo que o conceito de grandes armazenadores veio para ficar, e só resta nos adaptar ao que já faz parte de nossas vidas todos os dias, esse conceito não tem volta, portanto vamos aproveitar o que de melhor pode ser oferecido.
BIBLIOGRÁFIA
24Trabalho Multidisciplinar – “Big Data”
http://cio.com.br/opiniao/2013/05/10/big-data-como-usar-a-avalanche-de-dados/ Publicada em 10 de maio de 2013 às 08h13
http://corporate.canaltech.com.br/noticia/mobile/Tempestade-de-dados-uma-avalanche-digital-se-aproxima/Publicada em 05.08.2013 às 10h45
http://www.trabalhosfeitos.com/ensaios/Trabalho-Big-Data/799854.htmlPublicado em 23.04.2013.
http://computerworld.uol.com.br/carreira/2013/03/14/avalanche-de-dados-gera-grandes-oportunidades-profissionais/ al.
HILBERT, Martin; Priscila Lopez. (2011). "The World's Technological Capacity to Store, Communicate, and Compute Information". Science 332 (6025): 60 65.DOI:10.1126/science .1200970. PMID 21310967.
GROBELNIK, Marko. (2012). "Big Data Tutorial". 2nd ESWC Summer School 2012. http://videolectures.net/.
https://pt.wikipedia.org/wiki/Big_datahttp://www.sas.com/pt_br/insights/big-data/what-is-big-data.html
http://www.computerweekly.com/ehandbook/Business-Outcomes-from-Big-Data1 Reeves Wiederman, “Sporting Kansas City Makes the Stadium More Like Your Couch,” Bloomberg Businessweek, 18 de julho de 2013.
ROSSOUW, L. Big Data – grandes oportunidades. Gen Re – Risk Insights, vol. 16, nº 2, 2012
http://www.fitec.org.br/wp-content/artigos/Influencia-Big-Data-no-Business-Intelligence.pdf
http://www.reply.eu/br/topics/big-data-and-analytics/uma-visao-geral-sobre-big-data
http://tecnologia.bandtec.com.br/big-data-analytics-visao-geral-profissional-ti
25Trabalho Multidisciplinar – “Big Data”
