1

Saiba qual o atual estgio de evoluo do Big Data

Cezar Taurion

Faz mais ou menos um ano que publiquei meu livro sobre Big data. De l

para c apresentei dezenas de palestras, participei de varias reunies com CIOs

e executivos de negcios para debater o tema, me envolvi em projetos e creio

que j seja possvel delinear um quadro do que evoluiu neste perodo.

Indiscutivelmente que existe um vis bastante positivo quanto ao tema, com

muitos executivos associando o termo Big data com novas oportunidades de

negcio. O interesse crescente, mas ainda, em termos prticos, pouca coisa

realmente est acontecendo.

O que j podemos identificar? Primeiro que ainda existem diferentes

estgios de compreenso do que Big Data. Grosso modo cerca de 1/3 das

empresas ainda no est pensando em Big data, 1/3 esto planejando algo em

breve e 1/3 esto fazendo alguma coisa, mas na maioria das vezes projetos

POC- Proof of concept. Em operao contnua conta-se nos dedosMas este

contexto nos mostra um quadro evolutivo. Depois de estudar e entender o

assunto (estgio 1), passa-se a planejar algo (estgio 2), faz-se um projeto

piloto (estgio 3), com investimentos pequenos, geralmente de forma bem

informal, mais para provar as idias, e finalmente, a deciso de investir mais

formal, intensa e continuamente (estgio 4). E adiciono um quinto estgio de

maturidade que a continuidade do Big data na empresa, agora j com

preocupaes mais definidas de governana, como ter uma poltica de

privacidade, de tica (que dados posso e devo usar) e tendo a figura do CDO

(Chief Data Officer) diretamente ligado ao executivo chefe, ou seja, ao CEO.

Alguns setores se entusiasmam mais com Big data, como varejo, financeiro,

seguros, sade e transporte. A razo simples: eles identificam mais

rapidamente a proposta de valor para aplicar os conceitos de Big data, que

2

variam desde melhoria do combate a fraudes (finanas e seguros) e melhor

engajamento com clientes (varejo e transporte) uma maior eficincia na

prestao de servios, como no setor de sade. A maioria das experincias

ainda esto, o que perfeitamente normal, na escala da inovao incremental,

que melhorar uma atividade j existente, como relacionamento com clientes

(melhorado a capacidade de entende-los) ou aumentar a eficcia do combate

fraudes. Creio que nos prximos anos veremos Big data sendo usado realmente

de forma inovadora e disruptiva, criando novos negcios e servios. um

estgio mais maduro, quando a organizao entende que seus dados tem valor

monetrio e alm de serem usados internamente, podem gerar receita com a

venda de informaes analticas.

O caminho a ser trilhado pedregoso. No existem ainda best practices e

sim muita experimentao. Os prprios fornecedores de tecnologia ainda esto

imaturos quanto ao uso de suas tecnologias. Alis, muitos deles compraram

dezenas de empresas para ampliarem seu portflio de ofertas, mas suas

equipes de vendas e suporte tcnico ainda no esto plenamente habilitadas

para trabalhar com todo este aparato tecnolgico.

Os desafios para entrar no mundo Big data extrapolam a tecnologia. Esta

no barreira. As tecnologias existem e a dificuldade escolher quaisOs

desafios esto na identificao clara de uma proposta de valor para investir em

Big data, na definio de uma estratgia do que fazer aps o POC e

principalmente nas questes de governana (segurana, privacidade, tica e

qualidade dos dados a serem usados).

Mas observo tambm que alguns mitos esto sendo quebrados. O primeiro

que as tecnologias para trabalhar com dados no estruturados no vo

substituir as que trabalham com dados estruturados. Sero complementares.

Pensava-se h algum tempo atrs que tecnologias como Hadoop e Mongo DB

acabariam com os bancos de dados relacionais. Vo atuar em conjunto, cada

um com sua especificidade. Alis, hoje a maioria dos dados analisados em

3

projetos Big data so dados estruturados, que simplesmente no eram

analisados adequadamente. Dados no estruturados (vdeos, imagem, textos

como de e-mail ou de plataformas de mdias sociais como Twitter e Facebook)

aparecem, geralmente, em um segundo estgio, quando a empresa j tem

alguma experincia em projetos de Big data. Alis, dados de mdias sociais

interessam mais diretamente a determinados setores como varejo, educao,

telefonia e transporte, que interagem intensamente com numero muito grande

de cliente finais.

Outro mito que comea a ser demolido. Big data no necessariamente um

big volume de dados. A variedade e a velocidade so outras variveis to ou

mais importantes. Lidar com variedade mais difcil de lidar que com volumes

grandes, pois so dados em formatos completamente diferentes uns dos

outros. E velocidade exige da organizao que os processos de negcio

afetados sejam responsivos na velocidade que os dados analisados permitam

tomar alguma ao efetiva.

A falta de expertise outro desafio. De maneira geral as empresas que j

tem atividades de data warehouse e BI tendem a considerar que Big data

apenas uma extenso do que j fazem. No! No BI geralmente coleta-se dados

estruturados de sistemas como ERP, conhece-se bem as demandas e as

perguntas j esto feitas. A atividade sistemticamente analisar os dados e

responder as questes j formuladas, como qual volume de vendas deste ms

comparado com meses anteriores e da extrapolar os crescimentos futuros.

um estilo de anlise dedutivo. J com Big data (volume, variedade e

velocidade) o estilo de anlise tona-se indutivo ou bottom-up por natureza. Isto

significa que analisando-se os dados pode-se derivar insights e concluses que

no estavam previamente formuladas nas questes. um modelo mais

oportunstico, pois nem sempre prev-se o que vai ser intudo da anlise destes

dados. Data scientists vo acabar com os analistas de BI? No meu entender so

expertises complementares, que devem atuar em colaborao. Um analista de

BI pode sim tornar-se um data scientist.

4

Uma questo que me chamou ateno neste perodo descobrir, em muitas

empresas, quo baixa a qualidade dos seus dados estruturados. Sim, aqueles

dados que esto nos ERPs e outros sistemas internos. um dificultador, pois o

quarto V de Big data, veracidade, significa no apenas identificar que dados

sero relevantes para anlises, mas confiar na qualidade destes dados.

verdade que com grandes volumes de dados a preciso no to importante,

mas a tendncia que eles apontam. A acurcia desta tendncia no

melhorada pela preciso individual de cada dado, mas pela sua densidade (mais

dados e mais variedade, que gera mais variveis, que ajustam o algoritmo).

Mas os dados estruturados, estes sim, deveriam ter uma qualidade maior que a

geralmente encontradafoi realmente uma surpresa!

Em resumo, est claro que Big data no apenas um hype. As coisas

comeam a acontecer e nos prximos anos veremos uma acelerao de

projetos. As organizaes esto aprendendo que seus dados tem valor, no

quando inertes e armazenados em algum lugar, mas quando trazidos vida,

em anlises inteligentes e inovadoras. Big data pode trazer luz novos insights,

antes inalcanveis pelos mtodos tradicionais de BI. Para isso demanda

tambm uma mudana nos seus processos, de forma reagir deslocando-se do

paradigma da simples reao, ao paradigma de predio. Como agir antes que

as coisas aconteam? Exigem processos mais geis e flexveis. Os processos de

negcio esto habilitados para tal? Colocando o conceito de Big data em

prtica, na sua plenitude, temos como resultado um maior valor para o

negcio. Que exatamente o quinto V de Big data!

Cezar Taurion profissional e estudioso de Tecnologia da Informao desde fins da dcada de 70. Com educao formal diversificada, em Economia, mestrado em Cincia da Computao e MBA em Marketing de Servios, e experincia profissional moldada pela passagem em empresas de porte mundial, Taurion tem participado ativamente de casos reais das mais diversas caractersticas e complexidades tanto no Brasil como no exterior, sempre buscando compreender e avaliar os impactos das inovaes tecnolgicas nas organizaes e em seus processos de negcio. Foi diretor de consultoria da PwC e diretor de novas tecnologias/Chief Evangelist da IBM Brasil. Escreve constantemente sobre tecnologia da informao em sites e publicaes especializadas como CIO Magazine, Computerwold Brasil e Mundo J , alm de apresentar palestras em eventos e conferncias de renome. autor de seis livros que abordam assuntos como Open

5

Source/Software Livre, Grid Computing, Software Embarcado, Cloud Computing, Big data e Inovao. Foi professor do MBA em gesto estratgica da TI pela FGV-RJ e da cadeira de Empreendedorismo na Internet pelo NCE/UFRJ Fonte: http://www.tiespecialistas.com.br/2014/06/saiba-qual-e-o-atual-estagio-

de-evolucao-big-data/#comment-58652 , 09/06/2014.