MVP Virtual Conference 2013Cenário atual no mundo dos dados e a plataforma SQL Server

Luciano Moreira

Luciano Moreira [Luti]

SQL Server MVP | PASS RM | MC* | MCM

Wannabe

@luticm

http://luticm.blogspot.com

luciano.moreira@srnimbus.com.br

Agenda

A plataforma SQL Server

Business Intelligence

Cloud Computing

Big Data AppliancesEngine

Relacional vNext

Referências Conclusão

SQL Server

SQL Server 4.2 – Fim do acordo com Sybase SQL Server 6.5 – Pequenos volumes de dados e suporte

Windows NT SQL Server 7.0

Mudanças arquiteturais (tamanho de página, UMS) Full-Text Search e DTS OLAP Services

SQL Server 2000 Entrando no mundo Enterprise Boa estabilidade e desempenho

SQL Server 2005 SSRS, SSIS e SSAS = BI edition Database Mirror, Snapshot (DB e Isolation), ...

SQL Server

SQL Server 2008 Enterprise Level – Audit, PBM, compressão backup e dados,

mirroring, xEvents, Resource Governor, filestream Reescrita engine SSRS

SQL Server 2008 R2 StreamInsight, Master Data Services PowerPivot PDW

SQL Server 2012 AlwaysOn Availability Groups ColumnStore Index Data Quality Services, Filetable, semantic search, SSAS

tabular, windowing functions, distributed replay, SSDT, batch processing, ...

Business Intelligence / Data Warehouse

DW vs BI Uma das maiores tendências no mundo dos dados Presente na lista de prioridade do Gartner nos últimos 10

anos 10 anos? TI? Falhas dos projetos

Projeto complexo Problemas nos dados Usuário não sabe o que quer Só preciso de um relatório Mudança

Modo de “fazer BI” vem mudando

Business Intelligence / Data Warehouse

OLTP OLAP

Business Intelligence / Data Warehouse

OLTP OLAP

OLAP

?

Cloud Computing

Preciso falar que é uma tendência em TI? Não é para todo mundo, mas é um facilitador Pequenos podem se tornar grandes Windows Azure SQL Database

Release contínuo de funcionalidade Azure Tables

Espaço noSQL (MongoDB, Cassandra, BigTable, etc.) Database on the cloud ou database for the cloud?

NuoDB

O volume de dados só cresce...

Contra 5% Do aumento do custo de

TI

50%Crescimento global de dados

Há mais dados armazenados

por empresa do que na

biblioteca do Congresso dos

EUA

15 17Setores de Negócios – U.S

de

Números de dispositivos conectados por adulto nos EUA.

4.3Média

Gerado pela NYSE todo

dia

55 GBsDe dados de mercado

Volume de informações está crescendo em todo o mundo a uma taxa mínima de 59% ao ano com 15% de dados dados estruturados e o resto composto de novos tipos de dados complexos o que contribui para cenários de Big Data - Donald Feinberg, Gartner IT Symposium, Outubro 2010

Big Data

Explosão de dados = fenômeno “Big Data”

The economist: “The data deluge” Bilhões de dados sendo gerados a

cada minuto ou segundo Aplicações crescem e maiores

volumes de dados têm que ser armazenados

Necessidade de armazenar, catalogar, explorar e fazer esse dado virar informação

Big Data

Muitos da TI encaram esse volume de dados como CUSTO Mas deveriam ver os dados como uma OPORTUNIDADE

O que é Big Data? É algo que fica entre medium data e gigantic data?

Big Data é uma coleção de dados tão grande e complexa que fica difícil de processar usando ferramentas de gerenciamento de banco de dados ou aplicações tradicionais.

A quantificação do valor (TB, PB) não é precisa e a cada evolução da tecnologia o big dá um passo a mais

Big Data - Hadoop

Big Data - Hadoop

HDInsight

https://www.hadooponazure.com/ HDInsight http://www.windowsazure.com/en-us/manage/services/hdin

sight/introduction-hdinsight/

http://www.windowsazure.com/en-us/manage/services/hdinsight/

Polybase

Integração entre mundo relacional e hadoop (não-relacional)

http://projectbotticelli.com/news/sql-server-2012-sp1-hekaton-xvelocity-polybase-data-mining-office-sharepoint-2013

http://www.zdnet.com/microsofts-polybase-mashes-up-sql-server-and-hadoop-7000007424/

http://www.microsoft.com/en-us/sqlserver/solutions-technologies/data-warehousing/polybase.aspx

http://gsl.azurewebsites.net/Projects/Polybase.aspx

Appliances

Parallel Data Warehouse v1 PDW 2012

Up to 50x performance gains with the xVelocity updateable columnstore.

Up to 100x performance gains over legacy warehouses. Seamless integration with “Big Data” using PolyBase. Multi-petabyte data capacity. 2.5x lower price per terabyte than SQL Server 2008 R2 PDW

and lowest price per terabyte in industry. Configuração da “caixa” dispensa experts em diversas

áreas na sua empresa

Engine relacional

Avanços no query optimizer (star join queries, desempenho, etc.)

SQL Server 2012 ColumnStore Indexes (não-cluster, não atualizável) Batch Processing

Armazenamento por coluna apresenta muitas vantagens: Compressão Segment elimination Column elimination SQL Server vNext

Clustered columnstore index Updatable

Engine relacional

Projeto HEKATON = In-memory databases Não é pintable! Não necessita de appliance para executar, reutiliza mesmo

hardware de hoje Demonstração PASS 2012 = 30x ganho de desempenho Optimistic Approach (no latching) Código nativo in-memory Aceleração das transções Uma melhor b-tree http://

research.microsoft.com/en-us/news/features/hekaton-122012.aspx

Conclusão

Talvez o mundo dos dados nunca foi tão empolgante como o que estamos vivendo hoje!

Cientistas de dados

Luciano Moreira [Luti]

SQL Server MVP | PASS RM | MC* | MCM

Wannabe

@luticm

http://luticm.blogspot.com

luciano.moreira@srnimbus.com.br

Obrigado.