Benchmark LucidDB x MySQL para aplicações de Business Intelligence

fmasanori @ gmail.com 22 de outubro de 2011

slideshare.net/fmasanori

• Apresentação

• Business Intelligence

• Modelagem dimensional

• LucidDB

• Base de dados para testes

• Resultados

• Créditos

• Perguntas e sugestões

• Computação IME-USP

• Mestrado ITA

• ed e lint Cobra Tecnologia

• Credicard Mastercard – sistema autorização

• PriceWaterhouseCoopers

• Itaú BankBoston

• Docente nas disciplinas: algoritmos, estrutura de dados, data warehouse

• Interesses: Python, Data Warehouse, Pentaho, Google Technology, Facebook

BI no mercado mundial, Gartner:

2009: +3.8 %

2010: +13.4%

América Latina:

2010: +19.5%

FONTE DE DADOS PROCESSO DE ETL DATA WAREHOUSE APRESENTAÇÃO

ERP

SGBD

Arquivos

ETL SGBD

Arquivos

SGBD

ETL

DASHBOARDSCENTRAL

WAREHOUSE

ÁREA DE ESTÁGIO

ETL

DOCUMENTOS

DATA MARTS

DATA

MININGDSS

OLAP

CRM

(Luiz H. N. Lorena, 2011)

Arquitetura genérica de um sistema de

Business Intelligence

(Luiz H. N. Lorena, 2011)

Star Schema

VENDAS

CLIENTE

TEMPO

PRODUTO

LOJAPROMOÇÃO

Star Schema

Snowflaking desencorajado

(Kimball, 2002)

Star Schema

Usabilidade

(Kimball, 2002)

Operacional x Analítico

Operacional Analítico

Propósito Executar um processo Avaliar um processo

Estilo interação Insert, update, delete, query Query (read-only)

Escopo interação Transação individual Agregação

Padrão query Previsível e estável Imprevisível

Foco temporal Atual Histórico e atual

Otimização Update concorrente Query (agregação)

Projeto ER na 3FN Star Schema ou Cubo

(Adamson, 2010)

Banco Relacional Tradicional

(Timo Elliott, SAP)

Banco Colunar

(Timo Elliott, SAP)

1º Banco de Dados open source dedicado para aplicações de Business Intelligence

Ligações: DynamoBI, Pentaho OLAP server

• Base para testes: World Class Movies

• Base LGPL

• Data Warehouse (star schema)

• MySQL 5.5

• LucidDB

• Apache Jmeter

• Oracle VirtualBox

• Qual o gênero de filme gerou mais receitas no ano de 2008?

• Como o lucro está evoluindo com o tempo ?

• Qual o horário do dia os consumidores fazem mais locações?

• As promoções foram efetivas no ano de 2008?

Tempo médio(ms)

0

5000

10000

15000

20000

25000

30000

35000

Q1 Q2 Q3 Q4

LucidDB

MySQL

Memória livre

0

100

200

300

400

500

600

700

800

900

1000

Q1 Q2 Q3 Q4

LucidDB

MySQL

Outros resultados

• ETL nos dois bancos tranquilo

• MySQL ocupou 72% a mais de espaço em disco

• LucidDB e MySQL mantiveram os tempos ao reduzirmos a memória disponível para o limite do LucidDB

• LucidDB e MySQL mantiveram a relação ao reduzirmos a memória disponível para o limite do MySQL

Realização do benchmark: Felipe G. de Souza Issa Hoje em Chicago fazendo treinamento ;-)

Outros créditos

• Timo Elliott (SAP), tetris colunar

• Luiz H. Lorena, figuras DW

• KIMBALL, R., ROSS, M., The Data Warehouse Toolkit, The Complete Guide To Dimensional Modeling, Wiley, 2002

• ADAMSON, C., Star Schema, The Complete Reference, McGrawHill, 2010.

Perguntas ou sugestões? fmasanori @ gmail.com

facebook.com/fmasanori

twitter.com/fmasanori