NoSQL & Cassandra

Edward Ribeiro2013

Agenda

• Big Data

• Cloud Computing

• NoSQL

• Teorema CAP

• Cassandra– Arquitetura e Modelo de Dados

Os SGBDs relacionais reinam soberanos por mais de 30 anos...

Big Data

O que é Big Data?

• “Uma coleção de dados tão grande e complexa que se torna difícil (N.E: as vezes impossível) processá-la usando ferramentas de bancos de dados atuais ou aplicações tradicionais de processamento de dados.”

● Genoma Humano● Cliques em sites● Redes sociais● etc

O quão “Big” é Big Data?

eBay possui:

● 4.000.000.000 de registros/dia● 2.000.000.000.000 de registros em uma

tabela de eventos● 6 PB de dados compactados para 1.2 PB

Fonte: 14th Int'l Workshop on High Perf Transaction Sys, 2011

OK, mas lembre-se...

Seu site é um grande sucesso

Escalabilidade

E agora???

A solução

Academia Indústria

Computação em Nuvem

Computação em Nuvem

Data Centers

NoSQL

NoSQL

● Alta escalabilidade● Partição de dados● Scale Out > Scale Up

●Alta vazão (throughput)

●Sem Relational● schemaless (alguns!)

●Sem Transações ACID (ainda!)

NoSQL

●Sem SQL● MongoDB e Cassandra possuem ling. de consulta

derivada, direta ou indiretamente, do SQL

●Arquitetura Distribuída● Clusters LAN● Hardware de prateleira

Teorema CAP

Cassandra

● Banco NoSQL de código fonte aberto criado pelo Facebook;

● Mantido pela fundação Apache e por empresas como DataStax

http://www.slideshare.net/jbellis/cassandra-summit-2013-keynote

Cassandra - Quem usa?● Twitter

● Netflix

● Nasa

● Adobe

● IBM

● etc

Cassandra - Desempenho

"Bigtable: A Distributed Storage System for Structured Data", Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, and Robert E. Gruber in OSDI'06: Seventh Symposium on Operating System Design and Implementation, Seattle, WA, November, 2006.

Cassandra – Modelo de Dados

1920011

FC: dados-pessoaisRowKeyFC: acessos

Família de Colunas Família de Colunas

Nome: “Bruno” Idade: 11 a-2013-08-12Nome: “Bruno” a-2013-09-05

2000852

FC: dados-pessoais FC: acessos

Nome: “Bruno” CPF: 1111111111111 a-2013-02-01Nome: “Gi”

...

Arquitetura

Memtable

Disco

RAM

Write Operation SSTable Files

Read Operation

Flush

Log File

"Dynamo: amazon's highly available key-value store", Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, Gunavardhan Kakulapati, Avinash Lakshman, Alex Pilchin, Swaminathan Sivasubramanian, Peter Vosshall, Werner Vogels in SIGOPS Oper. Syst. Rev., New York, NY, USA, October, 2007.

Hashing Consistente

ID = 23

ID = 90

ID = 203

ID = 350

ID = 112

100

É o fim dos SGBDs relacionais?