NoSQL com Cassandra

  • View
    3.756

  • Download
    4

Embed Size (px)

DESCRIPTION

Apresentao do professor Fernando Masanori para o 1 Encontro do JUG Vale sobre o banco de dados NoSQL Cassandra.

Transcript

  • 1. Cassandra NoSQLfmasanori@gmail.com17 de maro de 2012 slideshare.net/fmasanori

2. Eu, vocs e Java Motivao Big Data e NoSQL Cassandra Hello World: Cassandra Pentaho Hello World: Pentaho + Cassandra Perguntas e sugestes 3. Computao IME-USP e Mestrado ITA ed e lint Cobra Tecnologia Credicard Mastercard sistema autorizao PriceWaterhouseCoopers Ita BankBoston Docente FATEC: algoritmos, estrutura dedados, data warehouse, tpicos avanadosem bancos de dados Interesses: Python, Data Warehouse, NoSQL,Pentaho, Google Technology, Facebook 4. Vocs Estudantes Professores Desenvolvedores Java Sabe quem Sang Shin Sun Tech Days/ Java One NoSQL Cassandra Pentaho 5. Job Trends (indeed.com) 6. Job Trends (indeed.com) 7. Big Data 8. Big Data 2720 exabytes sero criados em 2012 1 exabyte = 1 bilho de gigabytes Mais bytes que estrelas no universo Twitter: 230M tweets/dia YouTube: upload de 1 hora de vdeo/seg Drowning in numbers (The Economist) 9. Novas arquiteturas so necessrias 10. Escalabilidade vertical Escalabilidade para leituras num bancorelacional trabalhoso Escalabilidade para escritas num bancorelacional virtualmente impossvel(e caso voc consiga ele deixou de serrelacional...) 11. Escalabilidade vertical 12. Escalabilidade horizontal 13. Escalabilidade horizontal 14. Dois artigos famosos Bigtable: A distributed storage system forstructured data, 2006 Dynamo: Amazons highly available key-value store, 2007 15. Apache Hadoop 16. Not Only SQLMas BDs no relacionais so antigos... 17. Qual o problema com bancos de dados relacionais?If I had asked people what they wanted, theywould have said faster horses.Henry Ford. 18. Escalabilidade + ACID = digesto difcil 19. BASE = ajuda na digestoBasically Available Soft State Eventually Consistent 20. Eventually ConsistentEventual pt-br: pode no ocorrerEventual ingls: ir ocorrer em breve 21. Teorema CAP Consistency: Todos os clientes enxergam os mesmos dados Consistncia tradicional (ACID) Consistncia eventual (BASE) Availability Partition tolerance No mais que 2 dos 3 requisitos (E. Brewer, S.Gilbert, N. Lynch) 22. Not Only SQL 23. Difceis de comparar 24. Cassandra: Distribudo Tolerante falhas Escalvel Orientado a colunas 25. Bigtable, 2006 Dynamo, 2007Open Source, 2008 Apache, 2009Cassandra, 2010 26. Cassandra vs MySQL (50GB)MySQL: ~300ms write ~350ms readCassandra: ~0.12ms write ~15ms read 27. Hello World 28. Hello World CassandraDownload DataStax Community EditionouDownload Apache Cassandra./cassandra./cassandra-cli h localhost p 9160Conflitos:cassandra.bat (windows)/etc/cassandra/cassandra-env.sh (ubuntu)Obs.: necessrio Oracle Sun Java 29. Hello World Cassandracreate keyspace jugvale;use jugvale;create column family demo;set demo[0][0] = utf8(fernando);set demo[0][1] = utf8(masanori);get demo[0];del demo[0];exit; 30. Hello World Cassandra Clientes Cassandra: Java, PHP, Python, Ruby... CQL (Cassandra Query Language) Pentaho Data Integration 31. Analytics no mercado mundial, Gartner: 2009: +3.8 % 2010: +13.4% Amrica Latina: 2010: +19.5% 32. Operacional x Analtico OperacionalAnalticoPropsito Executar um processo Avaliar um processoEstilo interao Insert, update, delete, queryQuery (read-only)Escopo interao Transao individual AgregaoPadro query Previsvel e estvelImprevisvelFoco temporal AtualHistrico e atualOtimizao Update concorrente Query (agregao)Projeto ER na 3FNStar Schema ou Cubo(Adamson, 2010) 33. Banco Relacional Tradicional (Timo Elliott, SAP) 34. Banco Colunar(Timo Elliott, SAP) 35. Hello World: Pentaho + Cassandra 36. Hello World: Pentaho + Cassandra Gravar dados no Cassandra Ler dados do Cassandra Criar um relatrio a partir do Cassandra Vdeos curtos includos nos links acima 37. Crditos Jonathan Ellis (DataStax), vrios slides Timo Elliott (SAP), tetris colunar ADAMSON, C., Star Schema, The CompleteReference, McGrawHill, 2010. 38. Outros tpicos NewSQL The End of an Architectural Era, M.Stonebraker et al., VLDB 2007 Polyglot Persistence (Martin Fowler) 39. Perguntas ou sugestes? fmasanori@gmail.comfacebook.com/fmasanori twitter.com/fmasanori