Usando Django para servir 12 milhões de usuários

Usando Django paraServir 12 milhões de Usuários

Python Brasil 9

1sexta-feira, 4 de outubro de 13

Usando Django paraServir 12 milhões de Usuários

Python Brasil 9

20 milhões


Rômulo Jales

2

Victor Pantoja


Motivação

3


Motivação

4


Motivação

5


Motivação

6


Motivação

7


Alguns númerosVisitantes únicos: 20,7 milhões por mês

8

Visitas: 215 milhões por mês

8 milhões de visitas por dia!


Alguns números

9

- matérias republicadas: 2020- confrontos republicados: 1023- homes republicadas: 3367- galerias republicadas: 92- enquetes republicadas: 57- CSS regerados: 708


Tecnologias

10


11


12

Framework WEB MVC

Propicia uso de melhores práticas de Eng SW

Mas Django não escala...


13

Uso de Middlewares

Cache de View

Mas Django não escala...

@cache_control(max_age=300)def top_atletas(request, periodo, quantidade, formato): dados = MateriaSemanticaController().top_atletas(periodo, quantidade) return render_to_json(dados, formato, 'top_atletas')


Bottlenecks

14

MySQL»

Virtuoso»

I/O»


Pré-geraçãoNão deixe o usuário disparar ações críticas do sistema!

15

django-staticgenerator


Pré-geraçãoNecessita que alguém ou algo dispare o processo

16


17

CACHE EVERYWHERE

CACHE


Memcached

Faça o caching de objetos e não de resultados de queries!

18


Memcached

19

Diminui a quantidade de memória utilizada: podemos ter várias listas de ids de objetos mas apenas uma entrada para cada objeto

»

Aumenta a performance do sistema: não é necessário expurgar todo o cache de uma lista na alteração de um objeto. Basta expurgar o objeto.

»


Ajax vs SSIMelhor para a indexação daquele conteúdo (SEO)»

20

Diferentes tempos de cache para componentes em uma mesma página»

Melhora a performance client-side»

Diminui o número de requisições ao servidor»



22

32 Bits com PAE (problemas ao servir cache)»

64 Bits»


Baixo consumo de recursos da máquina»

23

simples configuração»

alta performance»

free e open source»

módulos essenciais: purge, ssi e proxy cache»


BeanstalkdAplicação de gerenciamento de filas que utiliza o paradigma pubsub»

24

Solução para processamento assíncrono e offline»


Minify de CSS e JS»

25

CSS Sprite»

Tempo de expiração adequado»

gzip»

estáticos servidos pelo Varnish em uma farm separada»

Performance Client-Side

caching do browser»


26

Performance Client-SideConfigure os headers da requisição corretamente!

HTTP/1.1 200 OKAccept-Encoding:gzip,deflate,sdchContent-Type: application/jsonVary: Accept-EncodingCache-Control: max-age=30Expires: Tue, 01 Oct 2013 14:45:24 GMTDate: Tue, 01 Oct 2013 14:44:59 GMTX-Varnish: 1952793053 1952791896


27

Pitomba Spriter

pitomba.org


FerramentasApache HTTP server benchmarking tool»

28

Monit: ferramenta open source para gerencia e monitoramento de processos, programas, arquivos, diretórios, serviços etc

»

WebPageTest: webpagetest.org»


Palavra Final

29

Escalabilidade não é uma questão de linguagem ou framework mas de arquitetura da aplicação!!


/DEV

30

http://globodev.tumblr.com/

Conteúdo criado pelos desenvolvedores da globo.com


31


32

https://github.com/globocom/IWantToWorkAtGloboCom

http://bit.ly/quero-trabalhar-globo-com








Perguntas!!@romulojales

33

@victorpantoja


mailto:[email protected]




Technology

Usando Django para servir 12 milhões de usuários