Desvende o YouTube

Bruno Naponiello

Felipe Lourenço

Toni Pimentel24 / 11 / 2009

Universidade Federal de São Paulo - Multimídia

AGENDA (1/3)

o História

o Investimento

o Economia

o API's e Ferramentas

o Widgets

o O que possibilitou o surgimento

o Celebridades Instantâneas

o Web Videos

o Flash (Video, Applet)

o Processo de Upload

Universidade Federal de São Paulo - BCC Multimídia Slide 2

AGENDA (2/3)

o Exibição dos Vídeos

o Qualidade dos Vídeos

o Direitos Autorais

o Fair Use

o Direitos Autorais no Brasil

o YouTube e as Gravadoras

o Estatísticas

o YouTube Insight

o Videos mais vistos

o Marketing viral


AGENDA (3/3)

o Escalabilidadeo YouTube

o Componentes Web

o Vídeos

o Thumbnails

o Banco de Dados

o Segurança

o O Futuro do Youtube


INTRODUÇÃO

• Fundado em Fevereiro de 2005

• Criado por Chad Hurley e Steve Chen

• Propriedade do Google

• Slogan: “Broadcast Yourself” (Divulgue-se)

• Disponível em 14 idiomas diferentes (22 se levadas em conta as variações de idiomas)

• Maior site de compartilhamento de vídeos da internet


HISTÓRIA

• A idéia surgiu depois de um jantar de amigos

• A dificuldade de compartilhar os vídeos a Internet levou Chad e Steve a desenvolver essa ferramenta

• Os dois trabalharam juntos na PayPal, onde conseguiram o apoio de um grande investidor

• Foi comprado pelo Google em 2006, mas permanece independente

• É o 4º site mais visitado da Internet


INVESTIMENTO

• Em 2006 a Google compra o YouTube por US$ 1,65 bilhões.

• Rentabilidade X Visibilidade e Status

• Obtenção de capital

• Tornar o site mais lucrativo

• O AdSense

• Venda de espaços publicitários


INVESTIMENTO

• Gastos com banda larga em torno de US$ 360 milhões em 2009

• Receita em 2009: US$ 240 milhões (20% maior que no ano anterior)

• Déficit de US$ 120 milhões ~ R$ 204.000.000,00


ECONOMIA

• Logo antes de ser comprado pelo Google o YouTube tinha receita de cerca de US$ 15 mi/mês

• Gastos com banda larga entre 5 e 6 milhões de dolares

• Como a maioria dos sites da internet o YouTube não tinha um plano de negócios para por em prática

• A propaganda é a fonte de receitas


ECONOMIA

• Modelo de negócio baseado nos princípios de abertura e compartilhamento conteúdo

• Acesso gratuito para seus usuários

• Que postam mais vídeos e assistem mais vídeos,

• Aumentando assim a fluxo de acessos e os ganhos em publicidade direta e indireta e o interesse de mais e mais anunciantes


API´s E FERAMENTAS

• As APIs e ferramentas do YouTube permitem integrar o conteúdo e a funcionalidade do YouTube num site, aplicativo de software ou dispositivo.

• API de dados

• Player personalizado

• APIs do player

• Widgets


API DE DADOS

• É possível procurar por vídeos, recuperar feeds, e ver o conteúdo relacionado

• Fazer upload automático de vídeos

• API de dados usa linguagens de programação server-side

• Existem guias para desenvolvedor Java, .NET, PHP e Python


PLAYER PERSONALIZADO

• Cores e temas do player

• Criar listas de reprodução

• Controle do que é reproduzido em seu site

• Favoritos


APIs DO PLAYER

• Adicionar vídeos em seu site através dos códigos “embedded”

• O player “chromeless” é destinado aos programadores web experientes que desejam projetar seu próprio player de vídeo

• Ambos usam JavaScript e ActionScript.

• Exemplo: http://code.google.com/intl/pt-BR/apis/youtube/chromeless_example_1.html


http://code.google.com/intl/pt-BR/apis/youtube/chromeless_example_1.html



WIDGETS

• Ao contrário do player personalizado, estes elementos são para pessoas que estão familiarizadas com HTML e JavaScript, mas pode não estar familiarizado com a programação de servidor

• Dois principais:

• Vídeo Bar

• Video Search Control


O SURGIMENTO

• Aumento da largura de banda

• Aumento na capacidade de armazenamento

• A tecnologia Flash Vídeo

• Necessidade de mais entretenimento na internet

• Nicho de mercado

• Simplicidade e Falta de burocracia


CELEBRIDADES INSTANTÂNEAS

• Zina (“Ronaldo!”)

• Susan Boyle

• Cacete Agulha

• Me dá meu chip

• Cicarelli na praia – Bloqueio do site no Brasil

• Quais mais?


WEB VIDEOS

• Existem diversos formatos de vídeos para exibição via web, cada um com o seu player dedicado. Exemplo dos mais conhecidos:

– QuickTime (.mov)

– RealNetworks RealMedia (.rm)

– Microsoft Windows Media (.wmv)

– Adobe Flash Video (.flv e .swf)


WEB VIDEOS

• Todos os vídeos do YouTube estão no formato Adobe Flash Video (.flv)

• Este formato foi escolhido pela empresa por possuir duas grandes vantagens em relação aos demais:

– Alta taxa de compressão;

– Exibição via Applet.


FLASH VIDEO

• Alta taxa de compressão

– O que significa que os arquivos .flv possuem menores tamanho em relação aos concorrentes

• Menor Tamanho = Download mais rápido

• Exibição via Applet

– Os .flv são exibidos por um applet (Flash Player Applet)

• Simplicidade;

• Menor uso de memória;

• Flexibilidade (Multiplataforma).


FLASH VIDEO (aprofundando)

• Desenvolvedor:

– Adobe Systems (originalmente Macromedia)

• Larga utilização:

– Hoje é um dos formatos mais populares de exibição de vídeos pela web;

– Usado em grande sites como YouTube, Google Video, MySpace, MTV, Globo.com, UOL



• Composição

– Dois codecs separados:

• Vídeo – H.263 ou H.264 (AVC)

• Áudio – MP3, AAC ou ainda ADPCM

• Uso da tecnologia “lossy compression”

– Quadros chaves (“key frames”)

– Armazenamento apenas das diferenças entre quadros sucessivos aos chaves

• Resultado: Arquivos reduzidos (mas qualidade também)



• Vantagens

– Boas taxas de compressão

– Download Progressivo

• Os vídeos podem ser exibidos ao mesmo tempo que o download é feito.

– Instalação descomplicada

– Multiplataforma

• Roda no Mac OS, Windows, Linux



• Vantagens

– Customização

• A aparência do player é totalmente customizável;

• Adição/remoção de diferentes tipos de controle.

– “Segurança” do conteúdo

• Permite apenas a exibição. Download ou edição dos conteúdos é bloqueado;

• Interessante quando o conteúdo deve ser restrito ao arquivamento;

• No entanto: existem diversos aplicativos que burlam essa segurança.



• Vantagens

– Suporte a transmissão via streaming

• Mas o download progressivo é o mais utilizado.



• Desvantagens

– Formato é designado exclusivamente para ser executado através do navegador

• Necessidade de baixar codecs para rodar em players “nativos” (programas individuais)

– Baixa qualidade do vídeo

• A qualidade não é um fator tão crucial para o formato quanto o tamanho do arquivo;

• O objetivo principal é permitir a exibição de vídeos pela web.


FLASH APPLET

• Faz uso do navegador como base para criar a interface com o usuário (o player)

• Como já dito, é customizável

– O clássico player do YouTube possui:

• Controle de Volume

• Botões de controle do Vídeo (play, stop, rewind)

• Botões para “minimizar” e “tela cheia”

• Barra de exibição e temporizador do progresso do vídeo

• Botões para exibição em alta definição (HD)


FLASH APPLET


FLASH APPLET


FLASH APPLET

• O que é preciso para assistir os vídeos do YouTube?

– Plugin: Macromedia Flash Player 7.0, ou superior.

• Ele é gratuito, de fácil instalação e a maioria dos navegadores oferecem suporte a ele.


PROCESSO DE UPLOAD

• É necessário converter os arquivos para .flv?

– Resposta: Não

• O YouTube aceita uploads de arquivos na maioria dos formatos:


WMV AVI MKV MOV

MPEG MP4 DivX FLV

OGG 3GP

PROCESSO DE UPLOAD

• Os usuários fazem o upload dos vídeos em algum desses formatos

• YouTube faz o processo de conversão para o formato Flash Video

• Upload do arquivo + conversão = “processing time”

– Seu tempo varia de acordo com o tamanho e formato do arquivo original.


PROCESSO DE UPLOAD (Limitações)

• Os arquivos podem ter no máximo 2GB

• O tempo do vídeo não pode exceder 10 minutos

– Exceções:

• Parceiros do YouTube (sob reserva de aceitação)

• Contas antigas (criadas antes de Março de 2006)

– Existem uma série de tutoriais (alguns no próprio site) que prometem ensinar como burlar essa limitação de tempo.


EXIBIÇÃO DOS VÍDEOS

• No YouTube os conteúdos multimídia são exibidos por “Download Progressivo”

– O conteúdo é baixado para uma pasta temporária do navegador;

– Uma barra exibe quanto do vídeo já foi baixado;

– Quem assiste tem a liberdade de ver o vídeo enquanto seu download ainda é feito.

– Em partes é melhor do que Streaming pois o vídeo pode ser visto várias vezes, sem interrupções e com a possibilidade de retroceder.




1. O usuário envia um “request”

do vídeo desejado ao Web

Server, via HTTP

2. O Web Server localiza o vídeo

e o envia ao usuário via TCP

3. O vídeo começa a ser baixado

para uma pasta temporária no

computador do usuário

4. O Flash Video decodifica o

arquivo e o exibe no player



• Streaming vs Download Progressivo (Video)

– Fonte: Olhar Digital

QUALIDADE DOS VÍDEOS

• Atualmente 3 diferentes qualidades principais:

– Formato padrão (“Standard Format”)

– Alta qualidade (“High Quality”, HQ)

– Alta definição (“High Definition”, HD)



• Tabela Comparativa


Data Resolução Áudio Áudio Codec

Standard - 320x240 22.0 KHz Mono MP3

High Quality Mar, 2008 480x360 44.1 KHz Mono MP3

HD 720p Nov, 2008 1280x720 44.1 KHz Estéreo AAC

HD 1080p Nov, 2009 1920x720 44.1 KHz Estéreo AAC


• Tabela Comparativa


Vídeo Codec Video Bitrate Áudio Bitrate FPS

Standard H.263 ~ 200 Kbps 64 Kbps 30

High Quality H.263 ~ 900 Kbps 128Kbps 30

HD 720p H.264/MPEG-4 AVC ~ 1024 Kbps 232 Kbps 30

HD 1080p H.264/MPEG-4 AVC ~ 2000 Kbps 232 Kbps 30


FONTE: Wikipedia



FONTE: Wikipedia



FONTE: Wikipedia



• Amostra de um vídeo em High Definition


DIREITOS AUTORAIS

• Na página de upload, a seguinte mensagem é encontrada:

• “Importante: não envie nenhum programa de TV, videoclipes, shows musicais ou comerciais sem permissão, a não ser que o conteúdo seja totalmente de sua autoria.”

• Grande parte dos vídeos encontrados infringem essa regra. Muitos usuários enviam conteúdo que foi produzido por outras pessoas.


DIREITOS AUTORAIS

• Não existe esforço algum para verificar o conteúdo de cada vídeo submetido

• O vídeo continua online até que o dono peça para que o mesmo seja retirado do ar

• Toda vez em que eles recebem uma notificação, o YouTube é obrigado por lei a retirar o vídeo

• Mesmo assim, muitos usuários abusam da Lei do Fair Use


FAIR USE

• Fair Use = Uso Justo, Uso Honesto

• Conceito da legislação dos Estados Unidos que permite o uso de material protegido por direitos autorais sob certas circunstâncias

• Segue quatro princípios básicos:


FAIR USE

1. O propósito e tipo de utilização, incluindo se o mesmo é de natureza comercial ou educacional sem fins lucrativos;

2. A natureza do trabalho copiado;

3. A quantidade e proporcionalidade do copiado em relação ao todo; e

4. O efeito do uso relativamente ao mercado potencial ou valor do trabalho sob direito de autor.


DIREITOS AUTORAIS NO BRASIL

• A doutrina do Fair Use não existe na legislação brasileira, porém a lei Lei 9.610/98 prevê limitações dos direitos autorais

• Não constitui ofensa a reprodução na imprensa diária ou periódica; de obras literárias, artísticas ou científicas; para uso privado do copista sem intuito de lucro; a citação de passagens de qualquer obra, indicando-se o nome do autor e a origem da obra.


YOUTUBE E AS GRAVADORAS

• Em Novembro de 2008, a Warner Music pediu a retirada de todos os vídeos de seus artistas do ar

• Bloqueio das negociações sobre o acordo de licença entre as duas partes

• Vídeos produzidos pela Warner Music Group e criações de usuários que utilizam conteúdos licenciados

• Entre os artistas bloqueados, estavam Linkin Park, Madonna, Simple Plan


YOUTUBE E AS GRAVADORAS

• Em Setembro de 2009, o YouTube e a Warnerchegaram a um acordo

• As duas empresas vão dividir as receitas de publicidade dos vídeos, porém a Warner ficará com a maior parte

• O YouTube tem agora parceria com as quatro grandes gravadoras:

– Universal, Sony, Warner e EMI


ESTATÍSTICAS

• Em Outubro de 2009, o Blog Oficial do YouTube divulgou que recebe “bem mais do que 1 Bilhão de visualizações por dia”

• Isso equivale a pelo menos 11.574 visualizações por segundo, 694.444 visualizações por minuto, e 41.666.667 visualizações por hora

• Só nos EUA, o YouTube (junto com o Google Video) soma 99.5 milhões de visualizações, o que equivale a 2 entre cada 3 americanos


ESTATÍSTICAS

• Upload de 15 horas de vídeo por minuto

• É o site de vídeos mais acessado

• É o 2º site de buscas mais acessado

• O crescimento de vídeos online continua substancial, aumentando 45% desde 2008

• A média de tempo total dos vídeos também cresceu, subindo para 11.6 minutos


YOUTUBE INSIGHT

• Permite aos usuários visualizar “estatísticas detalhadas” de seus vídeos

• É encontrada ao clicar no botão “Sobre este vídeo” dentro da área “Meus Vídeos”, ou na área “Estatísticas & dados”, embaixo de cada vídeo


YOUTUBE INSIGHT

• Estatísticas gerais dos vídeos:

• Visualizações;

• Dados Demográficos;

• Popularidade;

• Comparação entre os vídeos;


YOUTUBE INSIGHT

• Aba Discovery

• Como os usuários encontram seus vídeos

• Palavras-chave que levam até seu vídeo


YOUTUBE INSIGHT

• Dados geográficos das visualizações

• Número de visualizações por período de tempo e por região


YOUTUBE INSIGHT

• Visualização de dados de acordo com idade e sexo


YOUTUBE INSIGHT

• O Hot Spots identifica quais partes do vídeo estão ou não sendo assistidas


YOUTUBE INSIGHT

• Estatísticas & dados:

• Informações sobre as visualizações disponíveis a todos os usuários


VÍDEOS MAIS VISTOS


135.619.415 exibições

CHARLIE BIT MY FINGER – AGAIN!


CHARLIE BIT MY FINGER – AGAIN!


MARKETING VIRAL

• Técnicas de marketing que exploram redes sociais para produzir aumentos exponenciais em conhecimento de marca, com processos similares à extensão de uma epidemia.

• Se tal anúncio alcança um usuário "susceptível", esse usuário será "infectado" e reenviará a outras pessoas susceptíveis, "infectando-as" também.


MARKETING VIRAL

• Destaques de Campanhas Virais:

• The Dark Knight

Sites, vídeos, ligações, ações em

várias cidades

• LOST: LOST Experience e Find 815

Sites, televisão, vídeos, propagandas

no jornal, correio de voz


YOUTUBE HUNGER BYTES

• Competição Internacional de Vídeos para novos cineastas inspirados, patrocinada pelo World Food Programme

• http://www.youtube.com/hungerbytes


http://www.youtube.com/hungerbytes

ESCALABILIDADE DO YOUTUBE

• O que é Escalabilidade?

Característica desejável em todo o sistema, que indica sua habilidade de manipular uma porção crescente de trabalho de forma uniforme, ou estar preparado para crescer.



• Principal problema de escalabilidade do YouTube:

Lidar com grandes quantidades de acessos, visualizações e submissões de arquivos, se preocupando em não chegar ao seu limite



• Em Junho de 2007, Cuong Do ministrou uma palestra na Google Seattle Conference on Scalability, e citou as características e problemas da escalabilidade do YouTube em seu início



Equipe Inicial, em 2005, era composta por:

• 2 Desenvolvedores;

• 2 Arquitetos de Escalabilidade;

• 2 Engenheiros de Rede;

• 1 DBA.



Arquitetura da Plataforma Utilizada (Open Source):

• Apache

• Python

• Lynux (inicialmente SuSe, outros atualmente)

• MySQL

• Lighttpd

• GFS (Google File System)



• Apache:

• Também conhecido como Servidor HTTP Apache;

• É o mais bem sucedido servidor web livre;

• Funcionalidades são mantidas através de uma estrutura de módulos, permitindo que o usuário desenvolva seus próprios módulos;

• É utilizado no YouTube como servidor para html, javascript, css;



• Python:

• Linguagem de programação de alto nível;

• Suporta múltiplos paradigmas de programação;

• Muito usada como linguagem de script;

• Foi escolhida para substituir a codificação original (PHP) logo no início do projeto.



• MySQL:

• Sistema de gerenciamento de banco

de dados;

• Utiliza a linguagem SQL como interface;

• É atualmente um dos bancos de dados mais populares;

• A versão 5.x é utilizada no YouTube, altamente customizada.



• Lighttpd:

• Servidor Web projetado para otimizar

ambientes de alta performance;

• Igual ou superior a servidores consagrados nos quesitos velocidade, uso do processador e memória;

• Configuração muito simples e fortemente baseada em expressões regulares ao estilo Perl;

• Substituiu o Apache como servidor de vídeo.



• Google File System:

• Sistema de arquivos desenvolvido e utilizado no Google, específico para o seu ambiente;

• Capaz de suportar o enorme volume de dados processado diariamente;

• Mecanismos de monitoramento constante para

detecção de erros e recuperação automática.



• O Tempo de Serviço para uma única página no YouTube é de 70ms (em média);

• Carregar uma página com as configurações descritas levaria alguns minutos em servidores normais;

• Porém, toda sua estrutura é otimizada para que isso não ocorra.


ESCALABILIDADE: COMPONENTES WEB

• Equilíbrio de Carga e Cache: Usou por muito tempo o NetScalar, mas passou ao GFS;

• Servidor Web: Apache com mod_fast_cgi;

• Processador de Requisições: Servidor com aplicação Python;

• Otimizações: Uso do psyco, compilador dinâmico python->C que usa um compilador JIT para otimizar os loops internos;


ESCALABILIDADE: COMPONENTES WEB

• Pre-Processamento: Alguns blocos de página dinâmicas podem apresentar uma grande carga. HTML de funções como “Vídeos Relacionados” é pre-gerado e guardado em cache;

• Caching e Persistência: Uso extensivo de serialização de objetos e persistência dos mesmos no banco de dados, especialmente objetos Python. Índices mais usados são mantidos em cache para otimizar as buscas.


ESCALABILIDADE: VÍDEOS

• Alta Disponibilidade e Velocidade: Cada vídeo é armazenado em pelo menos mais de uma máquina, para vários usuários;

• Isso implica em garantia de mais velocidade ao receber o conteúdo de várias máquinas, e impede perda de dados, já que existem múltiplos backups que podem ser agendados e ativados.


ESCALABILIDADE: VÍDEOS

• Entrega de Conteúdo: Lighttpd é usado como servidor de vídeo. Conteúdos mais populares são movidos para um CDN (Content Delivery Network – Rede de Entrega de Conteúdo);

• Desse modo, é maior a probabilidade de o vídeo estar mais próximo do usuário. Conteúdo menos acessado é armazenado nos servidores do YouTube.


ESCALABILIDADE: THUMBNAILS

• Thumbnails são as pequenas imagens que ilustram os vídeos;

• Eles são grandes desafios para o YouTube, já que são armazenados 4 para cada vídeo;

• Milhões são armazenados em somente algumas máquinas, exclusivas para Thumbnails;


ESCALABILIDADE: THUMBNAILS

• Armazenar uma quantidade enorme de arquivos num sistema de arquivos não é aconselhável.

• Um grande número de requisições por segundo pode causar problemas, ainda mais quando cada página pode ter até 50 thumbnails diferentes.

• Para solucionar isso, eles utilizam a BigTable do Google, que é um sistema de armazenamento distribuído desenvolvido para escalar uma grande quantidade de dados.


ESCALABILIDADE: BANCO DE DADOS

• Banco de dados altamento customizado;

• Utiliza a estratégia de empregar partições do banco baseadas em mês, categorias, tags;

• Com a adoção de tecnologias do Google, passou a unir essas técnicas com os avançados mecanismos de cache do Google para tornar o BD ainda mais robusto.


SEGURANÇA

• Em 2007, o hacker Christian Matthies foi a públicodizer que tinha encontrado cerca de 40 falhas que colocavam os usuários em risco;

• A maioria das vulnerabilidades eram do tipo XSS, onde hackers conseguem injetar código fazendo parecer que o mesmo é hospedado pelo site;

• Permite que os perfis dos usuários sejam infectados com worms que podem roubar o login;


SEGURANÇA

• Na mesma época, a companhia de segurança em TI Secure Computing divulgou outra potencialameaça aos usuários do YouTube;

• Seria um falso vídeo contendo o Trojan Zlob, que bombardeia os usuários infectados com propagandas, e ainda pode contaminar o computador com softwares maliciosos;

• O YouTube respondeu dizendo que tomaria as medidas necessárias.


O FUTURO DO YOUTUBE

• Manter, e fazer crescer, uma plataforma eletrônica que já atingiu proporções gigantescas

• A cada dia, o YouTube recebe 365 000 novos filmes

• Nenhum deles é jogado fora

• Os arquivos da empresa armazenam mais de 500 terabytes de imagens, o equivalente a 50 vezes o conteúdo da biblioteca do Congresso americano, a maior do planeta


O FUTURO DO YOUTUBE

• Fazer com que o conteúdo possa ser acessada com eficiência por qualquer aparelho: um computador, uma TV ou um celular

• Aprimorar a tecnologia para acessos por redes sem fio (Celulares)

• Desenvolver ferramentas para descobrir quais tipos de vídeo uma determinada pessoa está buscando quando entra no site


O FUTURO DO YOUTUBE

• Integrar o sistemas com outros sites de sucesso como twitter e facebook

• Outra meta é aprimorar o fluxo de informações dentro do site. As pessoas vão poder indicar para as outras, por meio de notificações [os feeds], quando assistem a um vídeo ou assinam um novo canal de conteúdo.

• http://veja.abril.com.br/noticia/ciencia-tecnologia/futuro-youtube-495061.shtml


http://veja.abril.com.br/noticia/ciencia-tecnologia/futuro-youtube-495061.shtml







REFERÊNCIAS

• http://highscalability.com/youtube-architecture

• http://pedromenezes.com/como-e-a-arquitetura-dos-servidores-do-google-flickr-youtube-amazon-e-second-life

• http://mashable.com/2009/10/09/youtube-billion-views/

• http://www.techcrunch.com/2008/03/12/youtube-the-platform/


http://highscalability.com/youtube-architecture




http://pedromenezes.com/como-e-a-arquitetura-dos-servidores-do-google-flickr-youtube-amazon-e-second-life



























http://mashable.com/2009/10/09/youtube-billion-views/





http://www.techcrunch.com/2008/03/12/youtube-the-platform/






Documents

Desvende o YouTube