View
1.444
Download
0
Embed Size (px)
DESCRIPTION
Aula da matéria "Orientação a resultado: as métricas da web"
Citation preview
Sergio Langer
Aula 3:
Sergio Langer
O consumidor e as buscas
A tiv id ad es d esen v o lv id as n a in te rn e t¹
84 ,0%
1 6 ,6%
2 4 ,5%
49 ,6%
B usca d ore s
E -m a ils
S a la s de ba te -pa p o
C o m pa rt ilha m ento d ea rq uivo s
Ferramentas de busca têm alta penetração entre os usuários
11 ,9%
11 ,9%C ria um a pá g ina na w e b
L iga çõe s te le fônica s p e lainte rne t
No Brasil, 87% dos usuários domiciliares utilizaram
pelo menos uma vez algum mecanismo de busca
Fontes: (1) CGI, 2006; (2) Ibope Net//Ratings, 2007.
Site²Alcance
(%)
Ferramentas de Busca, Portais e Comunidades
98,28
Portais Horizontais e Comunidades
96,46
Ferramentas de Busca 86,96
Comunidades 86,24
Portais Verticais e Comunidades
46,03
Freqüência de utilização dos buscadores
por adultos americanos (% de respostas)
Quase 1 em cada 4 usuários utilizam os buscadores mais de 1 vez por dia
87% dos usuários encontram a
informação que procuram mais
frequentemente quando utilizam os 20%
25%
Fonte: iMedia Connection, 2006
frequentemente quando utilizam os
buscadores
44% dos usuários indicaram que
os buscadores são a fonte segura,
com informações críticas
absolutamente necessárias
33 é o número médio de buscas
por mês
48% dos usuários afirmam utilizar
2 ou 3 sistemas de busca
regularmente
0%
5%
10%
15%
20%
+1
vez ao dia
1
dia
3-5 dias
semana
1-2 dias
semana
1x
algumas
semanas
Pouco
freqüente
Não sei /
Sem
resposta
16%
43%
83%
Como você encontrou o site que influenciou a sua última compra?¹
Como você encontrou o site da empresa que procurava?²
2 6 %
2 9 %
4 0 % Buscadores
Boca-a-Boca
Mídia Gráfica On -line
Buscadores são fontes confiáveis de informações
Buscadores juntos
Fonte: 1- DoubleClick White Paper, Janeiro 2005 (US); 2-Forrester’s Consumer Technographics® August 2004 North American Devices, Media,
& Marketing Online Study and Forrester’s Consumer Technographics® 2003 North American Retail & Media Online Study
49%
32%
36%
47%
34%
16%
3 %
7 %
1 0 %
1 2 %
1 3 %
2 6 % Mídia Gráfica On -line
TV
Digitação da URL
Mídia Gráfica off-line
Email Marketing
Email de amigo
Buscadores juntos
com Mídia Gráfica
representam mais de
65% sobre a
influencia de compra
Quantidade de resultados vistos pelos usuários nos buscadoresantes de clicarem em algum (em % de respostas)
30%
35%
40%
45%2002 2004 2006
Usuários estão cada vez menos dispostos a navegar pelas páginas de resultados...
Fonte: iProspect, Abril 2006
0%
5%
10%
15%
20%
25%
Apenas alguns Na 1ª
página
Nas primeiras
2 páginas
Nas primeiras
3 páginas
Mais de três
páginas
Estar posicionado na primeira página do resultado d e buscaé fator crítico de sucesso
Quantidade de palavras utilizadas por buscas
17%
30%
27%
17%
28%29%
2 0%
2 5%
3 0%
3 5%
2004 2006
...e mais propensos a realizar buscas específicas pa ra encontrar somente o que querem
Fonte: OneStat.com, 2006
17%15%
7%
3%1% 2%
4%
8%
17%
11%
0%
5%
10%
1 5%
1 p a la v ra 2 3 4 5 6 7
Termos com uma palavra (mais genéricos) são importantes para o início do processo de busca, mas nem sempre trazem somente o que o usuário está precisando, por isso termos específicos vêm ganhando força
Market Share – EUA
Fonte: Compete.com / Fev 2009
Market Share – BR
Buscador porcentagem
Google 94,8%
MSN 2,5%
Fonte: Predicta / Fev 2009
Yahoo 0,8%
Como funciona o buscador?
Ferramentas de busca baseiam-se em operações bastante complexas e
ambiciosas:
� varredura da web
� indexação de cada página
Como funciona
� indexação de cada página
� análise e a comparação de texto em frações de segundos
Como funciona
A varredura é feita por meio de programas
chamados spiders ou crawlers, que
vasculham e indexam toda a web, site por
site, link a link.
Como funciona
Toda a internet?
Como funciona
Não, como não pode varrer tudo, vasculham os sites mais relevantes. O
ponto de partida é a própria base do buscador.
Como funciona
Em cada página, o programa varre os links presentes e segue um deles,
escolhido aleatoriamente. A operação é repetida à exaustão, de modo a
garantir um índice de sites o mais completo possível.
Como funciona
Um busca simples pode trazer milhões de resultados. Organizar estes
resultados e exibir o que há de relevante é a tarefa central para um
buscador.
Como funciona
Essa foi a grande aposta do Google: estimar a relevância de um site de
acordo com o número de vezes em que é citado por outros sites.
Como funciona
É uma medida de popularidade e confiabilidade entre pares: se um
endereço é muito citado na web, isto quer dizer que ele é relevante. E se
os sites que o citam são, por sua vez, também muito citados, a
relevância é ainda maior.
Como funciona
Esta operação matemática é o que
chamamos de PageRank. Ela estabelece
que a importância de uma página equivale à
probabilidade de ser encontrada por um
internauta surfando aleatoriamente ao longo internauta surfando aleatoriamente ao longo
de um certo tempo.
Como funciona
A conta que essa operação se baseia é um dos grandes segredos do
Google. Mas em linhas gerais, sabe-se que é feita a partir da soma do
número de links existentes de um site a outro, em toda a web, ponderada
pela relevância de cada um deles.
Como funciona
A ferramenta de busca deve comparar os termos digitados pelo
internauta com seu índice de páginas. Os primeiros buscadores
consideravam acima de tudo os termos de identificação da página, não
visíveis ao leitor, ou o número de vezes em que uma certa palavra é
repetida. repetida.
Como funciona
Por estes termos serem facilmente manipuláveis, os atuais buscadores
dão atenção a centenas de outras variáveis, incluindo a formatação do
texto, tempo de resposta, a posição na página e sua presença em
páginas vizinhas do mesmo site.
e o Google?
Google MSN Yahoo
e o Google?
e o Google?
O Google é basicamente um banco de dados inteligente.
Ele acumula cada página da Web nesse banco. O endereço da página, o
nome, e as palavras mais frequentes e suas respectivas frequências são
todas incluídas na “ficha” daquela página (cada página é como um livro a todas incluídas na “ficha” daquela página (cada página é como um livro a
ser catalogado numa biblioteca).
e o Google?
O mais importante, todas as outras páginas para as quais a página linka
também são guardadas. Quando você busca algo no Google, o software
traz todas as “fichas” cujo conteúdo tenha a ver com a sua busca.
e o Google?
Para fazer isto de forma eficiente, um dicionário global é criado
(dicionário reverso ou índice reverso), onde cada palavra que existe na
web aparece uma vez. E na “ficha” de cada palavra são colocados
códigos que se relacionam com as páginas que contém aquela palavra.
e o Google?
Uma maneira de entender isso é que cada palavra tem uma lista com os
endereços das páginas que a contêm. Quando você digita uma palavra e
clica em buscar, tudo que precisa ser feito é imprimir na tela as listas de
endereços de todas as palavras que você pediu.
e o Google?
O segredo do Google, e na verdade de qualquer buscador, está em duas
coisas: como ele faz para encontrar todas páginas e como ele decide a
ordem em que vai listar os resultados. Os nomes técnicos para estas
duas atividades são crawling e scoring.
e o Google?
Um bom buscador é bastante abrangente, e ao mesmo tempo lista as
respostas na ordem que o maior número de pessoas espera. E responde
à busca rápido.
e o Google?
O crawling do Google, assim como o da maioria dos buscadores é feito
através de programas de computador que vão seguindo todos os links de
uma página, e acumulando as informações das páginas visitadas, a
partir de uma página inicial.
e o Google?
Para cada página visitada, o Google cria uma “ficha de biblioteca”. As
palavras da página que estão no dicionário global tem suas frequências
contadas, o endereço da página é anotado na “ficha”, e o endereço de
todas as páginas para as quais a página linka são anotados.
Finalmente, o próprio dicionário global é emendado caso alguma palavra
nova seja encontrada.
e o Google?
Ao fim do processo de crawling o Google tem um gigantesco banco de
dados com informações concisas da página.
e o Google?
Uma enxugada no dicionário global é feita, para remover palavras
frequentes demais, como por exemplo preposições, e para remover
palavras infreqüentes demais, como um erro de tipografia.
e o Google?
Por isso, se seu nome for muito incomum (muito mesmo), você não será
indexado pelo Google. Se seu nome for muito incomum, mas você
cometer um ato que te põe nas capas de vários jornais, a frequência do
seu nome aumenta, e o Google vai te indexar.
e o Google?
O próximo passo é então como o scoring do Google é feito. Uma
maneira natural de ordenar as páginas, quando uma busca é feita, é
simplesmente pela frequência com que a palavra buscada aparece na
página.
e o Google?
Por exemplo, se você busca por “dança”, uma página que contenha a
palavra mil vezes, é provavelmente mais importante do que uma que
contem a palavra somente dez vezes.
Porém um esquema simplista como este pode ser facilmente burlado, Porém um esquema simplista como este pode ser facilmente burlado,
com indivíduos criando páginas que tenham milhões de vezes a palavra
“dança”, mesmo sem ser relacionado ao assunto ou para vender um livro
específico de dança.
e o Google?
Cada buscador tem então a sua receita mágica para contrabalançar este
tipo de problema. O Google usa uma idéia de pontos por autoridade
(relevance scoring). Talvez tenha sido a grande sacada dos seus
fundadores ao projetar seu buscador.
e o Google?
A pontuação do Google soma aos pontos tradicionais (como frequência
da palavra, importância da palavra num contexto dado por alguma
fórmula simples pré-programada, etc.), a uma pontuação dada por
reputação.
e o Google?
Como medir reputação? A idéia é simples: se páginas com muita
reputação apontam para você, então você tem muita reputação. É uma
propriedade hereditária.
Matematicamente isto é feito usando teoria dos grafos, a mesma que Matematicamente isto é feito usando teoria dos grafos, a mesma que
você usa para colorir mapas-múndi com o mínimo de cores possíveis.
e o Google?
Mas como medir a reputação de uma página na Web, se você não sabe
a reputação de ninguém a priori?
e o Google?
O jeito mais comum de se fazer isso são com os robôs. Ele começa de
uma página inicial e escolhe aleatoriamente um link a ser clicado.
Ele segue para a página clicada e repete o processo. O processo é feito
indefinidamente.
Após muito longo tempo (provavelmente após centenas de bilhões de
cliques) você pode calcular a reputação de cada página com uma
fórmula simples: conte o número de vezes que a página foi visitada pelo
monkey browser.
e o Google?
Para normalizar a pontuação, o melhor é calcular a fração do total de
páginas visitadas que cada página aparece.
Suponha que a web tenha só 3 páginas: A, B e C. Suponha que o robô
visitou cem páginas usando o método aleatório e visitou A trinta vezes. visitou cem páginas usando o método aleatório e visitou A trinta vezes.
Então a reputação de A é simplesmente 30/100 (ou seja, 0.3 de 1.0).
e o Google?
Uma interpretação interessante do seu score de relevância normalizado
desta forma é que ele é simplesmente a chance de um robô ir parar na
sua página. Se a probabilidade é alta, então sua página é importante.
e o Google?
Se o Google realmente precisasse lançar robôs aleatórios para calcular a
pontuação, provavelmente iriam levar anos para se concluir o cálculo,
afinal precisariam fazer bilhões de visitas para se ter um número
confiável.
Felizmente, existe uma maneira eficiente de calcular estas
probabilidades sem fazer visita alguma. Você só precisa saber a
estrutura de linkes do conjunto de páginas (que página liga com quem).
e o Google?
O algoritmo é bastante antigo, tem mais de 100 anos. E uma das suas
aplicações anteriores foi resolver problemas como calcular as
frequências de vibração na corda do seu violão ou a chance de se
ganhar em pôquer.
e o Google?
O que destacou o Google das outros mecanismo de busca foi a idéia de
fazer um crawling mais completo que todos, numa época em que
ninguém se dispunha a fazer isso, e a receita da reputação entrando
como parte da pontuação da página.