Embed Size (px)
Citation preview
Analisador de Sites Automático
Palestrante: Heitor de Souza Ganzeli
Introdução
Mo
tivação
F
un
cio
nam
en
to
Sis
tem
a
• Monitor de sites
• Realiza a verificação automática e
periódica da qualidade dos sites
http://vpereiro.files.wordpress.com/2010/05/dominio.jpg
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
O que é o ASA?
• Desenvolvedores de sites
• Webmasters
A quem se destina?
A quem interessa?
• Todos na Internet
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Verificação de suporte IPv6
• Proporção de páginas da Web aderentes
aos padrões HTML do W3C
• Proporção de páginas da Web aderentes
aos padrões de acessibilidade WCAG
• Geolocalização do servidor
• Sincronização de tempo
• Verificação de links quebrados
Quais medidas de qualidade são tiradas?
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Intr
od
ução
Motivação
Fu
ncio
nam
en
to
Sis
tem
a
Projeto TIC Web
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Iniciado em 2009
• Publicação de dados do domínio .gov.br em 2010
• http://www.ceptro.br/CEPTRO/MenuCEPTROSPCensoWeb
• Vídeo “Internet Revelada”:
• http://www.zappiens.br/portal/VisualizarVideo.do?_InstanceI
dentifier=0&_EntityIdentifier=cgiE9WjKruzQGmPy-
VDyEDDAKPUNxmfYneBOql0VJJOuIg.&idRepositorio=0
• Na Web, o protocolo é o HTML
• Deve-se ser rigoroso para enviar
• Flexível para receber
Protocolos na internet
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• site: http://customercare.mtnl.net.in/
Problemas
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• http://validator.w3.org/
Validador do W3C
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Site: http://www.uol.com.br/
• Mais de 1500 erros na validação de HTML
Mais exemplos
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Site: http://www.uol.com.br/
Mais exemplos
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Site: http://nic.br/
Mais exemplos
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Universalidade do acesso:
• Acesso sem barreiras
• Compatibilidade
• Acessibilidade
• Ganho de desempenho
• Economia de banda
• Código mais simples e fácil de atualizar
• Melhor visibilidade em ferramentas de busca
• Evita instabilidade e versões de páginas
Aderência à padrões HTML
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• WCAG
• E-MAG
• ASES – Avaliador e Simulador de Acessibilidade de
Sítios
Protocolos de Acessibilidade
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Garante acesso universal aos sítios Web:
• O modelo de acessibilidade considerado foi o e-
MAG
• O e-MAG tem como referência as diretrizes de
acessibilidade do W3C publicadas no WCAG
• Lei Federal: n° 5.296, estabelece normas gerais e
critérios básicos para a promoção da acessibilidade
das pessoas portadoras de deficiência ou com
mobilidade reduzida
Aderência a padrões de acessibilidade
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Validação de padrões de acessibilidade
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
IPv6 - Internet “original”
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
IPv6 - Situação ideal...
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
IPv6 - HOJE!
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
IPv6 - Coexistência e Transição
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
IPv6 - Situação crítica!
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
IPv6 - Crescimento da rede...
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
IPv6 - Usuários “IPv6 only”
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
IPv6 - Dificuldades de acesso!
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
IPv6
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
http://labs.ceptro.br/topsites
http://labs.ceptro.br/brsites
Validador IPv6
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a http://validador.ceptro.br/
A Sincronização com a Hora Legal Brasileira (que equivale ao
padrão mundial UTC) é recomendada pelo CGI.br:
http://www.cgi.br/regulamentacao/resolucao2008-009.htm
Todo servidor deve estar sincronizado e, na medida do
possível, também computadores pessoais. Isso é importante
para:
- segurança
- funcionamento correto das aplicações
Deve-se utilizar o NTP: http://ntp.br. É uma configuração
simples de ser realizada, porém pouco conhecida. Os
servidores de tempo são oferecidos pelo NIC.br, em conjunto
com o Observatório Nacional.
A medida foi realizada obtendo-se a hora dos servidores, via
HTTP, e comparando-a com a hora correta.
Sincronização com a Hora Legal Brasileira
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Sistemas de distribuição de conteúdo
• Filesystem
• Agendadores de eventos
• Criptografia
• Protocolos de comunicação e aplicações de
tempo real
• Sistemas transacionais e bancos de dados
Aplicações
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Aplicações
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Sincronização com a Hora Legal Brasileira
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Localização Geográfica dos Servidores
O indicador mostra a proporção de servidores localizados no
Brasil e no exterior. Usa dados de uma base especializada
(GeoIP MaxMind) que tem cerca de 95% de exatidão.
Servidores fora do Brasil podem ser mais baratos, contudo
implicam em maior lentidão no acesso, e no uso de canais de
comunicação de internacionais, com alto custo, levando a um
aumento nos custos de acesso no Brasil.
É importante que os servidores que hospedam sítios
destinados aos internautas do Brasil estejam hospedados no
Brasil.
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Localização Geográfica dos Servidores
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Localização Geográfica dos Servidores
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Links quebrados
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Intr
od
ução
M
oti
vação
Funcionamento
Sis
tem
a
• Criação do site:
Processo de validação
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
<HTML>
<HEAD>
</HEAD>
<BODY>
<P>Hello world!</P>
</BODY>
</HTML>
Processo de validação
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Processo de validação
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Corrige o site:
Processo de validação
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
<!DOCTYPE html PUBLIC "-//IETF//DTD HTML 2.0//EN">
<HTML>
<HEAD>
<TITLE>
A Small Hello
</TITLE>
</HEAD>
<BODY>
<P>Hello world!</P>
</BODY>
</HTML>
Processo de validação
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Processo lento
• Difícil manutenção
Problema
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Avaliação periódica das características
Com o asa...
O ASA
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
O ASA
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
O ASA
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
O ASA
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
O ASA
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sistema
ASA Web Site
Escalonador
WebCrawler Analisador
Arquitetura
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Webcrawler – WIRE-Nic
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Lista de sítios
sítio1.gov.br
sítio2.gov.br
sítio3.gov.br
sítio4.gov.br
(…)
sítion.gov.br
Análises
Relatórios
Busca do
conteúdo
(só “texto”)
na Web
Base local
Extração de
novas
URLs
Webcrawler – WIRE-Nic
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
senha
Além disso...
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Calcula a quantidade e tamanho das páginas
• Informa e classifica as URLs
• Informa a idade das páginas
• Diferencia páginas estáticas e dinâmicas
• Calcula diferentes índices de páginas como
pagerank e siterank
• Identifica o idioma das páginas
Análise de Sites: ConNeCTOR
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Convenient Network Characteristics Testing
Organized Routines
• Tipos de teste realizados:
• Carregamento dos dados do WIRE
• Validação de páginas
• Testes sobre sítios e servidores
• Testes sobre links encontrados
Ferramentas: ConNeCTOR
Validação de páginas:
Validador de HTML do W3C
Validados de acessibilidade ASES
Arquitetura Distribuída
Aumenta a velocidade de processamento
http://xenlights.com/images/SoftwareValidation.jpg
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Ferramentas: ConNeCTOR
Testes sobre Sítios e Servidores: Reposta
Realiza uma requisição HEAD
Obtêm:
Tempo de resposta
Tipo de servidor
Diferença de tempo
Ipv4
http
://ww
w.s
up
erd
ow
nlo
ad
s.c
om
.br/im
ag
en
s/m
ate
rias/R
od
rigo
%2
0L
ima
/ma
teria
s/c
on
exa
o/c
on
exa
o-d
e-
inte
rne
t.jpg
In
tro
du
ção
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Ferramentas: ConNeCTOR
Testes sobre Sítios e Servidores: IPv6
Não é suficiente verificar se o domínio possui ipv6
Utiliza variações do nome do site: www6,
www.ipv6, ipv6
Realiza ping6 e requisição GET ao endereço
Verifica se o NameServer possui suporte a IPv6
ipv6.google.com.br
www.v6.facebook.com
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Ferramentas: ConNeCTOR
Testes de Sincronização de Tempo
Resposta do servidor Web
Depende da qualidade da rede e
processamento do servidor
Precisão de ~ seg
Protocolo NTP
Mais preciso: ~µseg
Mais difícil de ser obtido
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Ferramentas: ConNeCTOR
Testes sobre Sítios e Servidores: Geolocalização
Geolocalização de servidores por IP
Integra API do GeoIP®
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Validação de padrões de CSS do W3C
• Verificação de suporte a DNSSEC
• Verificação de características de segurança
Análises Futuras
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
• Sites com baixa aderência aos padrões da web
• Dificuldade de manutenção
• Análise automática e periódica
Resumindo
Obrigado !
• Contatos:
•Links úteis – http://ceptro.br/asa
– http://labs.ceptro.br/asa
– http://labs.ceptro.br/topsites
– http://labs.ceptro.br/brsites
– http://w3c.br/
– http://validator.w3.org/
– http://www.governoeletronico.gov.br/acoes-e-
projetos/e-MAG/ases-avaliador-e-simulador-de-
acessibilidade-sitios
– http://www.cwr.cl/projects/WIRE/
•Perguntas???
Intr
od
ução
M
oti
vação
F
un
cio
nam
en
to
Sis
tem
a
