A importância do teste ab para o comércio eletrônico brasileiro

A importância do Teste A/B para o E-commerce brasileiro

A B

João Victor Botelho Marques 1

Introdução• Fenômeno da Internet

• Mudança de comportamento e acesso a

informação

• Comércio eletrônico

• Concorrência

• Experiência do Usuário UX

• Testes A/B

• Os testes A/B podem realmente demonstrar

características importantes para a descoberta do

perfil de público que acessa determinado site,

permitindo assim o uso desta metodologia como

parte da estratégia de marketing digital de

e-commerces no Brasil?.

2

Agenda

1Internet e

Comércio Eletrônico

2Conceitos de UX

5Considerações

finais e Referências

4Métricas

3Testes A/B e

Multivariados

3

1Internet e


2Conceitos de UX

5Considerações


4Métricas

3Testes A/B e

Multivariados

1. Internet e Comércio Eletrônico

4

1.1 Linha do tempo da Internet

42

19

60

19

70

19

90

19

71

Com o término da Guerra Fria, a ArpaNetcontinuou sendo útil e que os militares passaram a permitir a utilização da rede por cientistas. Anos mais tarde, diversas universidades, inclusive de outros países também conseguiram ter acesso a ArpaNet.

Bogo (2000, online),

ARPANETTim Bernes-Lee conseguiudinamizar a passagem de umtexto de forma rápida edinâmica, utilizando um sistemaconhecido como World WideWeb. Desde então, cada vezmais a Internet tem feito parteda vida das pessoas de todo omundo

Internet

Os primórdios da Internet remetem á reação do governonorte-americano ao Projeto Sputnik da antiga União dasRepúblicas Socialistas Soviéticas (URSS), capitaneadas pelaRússia, durante a guerra fria, em 1957. O nascimento daInternet está diretamente relacionado ao trabalho de peritosmilitares norte-americanos que desenvolveram a ARPANET,rede da Agência de Investigação de Projetos Avançados dosEstados Unidos, durante a disputa do poder mundial com aURSS.

Abreu, Karen (2009, p.3)

Guerra Fria

Vinton Cerf junto com outros cientistastentavam conectar três redes diferentes,chamando o projeto de Interneting.

Ainda no ano de 1971 outra adaptação daArpanet surge, o método de transmissãode mensagens conhecido mundialmentepor e-mail. O projeto foi do engenheiroRay Tomlinson

Evoluções e E-mail

5

1.1 Atualmente – Usuários online

EUA – 252 milhõesJapão – 100 milhões

China – 643 milhões

India – 215 milhões

Brasil – 99 milhões

5º

1º2º

3º

4º

Fonte: eMarketer, disponível em: http://www.bbc.com/portuguese/noticias/2014/11/141124_brasil_internet_pai6

1.2 Crescimento da Internet no Brasil

20

25

30

35

40

45

50

55

60

65

70

2008 2009 2010 2011 2012 2013

URUGUAI ARGENTINA CHILE BRASIL COLÔMBIA VENEZUELA MÉXICO

Proporção de domicílios com computadores em países da América Latina Proporção de domicílios com acesso à Internet

Fonte: Comitê Gestor de Internet - 20137

1.3 Atividades realizadas pelos usuários online no Brasil

Principais atividades realizadas pelo brasileiro na internet Proporção de domicílios com acesso à Internet

0

10

20

30

40

50

60

70

2011 2012 2013

REALIZARAM PESQUISA DE PREÇOS OU SERVIÇOS NA INTERNET

COMPRARAM PRODUTOS PELA INTERNET

DIVULGARAM OU VENDERAM ALGUM BEM OU SERVIÇO PELA INTERNET

Fonte: Comitê Gestor de Internet - 20138

1.4 Comércio Eletrônico

Um dos fatores que justificam o crescimento do e-comerce

são as facilidades que eram inimagináveis anos antes, tais

como:

• A exibição de informações sobre as empresas e seus

produtos acontecem em sites que atuam 24 horas por dia,

7 dias na semana.

• comprar tornou-se mais eficaz, pois a Internet facilitou a

descoberta de fornecedores, permitiu a emissão de

requisições on-line, o fechamento de transações em bolsas

de mercado, a procura por preços mais baixos em poucos

segundos.

Kotler (2003, p. 106)

9

1.4 Comércio EletrônicoAs inovações tecnológicas, mesmo antes da

Internet, já vinham revolucionado a forma como as

compras e vendas eram efetuadas:

• FedEx

• padrões ISBN

• cartões de crédito

• bancos de dados relacionais

• códigos de barras

• Compras Supermercado

• Compras por telefone

• Compras por catálogo

Anderson (2006 p.39)

10

1.5 Taxa de Conversão no Brasil

.

12,8 bilhões de

visitas a sites

133 milhões de

pedidos feitos

1,04% Taxa de

Conversão

Fonte: Conversion (2014, online)11

1Internet e


2Conceitos e técnicas de

UX

5Considerações


4Métricas

3Testes A/B e

Multivariados

2. Conceitos de UX

12

“A usabilidade é um atributo de qualidade que avalia

quão fácil são as interfaces de usar”.

Jakob Nielsen (2012).

o estudo sobre interfaces onde os visitantes não

tenham que pensar para tomar uma ação

Steve Krug (2006, p. 11)

“o estudo referente a forma como as pessoas usam

produto e como fazer está utilização ser mais rápida

e fácil.”

Dumas e Redish (1999, p.5)

Logo, pode-se definir Usabilidade como a

possibilidade de deixar interfaces e produtos mais

fáceis de utilizar, assim os usuários podem concluir

de maneira mais eficaz e rápida seus objetivos.

2.1 Definição de Usabilidade

13

5 pontos principais que devem ser planejados para

garantir que uma interface, é de fato, fácil de

compreender:

• Apreensibilidade

• Eficiência

• Memorização

• Erros

• Satisfação

Nielsen (2012, online)

2.2 Principais pontos

14

Apreensibilidade

O quão fácil é para os usuários a realização de

tarefas básicas na primeira vez dentro do site?


2.3 Apreensibilidade

15

Apreensibilidade

O quão fácil é para os usuários a realização de

tarefas básicas na primeira vez dentro do site?


Apreensibilidade é a qualidade ou característica

daquilo que se pode apreender, ou seja, é a

capacidade para assimilar conhecimentos e

conteúdo.

Krug (2006, p.11)

2.3 Apreensibilidade

16

Eficiência

Depois que os usuários aprenderam a navegar no

site, qual a rapidez com que conseguem executar

as tarefas?


2.4 Eficiência

17

Memorização

Quando os usuários voltam para o site após um

período de tempo sem utiliza-lo, como a proficiência

pode ser restabelecida?


2.5 Memorização

18

Erros

qualquer ação que leve o usuário a não executar

determinada tarefa” e existem basicamente, dois

tipos principais:

Erros detectados pelos usuários: São aqueles que o

usuário consegue corrigir em sua navegação

Erros não detectados pelos usuários: deixam os

usuários completamente sem entender o que pode

ter ocasionado o problema, fazendo com que deixe

o site e ainda se sinta incapaz de concluir a tarefa.


quando os usuários encontravam dificuldades para

concluir qualquer tarefa, a responsabilidade era

atrelada a si próprio e não ao site

Zanini (2014, online)

2.6 Erros

19

Satisfação

Quão agradável é a utilização do site?


Quanto mais alta a satisfação dos clientes, maior o

grau de retenção:

• Conquistar novos clientes pode custar de cinco a

dez vezes mais do que a retenção dos atuais

clientes

• Em média, as empresas perdem de 10 a 20% de

seus clientes por ano

• Uma redução de 5% no índice de perda de

clientes pode aumentar os lucros em algo entre

25% a 85%, dependendo do setor de atividade.

Kotler (2003, p.202)

2.7 Satisfação

20

Personas

Questionários

Técnicas de UX

Kotler já afirmava a importância de se conhecer o

cliente, e para tal são necessárias pesquisas e

observações. Na usabilidade, existe esta mesma

necessidade, pesquisar e entender o

comportamento dos visitantes. As principais

pesquisas são card sorting, questionários, testes de

usabilidade, grupos de foco, personas.

Kotler (2003, p.170)

2.8 Técnicas de UX

21

Questionários

Questionar os clientes é uma técnica já utilizada por

profissionais de marketing há muito

Kotler (2002, p.172)

Deve-se Evitar:

Perguntar o que a pessoa (mais) gosta

“Se eu perguntasse ás pessoas o que elas queriam

na época da carroça, elas diriam que gostariam de

um cavalo mais rápido”.

O que você gostaria que esta ferramenta tivesse?”,

“O que você mais gosta nesta interface?” E “Como

você se sente utilizando este recurso?”

Avaliações com escala numérica

Pagani (2013, online)

2.9 Questionários

22

Questionários

Questionar os clientes é uma técnica já utilizada por

profissionais de marketing há muito

Kotler (2002, p.172)

Deve-se Evitar:

Perguntar o que a pessoa (mais) gosta

“Se eu perguntasse ás pessoas o que elas queriam

na época da carroça, elas diriam que gostariam de

um cavalo mais rápido”.

O que você gostaria que esta ferramenta tivesse?”,

“O que você mais gosta nesta interface?” E “Como

você se sente utilizando este recurso?”

Avaliações com escala numérica

Pagani (2013, online)

2.9 Questionários

23

Personas

“um meio de descobrirmos o nosso verdadeiro

público-alvo e como nós podemos satisfazer melhor

suas necessidades e gerar um maior interesse pelo

seu serviço ou produto”

O que é necessário saber para criar uma persona ?

Faixa etária

Onde moram

Caminho até encontra a necessidade de compra

Motivações e preocupações

Gonzalez (2014, online)

2.1.1 Personas

24

Focus Group

uma técnica um tanto informal que pode ajudá-lo a

avaliar as necessidades e sentimentos do usuário

antes design de interface


O objetivo principal dos grupos de foco é obter uma

visão aprofundada ouvindo um grupo de pessoas

do mercado-alvo apropriado falar sobre problemas

que interessam ao pesquisador. O valor da técnica

está nos resultados inesperados que

frequentemente se obtém de um grupo de

discussão livre.

Malhotra (2010, p.118)

oito á doze participantes e um moderador que é

responsável pelo direcionamento da conversa

Teixeira (2011, online)

2.1.2 Focus Group

25

Testes de Usabilidade

1 – O objetivo principal é melhorar a usabilidade de

um produto.

2 – Os participantes representam usuários reais do

site, interface ou produto.

3 – Os participantes fazem tarefas reais.

4 – É possível observar e registrar o que e como os

visitantes executam as tarefas.

5 – Após o teste, é possível analisar os dados,

diagnosticar os problemas reais e recomendar

mudanças para corrigir estes problemas.

S. Joseph, Dumas e Redish (1999, p.21)

2.1.2 Testes de Usabilidade

26

Card Sorting

uma técnica empregada para descobrir a

representação ou o modelo mental que os usuários

elaboram sobre o conjunto de itens de informação

Cybis (2012, p. 178)

Através desta técnica pode-se obter um mapa

mental preciso baseando-se no ponto de vista dos

usuários finais de uma determinada aplicação

Andriani (2012, online)

2.1.3 Card Sorting

27

Card Sorting

Aberto

os participantes recebem cartas contendo os itens

de conteúdo sem nenhum agrupamento

estabelecido. Com isso, devem classificar os

cartões em grupos, empilhando os mesmos da

forma como julgam ser apropriadas e por fim,

aplicar um rótulo apropriado que descreva este

agrupamento

Fechado

os participantes recebem cartas contendo os itens

de conteúdo da aplicação. A diferença do modelo

aberto, é que estes possuem um conjunto pré-

estabelecido de tópicos.

Spencer (2004, online)

2.1.3 Card Sorting

28

1Internet e


2Conceitos de UX

5Considerações


4Métricas

3Testes A/B e

Multivariados

3. Testes A/B e Multivariados

29

A B

B

Melhor desempenho

3.1 Testes A/B

30

BA

3.2 Exemplo de Teste A/B - Sépha

31

BA

Semana 1 Semana 2 Semana 3

Percentual de pessoas que clicaram no botão comprar

B

A

+12,5%

3.2 Exemplo de Teste A/B - Sépha

32

BA

3.3 Exemplo de Teste A/B - Sephora

33

BA

0

500

1.000

1.500

2.000

2.500

3.000

3.500

Semana 1 Semana 2

Vendas feitas nas duas versões

AB

-4,0%


34

BA

Foi descoberto porém, que o público da Sephora compra em média 1,8 produtos por pedido, sendo necessário voltar as páginas com vitrines para escolher mais produtos.


35

A B C

3.3 Exemplo de Teste A/B – Sephora Fase 2

36

A B C

Semana 1 Semana 2 Semana 3

Vendas das versões

A

BC

+5,6%

3.3 Exemplo de Teste A/B – Sephora Fase 2

37

A B

Melhor desempenho

C D

A

3.4 Testes Multivariados

38

3.5 Exemplo de Teste Multivariado - Fnac

39

+5,5%vendas

3.5 Exemplo de Teste Multivariado - Fnac

40

Margem de Erro e índice de Confiança Outliers

0

3060

90

100

3.6 Margem de Erro e Outliers

41

1Internet e


2Conceitos de UX

5Considerações


4Métricas

3Testes A/B e

Multivariados

4. Métricas

42

1. Endereço de IP

Visitante único (Quantidade de pessoas

que acessaram o site)

2. Navegador

Modelo e versão

4. Tempo de seção

Tempo de acesso ao site

3. Sessão

Visitas(Quantidade total de

acessos ao site)

5. Página

Páginas visitadas

4.1 Informações coletadas

43

% de visitas que compram

Pedidos/Visitas

Conversão

Valor dos pedidos

Receita

Valor Médio por pedido

Receita/Pedidos

Ticket Médio

% de visitas que entram no site e

saem sem interagir com nenhum

elemento da página

Taxa de Rejeição

Páginas em que mais os

visitantes deixam o site

Taxa de Saída

4.2 Métricas

44

HomePáginas de

ProdutoCheckout

• 80% não

prossegue para

a próxima etapa

• 70% não

prossegue para

a próxima etapa

Entrada Conversão

4.3 Fúnil de Conversão

45

1Internet e


2Conceitos de UX

5Considerações


4Métricas

3Testes A/B e

Multivariados

5. Considerações finais e Referências

46

A Importânciado Teste A/B

1. Conhecer métricas

Avaliar através de um fúnilqual etapa os visitants maisabandonam o site

2. Conhecer o usuário

Através das técnicas de UX conhecer os usuários e osproblemas que eles tem naetapa analisada

4. Resultados

Mensurar os resultados dos testes e descobrir característicasdo público em maioramostragem

3. Testar

Criar hipóteses com bases nos estudos da fase 2.

5.1 Considerações finais

47

5.2 ReferênciasABREU, Karen. Histórias e usos da internet. Publicado em 2009. Disponível em: <http://www.bocc.ubi.pt/pag/abreu-karen-historia-e-usos-da-internet.pdf>. Acesso em: 10 abr. 2015.

ADRIANI, Max. Card sorting: Uma janela para a mente. Publicado em 2012. Disponível em: <http://www.maxandriani.art.br/2012/11/20/card-sorting-uma-janela-para-a-mente/>. Acesso em: 05 jun. 2015.

ALMEIDA, Fernandes Augusto Virgílio (Coord.) Pesquisa sobre o uso das tecnologias da informação e da comunicação no Brasil: TIC domicílios e Ticempresas 2006. São Paulo: Comitê Gestor da Internet no Brasil, 2013.

ANDERSON, Chris. A Cauda Longa. Rio de Janeiro: Elsevier, 2006.

BOGO, Kellen Cristina. A História da Internet: como tudo começou. Disponível em: <http://www.jelapisdecor.com.br/downloads/seginternet/A_Historia_da_Internet.pdf>. Acesso em 15 abr. 2015.

CARNEIRO, Ruy. Glossário de Métricas – Web Analytics. 1. ed. São Paulo: IAB (Interactive Advertising Buereau), 2011.

CARVALHO, Henrique. Dicas sobre webdesign e usabilidade que irão alavancar suas conversões. Publicado em 2013. Disponível em: <http://viverdeblog.com/usabilidade-conversao/>. Acesso em: 18 jun. 2015.

CARVALHO, Henrique. Tudo o que você precisa saber sobre Teste A/B. Viver de Blog, 2014.

CHARLESWORTH, Allan. Key Concepts in E-Commerce. 1. ed. New York: Palgrave Macmillan, 2007.

CONVERSION. O Mapa do E-Commerce no Brasil. Publicado em 2014. Disponível em: <http://www.conversion.com.br/otimizacao-de-sites-seo/mapa-conversion-e-commerce/>. Acesso em: 11 mai. 2015.

48

5.2 ReferênciasCYBIS, Walter; BETIOL, Adriana Holtz; FAUST, Richard. Ergonomia e usabilidade: conhecimentos, métodos e aplicações. 2ª Ed. São Paulo: Novatec Editora, 2012.DUMAS, Joseph; REDISH, Janice. A Practical Guide to Usability Testing. 1. Ed. England: Intellect, 1994.

GOMES, Maria; BARBOSA, Eduardo. A Técnica de Grupos Focais para Obtenção de Dados Qualitativos. Minas Gerais: Educativa (Instituto de pesquisas e inovações educacionais), 1999.

GONZALEZ, Guilherme. Personas na prática. O verdadeiro tolo, é aquele que tenta agradar a todos. Publicado em 2014. Disponível em <https://medium.com/ux-ui-design-1/personas-na-pratica-e7be007d5cfd >. Acesso em: 21 jun. 2015.

KAUSHIK, Avinash. Web Analytics 2.0. Estados Unidos da América: Sybex, 2010.

KERZNER, Harold. Project Management Metrics, KPIs, and Dashboards: A Guide to Measuring and Monitoring Project Performance. 2. ed. S.l,: Wiley, 2011.

KLEINA, Nilton. A história da Internet: pré-década de 60 até anos 80. Publicado em 2011 Disponível em: <http://www.tecmundo.com.br/infografico/9847-a-historia-da-internet-pre-decada-de-60-ate-anos-80-infografico-.htm>. Acesso em: 16 abr. 2015.

KOTLER, Philip. Administração de marketing: análise, planejamento, implementação e controle. São Paulo: Atlas, 1998.

KOTLER, Philip. Marketing de A a Z: 80 conceitos que todo profissional precisa saber. Rio de Janeiro: Elsevier, 2003.

KRUG, Steve. Não me faça pensar. 2. Ed. Rio de Janeiro: Alta Books, 2006.

49

5.2 ReferênciasMAGALHÃES, Arthur. Teste A/B e Multivariado, diferenças, vantagens e limitações. Publicado em 2014. Disponível em: <http://www.dp6.com.br/teste-ab-e-multivariado-diferencas-vantagens-e-limitacoes/>. Acesso em: 18 ago. 2015.

MALHOTRA, N. Pesquisa de marketing: uma orientação aplicada. 6.ed. Porto Alegre: Bookman, 2012.

NACSA, Demetrius. O Comércio eletrônico no Brasil. 1. Ed. Mauá: FATEC (Faculdade de Tecnologia), 2012.

NIELSEN, Jakob. Card Sorting: How Many Users to Test. Publicado em 2004. Disponível em: <http://www.nngroup.com/articles/card-sorting-how-many-users-to-test/>. Acesso em: 06 jun. 2015.

NIELSEN, Jakob. Measuring the Usability of Reading on the Web. Publicado em 1997. Disponível em <http://www.nngroup.com/articles/measuring-the-usability-of-reading-on-the-web/>. Acesso em: 05 jun. 2015.

NIELSEN, Jakob. The Use and Misuse of Focus Groups. Publicado em 1997. Disponível em: <http://www.nngroup.com/articles/focus-groups/>. Acesso em: 20 jun. 2015

NIELSEN, Jakob. Usability 101: Introduction to Usability. Publicado em 2012. Disponível em <http://www.nngroup.com/articles/usability-101-introduction-to-usability/>. Acesso em: 29 mai. 2015.

PAGANI, Talita. Perguntas a serem evitadas em pesquisa com usuários. Publicado em 2013. Disponível em: <http://www.uxdesign.blog.br/pesquisa-com-usuarios/perguntas-a-serem-evitadas-em-pesquisa-com-usuarios/>. Acesso em: 12 jun. 2015.

RAMSEY, Deborah. Estatísticas 2 para leigos.1. ed. Rio de Janeiro: Alta Books, 2014.

SIQUEIRA, André. O que são A/B tests e como escolhê-los. Publicado em 2012. Disponível em: <http://resultadosdigitais.com.br/blog/o-que-sao-ab-tests-e-como-escolhe-los-bonus-veja-como-subimos-em-167-a-conversao-de-uma-pagina/>. Acesso em: 29 ago. 2015. 50

5.2 ReferênciasSPENCER, Donna; WARFEL, Todd. Card sorting: a definitive guide. Publicado em 2004. Disponível em: <http://boxesandarrows.com/card-sorting-a-definitive-guide>. Acesso em 05 jun. 2015.

TORRES, Claúdio. A bíblia do marketing digital. 1. Ed. São Paulo: Novatec, 2009.

ZANINI, Victor. Percebendo usuários: erros, de quem é a culpa?. Publicado em 2014. Disponível em: <http://www.uxdesign.blog.br/pesquisa-com-usuarios/percebendo-usuarios-erros-de-quem-e-a-culpa/>. Acesso em: 04 jun. 2015.0

51

Dúvidas ?

52