Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de produtos na Web

Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de

produtos na Web

17.11.2005

Leandro Neumann Ciuffo

Agenda

Introdução

Estratégias de recomendação

Recomendações Personalizadas

Técnicas de Filtragem da Informação

Filtragem Colaborativa

Avaliações Não-Confiáveis

HYRIWYG

Estudo de Caso

Conclusões

Introdução

Bom dia, dona Maricota. O de sempre?Temos uma

broa de milho que a senhora irá gostar.

Em algum lugar no passado...

IntroduçãoHoje: necessidade de

filtragemExiste uma enorme quantidade de opções para que as pessoas decidam o que consumir

Falta de experiência para realizar escolhas acertadas

Estratégias de RecomendaçãoRecomendações Gerais

Alternativa para driblar a sobrecarga de opções

Recomendações não dirigidas

Recomendações Gerais na Web

Listas de Recomendação

Estratégias de Recomendação



Comentários de Texto




Comentários de Texto

Revisões/Avaliações



De fácil implementação

Não consideram as preferências dos usuários


Ineficaz em domínios onde existe heterogeneidade de opiniões

Direcionamento de ProdutosEstratégias de Recomendação

Associação entre itens

Estratégias de RecomendaçãoDirecionamento de Produtos

Associação entre itens

Cross-sell

Estratégias de RecomendaçãoDirecionamento de Produtos


Consideram as características individuais dos consumidores


Necessidade de identificação das preferências pessoais e hábitos de consumo

Identificação dos Usuários

Login


Cookies

Coleta Implícita de Informações

Monitoramento de ações que indicam interesse

Adicionar página aos “Favoritos”

Visualizar a página por longo tempo

Scrolling da barra de rolagem

Colocar um produto na cesta de compras

Análise das estatísticas de acesso


O usuário pode comprar

um presente para outra pessoa

Recomendações PersonalizadasDesvantagem da Coleta Implícita

Coleta Explícita de Informações


Melhor customização das preferências

Desvantagem da Coleta Explícita

Exige paciência e

atenção dos usuários


Filtragem da Informação

Momento 1:

usuário como produtor

de informações


Informações coletadas deforma implícita ou explícita

Recomendações PersonalizadasFiltragem da Informação

Informações adicionadas ao perfil do usuário


Momento 2:

usuário como consumidor

de informações


O usuário deseja receber uma

recomendação


As informações armazenadas no perfil são lidas pelo SR


O SR “filtra” os itens de acordo com o perfil e gera as recomendações


As recomendações são entregues ao usuário


Filtragem Baseada em Conteúdo (FBC)

Técnicas de Filtragem da Informação

O conteúdo dos itens precisa ser descrito

Compara a descrição dos itens com o perfil do usuárioPrincípio da continuidade de preferências

Se o usuário gostou de um item, deve gostar de um item similar no futuro

Desvantagens da FBCTécnicas de Filtragem da Informação

Superespecialização

Impossibilidade de análise de conteúdo em domínios não textuais

Não-consideração de aspectos como a qualidade

ou estilo do item

Filtragem Colaborativa (FC)Técnicas de Filtragem da Informação

Sistema de Sistema de RecomendaçãoRecomendação

CaracterísticasFiltragem Colaborativa

Baseada nas avaliações feitas pelos usuários

Mede a similaridade entre os usuários

Pessoas que concordaram no passado tendem a concordar novamente no futuro

Entrada de Dados

Usuários com avaliações semelhantes são agrupados


Vantagens

Aplicação em qualquer domínio

Independe da classificação de itens feita por revisoresPode gerar recomendações inesperadas


Alteração constante das vizinhanças

Problemas

Matriz Esparsa

Ovelha Negra

Primeira avaliação

Partida a Frio

Falso Bom vizinho

Falta de motivação

Problema do “Carona”


Ataques a SRs


Avaliações intencionalmente desonestas usuários com interesses especiais

Avaliações aleatórias ou constantesUsuários que não entendem o processo de geração das recomendações

Extensos formulários de

avaliação agravam este problema


Desafios

Motivar os usuários

Garantir a honestidade das avaliações


Iniciativas para motivar os usuários

e inibir avaliações não-confiáveis


Reconhecimento da comunidade

Reputação

Web-of-Trust

Iniciativas para motivar os usuários

e inibir avaliações não-confiáveis


Reconhecimento da comunidade

Reputação

Web-of-TrustDificulta a ação de usuários desonestos

Não incentiva o cadastro de novos usuários

CaracterísticasHYRIWYG: How You Rate Influences What You Get

Não utiliza sistemas complementares

Todos os usuários possuem uma mesma reputação

De fácil implementação

Promove o aumento da quantidade de avaliações honestas

ModeloHYRIWYG: How You Rate Influences What You Get


Avalia um item com uma nota de valor Vi

Vi


A avaliação é submetida ao SR...

Vi


... Que a utiliza para configurar o perfil do usuário.

Vi

Ajuste


O perfil i é carregado...

Vi

Perfil i

Ajuste


... E utilizado para inferir o valor da suposta nota V’i

Vi

Perfil iV’i

Ajuste


O mecanismo utiliza uma função de compensação para conceder incentivos de forma proporcional à contribuição do usuário

Ince

nti

vo

Vi

Perfil iV’i

Ajuste


Função de Compensação

)v)(SR( θv'*α(1*Cτ iii

Incentivo concedidoAvaliação inferida

pelo sistema

Avaliação realdo usuário

Constante para calibragem do

sistema de avaliação

Incentivo indexado pela qualidade da avaliação

HYRIWYG: How You Rate Influences What You Get

Evitar a ocorrência de avaliações não-confiáveis de usuários que querem aumentar o valor dos incentivos

Utilização do próprio SR para determinar em quais itens o incentivo poderá ser aplicado

Incentivo indexado pela qualidade da avaliação

HYRIWYG: How You Rate Influences What You Get

Ciclo VirtuosoHYRIWYG: How You Rate Influences What You Get

O usuário deseja receber uma

recomendação

Vi

Perfil iV’i

Ince

nti

vo

Ajuste


Solicita recomendação

Vi

Perfil iV’i

Ince

nti

vo

Ajuste


Vi

Perfil iV’i

Ince

nti

vo

As informações armazenadas no perfil são lidas pelo SR

Ajuste


Vi

Perfil iV’i

Ince

nti

vo

O usuário recebe recomendações de itens de acordo com seu perfil

Ajuste

Em teoria:HYRIWYG: How You Rate Influences What You Get

Sem incentivo

Quantidade de avaliações

Veracidadedas avaliações

Com incentivo Com HYRIW YG

Estudo de CasoHipóteses

Hipótese 1:

O HYRIWYG faz com que a quantidade de avaliações fornecidas ao SR seja maior do que quando nenhum incentivo é concedido aos usuários

Hipótese 2:

O HYRIWYG faz com que as pessoas avaliem mais honestamente do que quando o incentivo concedido é aberto

Estudo de CasoObjeto de Estudo

Avaliações

Escala discreta de 0 a 6Questionário com 300 filmes

Estudo de CasoObjeto de Estudo

Estudo de CasoProcedimentos

FASE 1 - Altruística

FASE 2 - Incentivo aberto

FASE 3 - HYRIWYG

{SR(filmes,i) Acervo(filmes)}

Estudo de CasoVariáveis de Medição

= 0

C = 1/40 de uma locação gratuita de DVD

Função de compensação: ii n

401

τ

Regra de Resgate: Alugar gratuitamente Ti DVDs

Estudo de CasoInstrumento

SR de Filmes

Filtragem ColaborativaCoeficiente de Pearson

Estudo de CasoInstrumento

Cadastro

Gêneros prediletos

Estudo de CasoPopulação

565 usuários cadastrados

Estudo de CasoPeríodos de Coleta de Dados

Fase 1 Fase 2 Fase 3

Estudo de CasoAnálise dos Dados – Hipótese 1

(quantidade)

“Não vi”Nota

Usuários de Juiz de Fora


(quantidade)

“Não vi”Nota



(quantidade)

“Não vi”Nota

Usuários de outras cidades


(quantidade)

Usuários de outras cidades



Média de cadastro/semana 2,66 16,33 7

% de usuários que optaram por avaliar filmes de todos os gêneros

25% 54,16% 42,85%


Média de cadastro/semana 3,33 3 3,66

% de usuários que optaram por avaliar filmes de todos os gêneros

10% 22,22% 18%


(qualidade)


Tempo médio de sessão

Máximo 9 min.

30 primeiras avaliações

Seg

un

dos

t0 = Página carregada

tf = usuário submete avaliações


(qualidade)

Avaliação darecomendação


(qualidade)

Fase 2Períodos sem

incentivo

Avaliação negativa < 4Avaliação positiva ≥ 4

Todos os usuários (198 avaliações)

Usuários de J.Fora (39 avaliações)

Base de dados diferentes


(qualidade)

Fase 2

Avaliação negativa < 4Avaliação positiva ≥ 4

Usuários de J.Fora (39 avaliações)

Amostra pouco representativa

O incentivo não foi bom o suficiente para os usuários serem desonestos


(qualidade)Fase 3

17 usuários contemplados


(qualidade)Fase 3

Apenas 7 resgataram as locações


(qualidade)Fase 3

“Gostei das recomendações, mas não as resgatei porque não tive tempo.”


(qualidade)Fase 3

“Gostei das recomendações, mas não as resgatei porque as locadoras ficam longe da minha casa.”


(qualidade)Fase 3

“Não resgatei as locações porque

não gostei dos filmes recomendados.”


(qualidade)Fase 3

5 usuários ganharam 16 locações



(qualidade)Fase 3



Estudo de CasoLimitações

População / distribuição restrita de incentivos

Localização das videolocadoras

Qualidade do incentivo

ConclusõesContribuições

Investigação da viabilidade real do HYRIWYG

O experimento é sensível aos valores dos parâmetrosUtilidade da recomendação – valor dos SRs

Aumento da reputação do sistema

ConclusõesHYRIWYG - Benefícios

Matriz menos esparsa

Redução do problema da Falta de Motivação

Redução do problema do “carona”

Predominância de avaliações honestas

ConclusõesTrabalhos Futuros

Testar configurações diferentes das variáveis de mediçãoCadastrar mais filmes e melhorar questões de projetoParceria com uma locadora “virtual” de DVDs

Parceria com a BLOCKBUSTER



Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de

produtos na Web

17.11.2005

Leandro Neumann Ciuffo

Technology

Um Estudo de Caso para verificar a suscetibilidade a incentivos de avaliadores de produtos na Web