26
Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa [email protected]

Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa [email protected]

Embed Size (px)

Citation preview

Page 1: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

Agent Reputation Trust (ART) Testbed

Andrew Diniz da Costa

[email protected]

Page 2: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Introdução

• Confiança:

– Confiança inicia quando o conhecimento termina.

– Envolvimento de incertezas.

• Reputação

– A opinião que os outros tem de nós.

• Em sistemas multiagentes abertos temos sociedades de agentes heterogêneos.

• Importância da existência de mecanismos para identificar agentes que não se comportam adequadamente.

Page 3: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Introdução

• Por quê modelar confiança e reputação ?

• agentes devem escolher com quem interagir

• objetivo de capacitar os agentes a fazer a escolha correta.

• Diversos algoritmos na área de confiança e reputação

• como compará-los ?

• quais as características principais

• ART Testbed

• competição entre agentes

• experimentos independentes

Introdução

Page 4: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Visão Geral da Competição ART-Testbed

• Clientes solicitam avaliações para pinturas de Eras diferentes

• Agentes avaliadores podem pedir opinião de outros

• Agentes avaliadores podem comprar reputação de outros avaliadores

• Objetivo de produzir avaliação mais precisa possível

Domínio: Art Appraisal

• Agentes são avaliadores de pintura com níveis variados de perícias

em Eras artísticas diferentes

Page 5: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Agente Avaliador

Agente Competidor 1

era1 era2 era9... era10

Agente Competidor 2

era1 era2 era9... era10

Zé Carioca LES

era1 era2 era9... era101,0 0,1 0,5 0,7

pintura era1*

Page 6: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Transações dos Agentes

Page 7: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Conceitos importantes

• Tempo de análise– Analisar uma pintura de um cliente

– Pintura de uma opinião requisitada

• Geração da opinião– Informação baseada no tempo de análise

– Informar valor

• Pesos– Peso das próprias avaliações

– Peso das opiniões dos concorrentes

• Vencedor– Aquele que tiver mais dinheiro no final do jogo.

p*=∑i(wi . pi) ∑ i(wi)

wi = peso

pi = Avaliação da opinião

Page 8: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Regras

• Número de sessões entre 100 e 200.

• Graus de conhecimentos das eras podem sofrer mudanças durante o jogo.

• Dependendo do jogo pode haver limite de requisições de opiniões e reputações.

• Dependendo do jogo o agente poderá ou não usar seus conhecimentos em cada era. Avaliações geradas a partir das opiniões solicitadas.

Page 9: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Agente Zé Carioca LES

• Agente avaliador com inteligência.

• Realizar boas avaliações das pinturas solicitadas por clientes.

• Boas estratégias.

• Finalista em 2007

Page 10: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Simulador

Page 11: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Simulador

Page 12: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Competição

• 17 agentes (1 não foi aprovado) de 13 diferentes instituições

• Duas fases– Preliminar– Final

• Fase preliminar (Maio 10-11)– 8 agentes de diferentes instituições– 15 agentes da própria competição (5 “ruins”, 5 “neutros”, 5 “honestos”)– 100 sessões

• Fase final (Maio 16-17)– Apenas os 5 melhores agentes da fase preliminar– 15 agentes da própria competição (5 “ruins”, 5 “neutros”, 5 “honestos”)– 200 sessões

Page 13: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Fase Preliminar

Page 14: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

© LES/PUC-Rio

Fase Final

5) Pontifícia Universidade Católica do Rio de Janeiro

4) Agents Research Lab, University of Girona

3) Department of Computer Engineering, Bogazici University

2) Department of Math & Computer Science, The University of Tulsa

1) Electronics & Computer Science, University of Southampton

Page 15: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

15Andrew Diniz da Costa © LES/PUC-Rio

Presentation Outline

• Fire model

• Governance Framework

Page 16: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

16Andrew Diniz da Costa © LES/PUC-Rio

Fire Model

• Three types of reputation

– Interaction trust

– Witness reputation

– Certified reputation

* Huynh, T. D., Jennings, N. R. and Shadbolt, N. (2004) FIRE: an integrated trust and reputation model for open multi-agent systems. In: 16th European Conference on Artificial Intelligence, 2004, Valencia, Spain.

Page 17: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

17Andrew Diniz da Costa © LES/PUC-Rio

Fire Model

• Interaction trust

– resulting from past experiences from direct interactions

– Between [-1, +1]

– -1 means absolutely negative

– +1 means absolutely positive

– 0 means neutral or uncertain

Agent A Agent B

Interaction Trust of the Agent B(price, quality, etc)

Request

Provide

Page 18: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

18Andrew Diniz da Costa © LES/PUC-Rio

Fire Model

• Witness reputation

– reports of witness about an agent’s behaviour

Agent A

Agent C

Agent D

Agent E

Agent B

Request witness

Request witness

Request witness

Agent C knows Agent B

Agent D knows Agent B

Agent E knows Agent B

Page 19: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

19Andrew Diniz da Costa © LES/PUC-Rio

Fire Model

• Certified reputation

– references provided by other agents about its behaviour

Agent A

Agent D

Agent B

Agent C

What is your reputation

Evaluation of A made by the agent D

Evaluation of A made by the agent B

Evaluation of D made by the agent A

Evaluation of B made by the agent A0,5

-0,5

0,5

Page 20: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

20Andrew Diniz da Costa © LES/PUC-Rio

Governance Framework

- GUEDES, José ; SILVA, V. T. ; LUCENA, Carlos José Pereira de . A Reputation Model Based on Testimonies. In: Kolp, M, Garcia, A, Ghoze, C, Bresciani, P, Henderson-Sellers, B, Mouratidis, M.. (Org.). Agent-Oriented Information Systems.:

Springer-Verlag, 2008, v. LNAI, p. 37-52.

- DURAN, Feranda ; SILVA, V. T. ; LUCENA, Carlos José Pereira de . Using Testimonies to Enforce the behavior of Agents. In: Sichman, J., Noriega, P., Padget, J. and Ossowski, S.. (Org.). Coordination, Organizations, Institutions and Norms in Agent Systems III. : Springer-Verlag, 2008, v. LNAI, p. 218-231.

Page 21: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

21Andrew Diniz da Costa © LES/PUC-Rio

Governance Framework – Reputation System

• Three different kinds of reputations were defined:

– role reputation, norm reputation and global reputation.

• Role reputations only consider norms that were violated while playing a specified role or lies that were told while playing the role.

• Norm reputations focus on the violation of a norm and on the lies told while considering a norm.

• The global reputation of an agent considers all violated norms and all told lies.

Page 22: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

Considerações Finais (I/IV)

• Necessidade de trabalho colaborativo entre agentes

– Sistema multiagente aberto.

• Vocês já viram a ideia de reputação sendo aplicada em algum sistema ou em algum cenário do seu cotidiano que poderia ser facilmente passado para um ambiente computacional?

• Quais domínios podemos aplicar reputação?

– Compras e vendas (similar ideia do Ebay)

– Jogos

– Agentes que ofereçam mesmos serviços

– ...

© LES/PUC-Rio

Page 23: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

Considerações Finais (II/IV)

• Como aplicar reputação em aplicações que usam o Jade, Jadex, ASF, Jack, etc.

– Existem abordagens para esses frameworks?

– Governance Framework criado para o ASF (http://www.les.inf.puc-rio.br/frameworkasf/)

• Criar outros frameworks de reputação.

• Oferecer soluções para linhas de produtos de software

• Ex: Criar soluções para aplicações de e-commerce que usem reputação.

• Será que valeria modelar a ideia de que um agente só poderá negociar com agentes com reputação superior a “XPTO”?

– Por que não estender abordagens de modelagens, tipo MAS-ML, AUML?

© LES/PUC-Rio

Page 24: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

Considerações Finais (III/IV)

• Auto-organização de agentes

– Reputações podem ser usadas como base para que um sistema se auto-organize.

– Existem padrões de reputações propostos para sistemas auto-organizáveis. Será que são suficientes?

• Testes de software

– Reputações podem ser usados como critérios de verificação para algum agente.

– Teste unitário envolvendo reputação

• “rep1” must be >= “respBase”

© LES/PUC-Rio

Page 25: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

Considerações Finais (IV/IV)

• Nova Ferramenta

– Permitir a identificação de quais agentes em execução estão com reputações boas ou ruins?

• Reputações boas ou ruins em relação a algum papel desempenhado, etc.

– Estender ferramentas oferecidas pelo JADE.

• Frameworks

– Frameworks de reputação para abordagens conhecidas para SMA (ex: JADE, JADEX, etc).

– Frameworks de agente para outras linguagens, como em C++.

• Estudo de caso: aplicações para blackberry.

• Mobile

– Oferecer abordagens de reputação voltadas para mobile (uso de JadeLeap, Blackberry, etc).

© LES/PUC-Rio

Page 26: Agent Reputation Trust (ART) Testbed Andrew Diniz da Costa andrew@les.inf.puc-rio.br

Fim!

Questões?