Testes de Software em Sistemas Multi-Agentes Andrew Diniz da Costa [email protected]

Testes de Software em Sistemas Multi-Agentes

Andrew Diniz da Costa

[email protected]

Por quê testar?

• Manter alta qualidade

• Prevenir e encontrar defeitos

• Ganhar confiança sobre o nível de qualidade e prover informações.

Tipos de teste

• Teste de unidade/componente

• Teste funcional

• Testes não funcionais

– É o teste de “como” o sistema trabalha.

– Teste de performance

– Teste de carga

– Teste de portabilidade

– Teste de usabilidade

– ...

Função do Analista de Teste/Testador

• Identificar quais testes devem ser feitos

• Saber lidar com o esforço dos testes

• Criar o design

• Criar o script automatizado, quando necessário.

• Quais são os teste de regressão, novos e impactados?

• Cadastrar/Atualizar Bugs

• Aplicar “psicologia para testes”

Criação de designs

Modelagem em Testes

• Há diversas abordagens que propõem formas de modelar testes

– UML Testing Profile (padrão da OMG)*

– AGEDIS modeling language (AML)

– Unified Test Modeling Language

• UML Testing Profile

– Define um profile para ser aplicado em UML

– Atributos + estereótipos

1) OMG - Object Management Group, UML Testing Profile, version 1, http://www.omg.org/cgi-bin/doc?formal/05-07-07 2) AGEDIS - Automated Generation and Execution of Test Suites for DIstributed Component based Software, http://www.agedis.de 3) UTML - The Unified Test Modeling Language for Pattern-Oriented Test Design, http://www.fokus.fraunhofer.de/en/motion/ueber_motion/technologien/utml/index.html21.

UML Testing Profile

© LES/PUC-Rio

Sistemas Multi-Agentes

• Sistemas com agentes devem ser testados

• Tipos de teste?

– Testes triviais

– Testes complexos

• Thread

JAT: A Test Automation Framework for Multi-Agent Systems

Roberta Coelho, Elder Cirilo, Uirá Kulesza

Arndt von Staa, Awais Rashid , Carlos Lucena

R1 R3

R2 R4

Problem Domain

R6 R8

R5 R7

functions

files

modules

Procedural

How?

Object Oriented

Object Attribute Method

Class

What?

Agent Oriented

Agent Roles Messages

Organization Protocols

Which agents?

Agents – A new Level of Abstraction

Fault Model

• Message ordering

• Message content

• Increases on message delay

• Faults in agents beliefs

• Faults in internal procedures

Agent-related new abstractions new sources of bugs

Garcia, A., Lucena, C., Cowan D. Agents in Object-Oriented Software Engineering. Software Practice & Experience, Elsevier, 34 (5), pp. 489-521, 2004.

Agent Definition

• Agent:

– is an autonomous entity

– that executes a plan

– to achieve a goal

– based on its beliefs (attributes)

– communicates asynchronously (message based)

• Autonomy –> certo grau de não-determinismo

– Different set of actions may achieve the same goal

System

The Approach

• We defined an approach for building and running MAS tests.

• It relies on Aspect Oriented Programming to:

– Control the test input

– Observe the output units under test

• It was implemented on top of JADE:

– Middleware for agent-based applications developed in Java.

JADE Agent Testing (JAT) Framework

• JAT enables:

– the creation of JUnit-style tests for JADE systems.

• JAT is used:

– as a generic testing framework for JADE developers

– same as JUnit is for Java developers

Ideas

• Using Agents to test Agents:– Mock Agent

– a fake implementation of a real agent

• sends messages to an agent under test (AUT) and

• checks its response:

• content, delay, type, ordering.

message response

send messagemethod call

method output

Tester

Test Class

Agent A

(A) (B)

Ideas

• Monitoring Agents

– Agents are autonomous

– The developer need to know agents state

• ex: to answer: output == expected output?

– Monitor Aspect observes and stores information about agents state transitions (ex: running, dead).

– Agent state machine is a crosscutting abstraction

running

created waiting

dead

public aspect AgentStateMachine { pointcut created():call(public ContainerController.createNewAgent(..));

pointcut from_created_to_running(Agent o): execution(protected void Agent.setup())

&& target(o);

pointcut from_running_to_dead (Agent o): execution(public void Agent.doDelete()) && target(o); ...}

JAT Framework: The Architecture

Aspects

class JATDIAGRAM

EA 6.5 Unregistered Trial Version EA 6.5 Unregistered Trial Version EA 6.5 Unregistered Trial Version EA 6.5 Unregistered Trial Version EA 6.5 Unregistered Trial Version



































TestRunner

TestResult

TestCase TestSuite

TestAgent

AgentController ContainerController

TestReporter

+ getTestResult() : String+ setTestResult() : void

«aspect»Monitor

+ storeAgentState() : void+ waitUnitlAgentsDie() : void+ waitUnitlTestHasFinished() : void

Synchronizer

+ checkTurn() : boolean

MockAgentGenerator

+ generateMockAgent(File) : void

JadeTestCase

+ assertInteractionOK() : void+ startAUT() : void+ startMockAgent() : void

JadeMockAgent

+ receiveMessage() : void+ sendMessage() : void

AgentStateMachine

+ pointcut from_dead_to_started() : void+ pointcut from_runnig_to_dead() : void+ pointcut from_started_to_runnig() : void

class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


TestReporter


Monitor


«aspect»Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


«xpi»AgentStateMachine


class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


«interface»TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


JADE Middleware

<<crosscuts>>

Monitoring Concern MLegend:

Synchronization Concern Agent State Machine Concern

class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


JAT Framework

class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


JUnit Frameworkclass JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

«interface»Test

Agent


TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


class JATDIAGRAM




































TestRunner

TestResult

TestCase TestSuite

TestAgent


TestReporter


Monitor


Synchronizer


MockAgentGenerator


JadeTestCase


JadeMockAgent


AgentStateMachine


A S

S

A

M

<<uses>>

<<crosscuts>><<crosscuts>>

<<crosscuts>>

JAT Framework: Dynamics

AgentStateMachineXPI


AgentStateMachineXPI

1

JADETestCase: Code Example

public class BookTradingTesteCase extends JADETestCase {

public void testBookTradingScena1(){ //Load Data Repositories … startAUT("seller","BookSeller"); startMockAgent("buyer1","BookBuyerMockAgent",FIRST); startMockAgent("buyer2","BookBuyerMockAgent",SECOND);

//Blocks until interaction finishes Monitor.aspectOf(). waitUntilTestHasFinished("buyer1"); Monitor.aspectOf(). waitUntilTestHasFinished("buyer2");

//Check Expected Result: assertInteractionOK("buyer1"); assertInteractionOK("buyer2");

//Check Expected Result: Object belief= getBelief(“seller”,“catalogue”);

assertEquals(expectedBelief,belief); }...}


:Monitor

10.check(msg)

AUT: JADEAtent

6. add(state)5. state = crosscuts( )

Legend:

join point intercepted by Monitor aspect

join point interceptedby Synchronizer aspect

objectaspect

1. testMethod()

:JADETestCase

3. start(params)

:JADEMockAgent

4. start(params)

8. send(msg)

9. send(msg)

11. setResult( )

7. waitUntilTestFinishes ( )

14. notifyTestFinished ()

16. assertions( )

:Synchronizer

2. loadInteractionOrder( )

13. add(state)12. state = crosscuts( )

MonitoringDataRepository

A Framework to Implement Self-Adaptive Agents that Apply Self-Test

Andrew Diniz da CostaViviane Torres da Silva

Carlos José Pereira de Lucena

Motivação

• Sistemas Auto-adaptativos

• Testar adaptações quando realizada por agentes

• Agentes podem ter funções que necessitem de adaptações

Monitor

Analyze

Decision

Execution

IBM, An architectural blueprint for autonomic computing. Technical Report., IBM, 2003.

Main Idea

• New control loop of self-test.

• Description files (XML)

– Test Language (TL)

• Casos de teste que poderão ser executados

– Data Language (DL)

• Dados a serem usados nos testes

– Control Flow Language (CFL)

• Fluxo de execução dos casos de teste

• Case Study: Petroleum system.

New Control Loop

Johansson, C., Bucanac, C., The V-Model, April 1999. Graham, D.; Veenendaal, E.; Evans, I.; Black, R.; book: Foudantions of Software Testing - ISTQB Certification

Estudo de Caso: Sistema de Petróleo

• Domínio: Controle de estoque e suprimento de petróleo e produtos derivados do petróleo.

• Encontrar rotas que atendam um ponto do Brasil.

• Rota

– Destino

– Origem

– Produto

– Quantidade desejada

– Custo

Estudo de Caso: Sistema de Petróleo

TA 12 mil t

TA 23 mil t

REF 110 mil t

TT 1(Gasolina)

Dados de Entrada:Destino: TT1Produto: GasolinaOrigem desejada: TAQuantidade: 10 mil t

Modelo Conceitual

User Interface

TerminalAgent Delivery Local

AgentRefinary Agent

Manager Agent

Escritório de Qualidade - LES

Nossos Objetivos

• Garantir alta qualidade para os sistemas testados.

• Preparação de Novos Profissionais– Trabalho em equipe– Desenvolvimento em Java 6

• Acompanhamento

– Desenvolvimento para Banco• Tarefas DBUnit

– Criação de queries SQL, procedures.

• Acompanhamento para tirar dúvidas

• Estudos de caso para projetos finais, dissertações e teses.

• Motivar criação de novas ferramentas– JAAF+T: A Framework to Implement Self-Adaptive Agents that Apply Self-Test– ASF: Agent Society Framework – www.les.inf.puc-rio.br/frameworkasf– JAT: A Test Automation Framework for Multi-Agent Systems - http://www.inf.puc-

rio.br/~ecirilo/jat– GearDB: Ferramenta para Geração de Dados– Ferramenta para auxiliar o desenvolvimento em DBUnit

Divulgação do Nosso Trabalho

• Divulgação do nosso trabalho de qualidade– Quem somos– Experiência, atividades realizadas– Cursos oferecidos– Ferramentas desenvolvidas pelo LES– Artigos, documentos

• Prover:– recomendações de ferramentas;– Fórum de discussões sobre qualidade

• Por quê não nos transformarmos em um ponto de referência na área de qualidade no Brasil?– Temos experiência e pessoas qualificadas. – Não temos a divulgação.

Site de Escritório de Qualidade

www.les.inf.puc-rio.br/escritorioqualidade

http://seleniumhq.org/ - site do Selenium

http://seleniumhq.org/docs/book/Selenium_Documentation.pdf - documentação do

Selenium

http://wiki.openqa.org/display/SEL/Contributed+User-Extensions – extensões do Selenium

https://addons.mozilla.org/en-US/firefox/addon/1192 - XPather - plugin do Firefox para

geração, edição, inspeção e extração de expressões em XPath.

http://www.zvon.org/xxl/XPathTutorial/General/examples.html - Tutorial de XPath

http://www.whitebeam.org/library/guide/TechNotes/xpathtestbed.rhtm - Teste de

expressões XPath em um arquivo específico

http://www.junit.org/ - JUnit web site

http://dbunit.sourceforge.net/ - DBUnit web site

Referências

Fim!!

Documents

Testes de Software em Sistemas Multi-Agentes Andrew Diniz da Costa [email protected]