27
30 May 2007 1 Co-Evolução da Morfologia e ntrole de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Roberto Heinen Fernando S. Osório Apresentado por: Apresentado por: Prof. Dr. Fernando S. Prof. Dr. Fernando S. OSÓRIO OSÓRIO - - PPG Computação Aplicada / Unisinos PPG Computação Aplicada / Unisinos UNISINOS - RS - Brasil UNISINOS - RS - Brasil Universidade do Vale do Rio dos Sinos Universidade do Vale do Rio dos Sinos RBV - Rede Brasileira de Visualização / FINEP RBV - Rede Brasileira de Visualização / FINEP CAPES CAPES

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

Embed Size (px)

Citation preview

Page 1: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

1

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

Co-Evolução da Morfologia e

Controle de Robôs Móveis Simulados

Utilizando Realidade Virtual

Milton Roberto Heinen

Fernando S. Osório

Apresentado por:Apresentado por:

Prof. Dr. Fernando S. Prof. Dr. Fernando S. OSÓRIOOSÓRIO - - PPG Computação Aplicada / UnisinosPPG Computação Aplicada / Unisinos

UNISINOS - RS - BrasilUNISINOS - RS - BrasilUniversidade do Vale do Rio dos SinosUniversidade do Vale do Rio dos Sinos

RBV - Rede Brasileira de Visualização / FINEPRBV - Rede Brasileira de Visualização / FINEPCAPESCAPES

Page 2: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

2

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

1. Motivação / Histórico

> Robôs Articulados

2. Simulação Virtual Realística

> Simulação Física: Sensores, Cinemática, Dinâmica,

Corpos Rígidos Articulados

3. LegGen - Robôs com Pernas > Simulador + Algoritmos Genéticos > Evolução do controle das articulações > Resultados das simulações

4. Evolução da Morfologia

> Resultados das simulações

5. Conclusões e Perspectivas

Agenda

Page 3: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

3

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

1. PREVIOUS WORKS - AUTONOMOUS ROBOTS

* Virtual Reality Environment and Simulation of Legged Robots "Uso de Realidade Virtual para a Simulação do Caminhar em Robôs Móveis" SVR 2006 - Belém, Brazil

* Evaluate different Robot Models (hardware configurations) "Applying Genetic Algorithms to Control Gait of Physically Based Simulated Robots" IEEE WCCI / CEC 2006 - Vancouver, Canadá

* Evaluate different Fitness Functions "Gait Control Generation for Physically Based Simulated Robots using Genetic Algorithms" IBERAMIA / SBIA 2006 - Ribeirão Preto, SP

* Robot, Vehicles and Human Simulation "Increasing Reality in VR Applications: Physical and Behavioral Simulation" Virtual Concept Summer School - Nov. 2006 - Porto Alegre, RS / VC2006 Cancun

Page 4: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

4

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

Mobile Articulated Robots: Walking Machines... Insects, Animals, Humans

1. MOTIVATION - AUTONOMOUS ROBOTS

Page 5: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

5

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

Mobile Articulated Robots: Walking Machines... Insects, Animals, Humans

DogHorse ...TetrapodHexapod

1. MOTIVATION - AUTONOMOUS ROBOTS

Page 6: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

6

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

2. ROBOT SIMULATION

Simulation of Robots: 3D Realistic Virtual Environments

SimRob3D developed at Unisinos

Page 7: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

7

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

2. ROBOT SIMULATION

Simulation of Robots: 3D Realistic Virtual Environments- Sensors: infrared, sonar, bumpers, gyro (accelerometers), GPS, compass, light and vision sensors, etc. - Actuators: wheels, legs and arms with angular motors (joints) - Physics: collision, kinematics, rigid body dynamics

Simulation of Autonomous Robots:- Robot Control Architectures Implementation

SimRob3D developed at Unisinos Webbots developed by Cyberbotics

Page 8: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

8

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN - ROBOT SIMULATION

Simulation of 3D Realistic Virtual Legged Robots LEGGEN Simulator

Genetic Evolved Control of Articulated Robots (w/legs)

Page 9: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

9

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN - ROBOT SIMULATION

Simulation of 3D Realistic Virtual Legged Robots LEGGEN Simulator - Tools:

1. OSG - Open Scene Graph (OpenGL + Extensions) [ http://www.openscenegraph.org/ ]

2. ODE - Open Dynamics Engine Rigid Body Physics Simulation

(gravity, inertia, friction, collision, joints, etc) [ http://www.ode.org/ ]

3. GALib - Genetic Algorithms Simulation [ http://www.lancet.mit.edu/ga/ ]

4. Robot Control FSM: Finite State Machine = Sense + Act

Page 10: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

10

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN - ROBOT SIMULATION

Simulation of 3D Realistic Virtual Legged Robots LEGGEN Simulator - Tools:

1. OSG - Open Scene Graph (OpenGL + Extensions) [ http://www.openscenegraph.org/ ]

2. ODE - Open Dynamics Engine

Page 11: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

11

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN SIMULATOR - GA

Genetic Algorithms Simulation

Genome:

* FSM: Table of Target States (Sequence of Actions) * Target angles + Reference Angular velocity * Adjust velocity * Fitness Function: Sensor based

Page 12: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

12

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN SIMULATOR - GA

Genetic Algorithms Simulation

Page 13: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

13

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN SIMULATOR

Simulation main goals:

- Evaluate different Robot Models (hardware configurations) IEEE WCCI / CEC 2006 - Vancouver, Canadá

- Evaluate different Fitness Functions IBERAMIA / SBIA 2006 - Ribeirão Preto, SP

Robot Models

Boston Dynamics

Evaluate different robot models in order to select a better hardware configuration

Page 14: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

14

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN SIMULATOR

Simulation - main goals of this study:

Evaluate different Fitness Functions 1: F=D 2: F=D/(1+B)

Fitness FunctionsOptimize:WalkingDistance (D)

D = Distance :The average number of paws touching the groundbi = paw's bumpersN = No. of bumper reads

1

2 B = Bumpers L = No. of legs

Optimize:- Distance - Bumber: Half of the paws touching the ground

Page 15: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

15

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN SIMULATOR

Fitness Functions

Optimize:- Distance- Bumbers- Gyro

3

G = Sum of x, y, z instability (Gyroscope)

4 Optimize:- Distance- Gyro

Simulation - main goals of this study:

Evaluate different Fitness Functions 1: F=D 2: F=D/(1+B) 3: F=D/(1+G+B) 4: F=D/(1+G)

Page 16: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

16

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN SIMULATOR

Simulation RESULTS:

Evaluate different Fitness Functions1: F=D 2: F=D/(1+B) 3: F=D/(1+G+B) 4: F=D/(1+G)

1: 2:

3:

4:

Mean (μ) and std. deviation (σ): 30 experiments for each configuration

Page 17: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

17

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN SIMULATOR

Simulation RESULTS:

Evaluate different Robot Models

Page 18: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

18

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN SIMULATOR

Simulation RESULTS:

Evaluate different Robot Models

Page 19: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

19

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN SIMULATOR - Results

Simulation Results:

Page 20: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

20

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN SIMULATOR - Results

Simulation RESULTS:

Tetrapod Video - Distance, Gyro

Page 21: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

21

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN SIMULATOR - Results

Simulation RESULTS: Tetrapod Video - 2 a 2

Page 22: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

22

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

3. LEGGEN SIMULATOR - Results

Simulation RESULTS: Tetrapod Video - "bloopers"

Page 23: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

23

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

4. EVOLVING THE MORPHOLOGY

Main idea:- Evolve robots structure and control at the same time- Morphology:

Why we are obligated to pre-define these parameters?

Page 24: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

24

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

4. EVOLVING THE MORPHOLOGY

Evolve robots structure and control at the same time

Does it works??

Page 25: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

25

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

4. EVOLVING THE MORPHOLOGY

Evolve robots structure and control at the same time

Does it works? Yes...it seems to work!

Page 26: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

26

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

5. CONCLUSIONS

Conclusions...

- We achieved very good results in the robot control (stable/robust)

- Genetic Algorithms helped us to study and design better robots: Joints, Actuators, Sensors, Speed x Stability x Cost

- Genetic Algorithms + 3D Physically Realistic Simulation + Evolved Finite State Machine Control + Fitness Function selection + Hardware configuration = LEGGEN Framework

Page 27: Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados Utilizando Realidade Virtual Milton Heinen e Fernando Osório 30 May 2007 1 Co-Evolução da

30 May 2007

27

Co-Evolução da Morfologia e Controle de Robôs Móveis Simulados

Utilizando Realidade VirtualMilton Heinen e Fernando Osório

FUTURE WORK

Next steps... Autonomous parking control model (SEVA) integrated with LEGGEN control model [ IEEE WCCI / IJCNN 2006 ]