Mapeamento semântico com robôs móveis

Fabiano Rogério Corrêa (aluno de doutorado – POLI/PMR)

2

Mapas do ambiente• Mapeamento: artigo do Thrun (2002);

– Modelos espaciais de ambientes físicos;– Um dos problemas mais importantes na busca por

robôs verdadeiramente autônomos;– “Todos” os algoritmos do estado da arte de

mapeamento são probabilísticos;

3

Desafios para o mapeamento• Até a década de 90:

– Mapas visavam auxiliar a navegação e a localização;

– Ambientes internos, estáticos, estruturados e pouco extensos;

– Sensores de ultra-som e de varredura laser;– Alcance limitado dos sensores e fusão de dados

sensoriais incertos;– Mapas: métricos x topológicos;

4

Desafios atuais• Desde então ...

– Representações visando tarefas mais gerais;– Ambientes externos, dinâmicos, não–estruturados e

extensos;– Sensores de varredura laser e sistemas de visão;– Dinâmica do ambiente, grande quantidade de dados de

tipos diferentes (multi-modais);– Mapas: filtro de Kalman x Expectation maximization x

mapa de objetos;

5

Mapa de objetos

• + Mais compactos que os mapas de grades (principalmente em ambientes estruturados);

• + Mais precisos (e expressivos);• + Ambientes dinâmicos;• + Mais próximos à percepção humana

(facilita interação homem-máquina);• - Ambientes simples;

6

Mapas semânticos• Interesse renovado em informação

semântica:– Segmentar e classificar informação espacial;– Mapas topológicos consideram em parte a semântica

do ambiente;– Informação semântica extraída diretamente dos

sensores do robô;– Regiões distinção e reconhecimento de lugares

específicos no ambiente;– Objetos dinâmica;– Restrição do espaço de buscas e entrada do sistema

de navegação: dirigir-se a um lugar determinado;

7

Classificação de mapas semânticos• Ainda pouco explorado;• Mapeamento topológico-semântico:

– Similaridade sensorial;– Com objetos;

• Mapeamento métrico-semântico:– Associação de dados;– Segmentação:

• Dados de distância;• Regiões;• Objetos;

8

Similaridade sensorial• Informação semântica extraída diretamente dos

sensores do robô;• Agrupamento de imagens em constelações que

representam um conceito espacial;• Medida de similaridade;• Consistência geométrica / espacial entre as

imagens;• Aprendizado não-supervisionado;• Teoria de grafos;

9

Fingerprint of places

Tapus, A. Siegwart, R. A cognitive modeling of space using fingerprints of places for mobile robot navigation. In: Proceedings of the IEEE International Conference on Robotics and

Automation (ICRA), 2006.

10

Scene similarity

Posner, I., Schroeter, D., Newman, P. Using scene similarity for place labelling. In: International Symposium on Experimental Robotics (ISER), 2006.

11

Rooms

Zivkovic, Z., Booij, O., Kröse, B. From images to rooms. In: Robotics and Autonomous Systems 55, 2007.

12

Mapeamento topológico com objetos

• Reconhecimento de objetos;• Cada nó do mapa é representado por um

conjunto de objetos;

13

Multi-hierarchical semantic maps

Galindo, C., Saffiotti, A., Coradeschi, S., Buschka, P., Fernández-Madrigal, J.A., González, J. Multi-hierachical semantic maps for mobile robotics. In: Proceedings of the IEEE International

Conference on Intelligent Robots and Systems (IROS), 2005.

14

Cognitive maps

Vasudevan, S., Gächter, S., Nguyen, V., Siegwart, R. Cognitive maps for mobile robots – an object approach. In: Robotics and Autonomous Systems 55, 2007.

15

Associação de dados• Classificação dos dados sensoriais em classes;• Associação de dados usando a informação

semântica;• Redução do espaço de busca;• Mapeamento e localização simultâneos (SLAM);• Aprendizado supervisionado;• Teoria de probabilidades;

16

Matching

Ramos, F., Fox, D., Durrant-Whyte, H. CRF-matching: conditional random fields for feature-based scan matching. In: Proceedings of Robotics Science and Systems (RSS), 2007.

17

Semantic knowledge

Nüchter, A., Wulf, O., Lingemann, K., Hertzberg, J., Wagner, B., Surmann, H. 3D mapping

with semantic knowledge. In: RoboCup International Symposium, 2005.

18

Object recognition

Ramos, F., Nicto, J., Durrant-Whyte, H. Combining object recognition and SLAM for extended map representations. In: International Symposium on Experimental Robotics (ISER), 2006.

19

Segmentação: dados de distância• Primitivos geométricos são classificados por

meio de aprendizado computacional supervisionado;

• Modelos: – AMNs;– Instance-based AMNs;

20

3D scan data

Anguelov, D., Taskar, B., Chatalbashev, V., Koller, D., Gupta, D., Heitz, G. Ng, A. Discriminative learning of markov random fields for segmentation of 3D scan data. In:

Proceedings of the Conference on Computer Vision and Patern Recognition (CVPR), 2005.

21

2D and 3D laser range data

Triebel, R., Schmidt, R., Mozos, O.M., Burgard, W. Instance-based AMN classification for improved object recognition in 2D and 3D laser range data. In: Proceedings of the

International Joint Conference on Artificial Intelligence (IJCAI), 2007.

22

Segmentação: regiões• Baseada em grades de ocupação: células;• Características:

– Perfil geométrico das leituras do sensor de varredura laser mais reconhecimento de objetos - AdaBoost;

– Atividade (dinâmica dos objetos na cena) – SVM, HMM, MRF;

• Categorias:– Calçada e rua;– Fluxo de tráfego;– Corredor, sala e porta;

23

Activity-based ground models

Lookingbill, A., Lieb, D., Stavens, D., Thrun, S. Learning activity-based ground models from a moving helicopter platform. In: IEEE International Conference on Robotics & Automation (ICRA),

2005.

24

Activity-based semantic map

Wolf, D., Sukhatme, G.S., Activity-based semantic mapping of an urban environment. In: International Symposium on Experimental Robotics (ISER), 2006.

25

Semantic labeling of places

Mozos, O.M., Triebel, R., Jensfelt, P., Rottmann, A., Burgard, W. Supervised semantic labeling of places using information extracted from sensor data. In: Robotics and Autonomous

Systems 55, 2007.

26

Segmentação: objetos• Objetos a serem classificados: linhas obtidas do

pré-processamento dos dados dos sensores de varredura laser;

• Classificações: porta, parede (e corredor);• Aprendizado computacional supervisionado:

– Modelo generativo: comportamento e aparência;– RMNs: aparência e relações espaciais;

27

Detecting and modeling doors

Anguelov, D., Koller, D., Parker, E., Thrun, S. Detecting and modeling doors with mobile robots. In: Proceedings of the IEEE International Conference on Robotics and Automation

(ICRA), 2004.

28

Relational object maps

Limketkai, B., Liao, L., Fox, D. Relational object maps for mobile robots. In: Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI), 2005.

29

Conclusão• Extração de informação semântica dos dados

sensoriais;• Emprego da semântica para resolver os

desafios atuais da área de robótica;• Uso de modelos probabilísticos de primeira

ordem:– Inclusão de dependências relacionais;– Melhor precisão na classificação;

30

Aprendizado estatístico-relacional• BNs Relacionais (RBN) (Jaeger, 1997);• Modelos Probabilísticos Relacionais (PRM) (Koller e

Pfeffer, 1998; Friedman et al., 1999);• PRMs Dinâmicos (DPRM) (Friedman et al., 1998);• MMs Relacionais (RMM) (Anderson et al., 2002);• RNs Relacionais (RMN) (Taskar et al., 2002);• MDPs Relacionais (RMDP) (Guestrin et al., 2003);• Redes de Dependência Relacionais (RDN) (Neville e

Jensen, 2007);