ESTIMAÇÃO DE POSE E MOVIMENTAÇÃO DE UM ROBÔ HUMANÓIDE UTILIZANDO IMAGENS DE UMA CÂMERA MÓVEL EXTERNA

Marcelo B. NogueiraBruno Xavier da CostaAdelardo A. D. MedeirosPablo J. Alsina

Universidade Federal do Rio Grande do NorteDepartamento de Engenharia de Computação e Automação

UFRN-CT-DCA -- Campus Universitário -- 59072-970 Natal-RN Brazil

Objetivo

Propor um método para realizar a movimentação de um robô humanóide simples, sem uma eletrônica embarcada avançada

Introdução

Uma das principais tarefas de um sistema de navegação de um robô móvel: determinar a sua posição e orientação no ambiente de trabalho

Feito através de Sensores Laser e GPS: caros Odometria: barato, mas não apropriado a

humanóides

Introdução

Câmeras embutidas no humanóide: Humanóide grande Eletrônica embarcada cara

Câmera externa e cérebro remoto O cérebro e câmera não se

encontra no robô Cérebro e corpo interligados por

links sem fio Robô pequeno, leve e barato

Robô utilizado:Robosapien

Metodologia

Utilizamos um outro robô móvel com rodas dotado de um sistema de localização (odometria ou marcos naturais) e equipado com uma câmera e um computador (cérebro remoto)

Sistema Proposto

Metodologia

A partir de imagens, localizamos o humanóide no ambiente de trabalho e tomamos as ações necessárias para realizar a sua movimentação

Simultaneamente, movimentamos o robô que contem a câmera, de forma que este tenha uma boa visada do humanóide

Estimação de Pose por Imagens

Calibração de CâmeraDeterminar um conjunto de valores relativos

à câmera que possibilite interpretar imagens obtidas por esta

Dividida em duas etapasDeterminação dos seus parâmetros intrínsecosDeterminação dos seus parâmetros extrínsecos

Calibração de Câmera

Determinação dos seus parâmetros intrínsecos Determinar as propriedades intrínsecas da câmera,

como distância focal, centro de imagem, coeficiente de distorção das lentes

Sem restrição de tempo real MÉTODO DE ZHANG

Necessário que a câmera observe um padrão plano de no mínimo duas posições diferentes

Não é necessário que se tenha conhecimento sobre o deslocamento realizado pela câmera entre uma observação e outra

Calibração de Câmera

Determinação dos seus parâmetros extrínsecos Indicam a posição e a orientação da câmera com

relação ao sistema de coordenadas do mundo Realizado em tempo real

Métodos PnP (Perspective-n-Point) Utiliza n pontos notáveis presentes na cena e em

uma imagem da cena

Determinação dos Pontos Notáveis para Calibração Interna

Método de Zhang: mínimo de 6 pontos Melhor precisão: utilizamos 81 pontos

Localizar diretamente pontos: impreciso Localizar intercessões de retas

Localizar retas: Método de Hough

Padrão para calibração interna

Determinação dos Pontos Notáveis para Calibração Externa

Métodos P4P (necessários 4 pontos) Intercessão das arestas de um quadrilátero Hough: lento (aplicação em tempo real) Desenvolvimento de sistema de detecção de arestas

mais rápido

Padrão para calibração externa

Sistema de Detecção de Arestas

Losango de cor característica Determinar vários pontos sobre cada uma das arestas

(com erros) Utilizar um conjunto de pontos para calcular a melhor

reta que representa cada aresta

Extração dos vértices do losango

Movimentação do Humanóide

Controlado por Infra-vermelho Técnica Heurística (restrições de

movimento: frente,trás,direita,esquerda) Dado Ponto inicial e final gerar trajetória A cada passo

Calcular ‘e’ (erro entre posição do robô e referência) e α (ângulo entre a reta definida pela posição atual do robo e a posição referencia , e o eixo z do robo zR)

Se α > k, girar até que α ≈ 0 Se e > l, andar para frente

Movimentação da Câmera

Depende da movimentação do humanóide Captação de uma boa imagem do humanóide A cada passo

Comandada para uma posição que esteja a um distancia d do humanóide e de forma que a câmera aponte em sua direção

Caso o eixo x do humanóide (xR) atinja um ângulo θ crítico em relação ao eixo z da câmera (zC), o humanóide e comandado para parar, e a câmera é comandada para uma posição que esteja a um distancia d do humanóide e de forma que θ seja 90o (posição PD)

Resultados

Calibração interna Detecção dos pontos notáveis com Hough

Erro médio de 0,37 pixel

Detecção das retas

Resultados

Calibração externa Detecção dos pontos notáveis com o método proposto

Erro médio de 1,5 pixel Posição da câmera em relação ao humanóide:

[-3,3 -4,9 50,4]

Detecção das arestas

Resultados

Movimentação do humanóide Para a foto do slide anterior, supondo que a

posição referencia seja [-3 0 60], o humanóide foi comandado para ir pra frente

Movimentação da câmera Para a foto do slide anterior, supondo que a

distância que a câmera deve guardar para o humanóide seja d = 40 cm e que o referencial do mundo coincide com o referencial da câmera, a câmera foi comandada para a posição PD = [0 0 10,5]

Resultados

Movimentação da câmera Situação onde foi detectado o ângulo crítico:

Neste caso, a posição da câmera em relação ao humanóide foi[-3,2 -3,4 20,6] e θ = 11,10. A câmera foi comandada para a

posição PD = [-11 0 -19]

Posição de ângulo crítico

Conclusões

Calibração interna: Zhang: flexível, rápida e robusta Hough: alta precisão

Calibração externa: P4P: resposta em tempo constante (ideal para aplicações em

tempo real) Detecção das arestas do losango: rápida, precisa e robusta

Controle de humanóide sem sensor interno em situações onde está disponível um robô móvel com câmera e sistema de localização preciso;

ESTIMAÇÃO DE POSE E MOVIMENTAÇÃO DE UM ROBÔ HUMANÓIDE UTILIZANDO IMAGENS DE UMA CÂMERA MÓVEL EXTERNA

Marcelo B. NogueiraBruno Xavier da CostaAdelardo A. D. MedeirosPablo J. Alsina

Universidade Federal do Rio Grande do NorteDepartamento de Engenharia de Computação e Automação

UFRN-CT-DCA -- Campus Universitário -- 59072-970 Natal-RN Brazil