X SBAI – Simpósio Brasileiro de Automação Inteligente18 a 21 de setembro de 2011São João del-Rei - MG - Brasil

ISSN: 2175-8905 - Vol. X 432

CONTROLE DE POSICAO APLICADO A UM ROBO GUIA COM SISTEMA DEVISAO OMNIDIRECIONAL

Milton Cesar Paes Santos∗, Flavio Garcia Pereira†, Raquel Frizera Vassallo∗

∗Universidade Federal do Espırito SantoVitoria – Brasil

†Centro Universitario Norte do Espırito SantoSao Mateus – Brasil

Emails: miltoncps@gmail.com, flaviogarcia@ceunes.ufes.br, raquel@ele.ufes.br

Abstract— This paper presents a nonlinear position controller, applied to a mobile robot, capable of guidinga person to a certain destination spot. The robot is equipped with an omnidirectional vision system, which isused for classify and determining the location of objects in the environment. Thus, robots can identify peoplewho wish to be guided and obtain considerable features such as distance from the robot, the intensity of the pixelin the images of people and the area occupied by them, to accomplish the desired task of guiding. The methodpresented in this paper uses the technique of background subtraction to identify objects in the environment, theapparent motion of the image to perform visual tracking, and based on polynomials that relate points in thethe image with points in the world, recoverers the three dimensional coordinates of the person. Thus, accordingto these coordinates, the robot can make adjustments in the position controller in order to adapt its linearand angular velocity according to the person’s ability to walk. In order to validate the proposed method, someexperiments were performed and are shown in this paper.

Keywords— Nonlinear controller guidance, Omnidirectional Vision, Mobile Robots, Robot-Human Interac-tion

Resumo— Este trabalho apresenta um controlador de posicao nao linear, aplicado a um robo movel, capazde realizar a conducao de uma pessoa a um determinado ponto de destino. O robo e dotado de um sistema devisao omnidirecional, o qual e utilizado para classificacao e determinacao da localizacao dos objetos no ambiente.Dessa forma, os robos podem identificar pessoas que desejam ser conduzidas e obter dados relevantes, tais comodistancia do robo, intensidade dos pixel das pessoas nas imagens e, tambem, area ocupada por estas, pararealizar a tarefa de conducao desejada. O metodo apresentado neste trabalho utiliza a tecnica de subtracao defundo para identificar os objetos no ambiente, o movimento aparente da imagem para realizar o rastreamentovisual e, baseado em polinomios que relacionam os pontos na imagem e no mundo, recuperar as coordenadastridimensionais da pessoa. Assim, de acordo com essas coordenadas, e possıvel realizar ajustes no controlador deposicao, a fim de adaptar sua velocidade linear e angular de acordo com a capacidade de locomocao da pessoa.Para validar o metodo proposto, foram realizados alguns experimentos que serao mostrados neste artigo.

Keywords— Controlador de Conducao, Visao Omnidirecional, Robos Moveis, Interacao Homem-Robo

1 Introducao

Apesar do crescimento do uso de robos nasresidencias, a maioria dos robos existentes estana industria, cujas principais tarefas sao o deslo-camento em um ambiente (locomocao) e a movi-mentacao de objetos ao seu redor (manipulacao).Essa distincao por tarefas pode dividir os robosem duas categorias: robos moveis e robos manip-uladores, ainda que exista robos que executem am-bas as funcoes.

Um robo, independente da categoria, possuiconexoes de realimentacao (feedback) entre seussensores, atuadores e o ambiente, dispensando aacao do controle humano direto para realizar de-terminadas tarefas (Takubo et al., 2002). Po-dendo, tambem, haver robos parcial ou totalmenteem cooperacao com pessoas (Pereira et al., 2010).O grau de automatizacao de um robo pode atin-gir o nıvel de aprendizado automatico e adaptar-se aos problemas momentaneos que podem surgirdurante a execucao do seu trabalho.

Em contrapartida, a capacidade de realizartarefas e desenvolver novas maneiras para solu-

cionar eventuais problemas que surgem no decor-rer dessas, e uma das habilidades mais fascinantesdo ser humano. Com o avanco da tecnologia nosultimos anos, o ser humano tem buscado, cada vezmais, construir sistemas e maquinas capazes de re-alizar e cooperar em suas tarefas diarias (Pereiraet al., 2009). Os robos moveis autonomos devempossuir essa capacidade e, assim, devem ser ca-pazes de analisar o ambiente ao seu redor, anal-isar as mudancas observadas e, com isso, tomardecisoes ou agir a fim de cumprir seus objetivos(Junior, 2002).

Recentemente, as pesquisas em roboticadirecionam-se para aplicacoes relacionadas ao co-tidiano das pessoas, onde e necessario a cooper-acao dos robos, com uma ou mais pessoas, com oproposito de executar tarefas, tais como, conduziruma pessoa com dificuldades de se locomover aum determinado lugar e na indicacao de um cam-inho para recem chegados no ambiente de tra-balho. Para que seja possıvel realizar tais tarefas,e importante obter a maior quantidade possıvelde informacao do ambiente no qual o robo estainserido, a fim de aumentar o numero de obser-

X SBAI – Simpósio Brasileiro de Automação Inteligente18 a 21 de setembro de 2011São João del-Rei - MG - Brasil

ISSN: 2175-8905 - Vol. X 433

vacoes e analises realizadas pelo mesmo e, assim,aperfeicoar sua base de dados para tomada de de-cisoes e um controle autonomo (Junior, 2001). Epossıvel obter essas informacoes por meio de fusaode dados de diferentes tipos de sensores. Outramaneira e atraves da utilizacao de um unico sen-sor como um sistema de visao computacional, ca-paz de obter uma imagem com a maior quanti-dade possıvel de informacao do ambiente. O usode um sistema computacional com campo de visaode 360◦ pode ser selecionado para esse proposito.Esses sistemas sao denominados de visao omni-direcional e sao uteis, por exemplo, quando atarefa a ser executada pelo robo necessita con-stantemente de informacoes visuais da posicao deuma pessoa ou objetos localizados em diferentesdirecoes.

2 Controlador de Conducao

Considerando que na tarefa cooperativa de con-ducao o robo guiara uma pessoa a um determinadoponto de destino, o objetivo proposto e adaptare ajustar as velocidades linear e angular do robode acordo com as caracterısticas de locomocao dapessoa, a fim de manter sua velocidade e posicaoproporcional a da pessoa seguidora e continuarnavegando ate atingir o ponto final desejado. Con-tudo, vale evidenciar que para realizar os ajustesnas velocidades e necessario estimar a posicao rel-ativa da pessoa ao robo, obtidas pelo processa-mento das imagens omindirecionais, a posicao e aorientacao do robo ao ponto de destino. A Figura1 demonstra o robo navegando para alcancar oponto destino e uma pessoa o seguindo.

Figura 1: O robo navega ate o ponto de destino euma pessoa o segue.

O modelo cinematico apresentado na Equacao1 descreve, em coordenadas cartesianas, o movi-mento de um robo movel, do tipo monociclo, emseu espaco de trabalho.

x = v.cos(ϕ)

y = v.sen(ϕ)

ϕ = ω.

(1)

Porem, para desenvolver o controlador de con-ducao final, convem representar a posicao do robo

por meio das coordenadas polares (Secchi, 1998).Para isso, consideram-se ρ e α, respectivamente,o erro de posicao do veıculo e o erro de orientacaodo mesmo em relacao ao referencial inercial <g>.Isto permite escrever as equacoes cinematicas emcoordenadas polares, conforme pode ser visto naEquacao 2.

ρ = −v cos (α)

α = −ω + vsen (α)

ρ

θ = vsen (α)

ρ

, (2)

onde v e ω sao respectivamente, a velocidade lin-ear e velocidade angular realizada pelo robo du-rante o trajeto, α expressa o angulo entre o eixo demovimento do robo e o vetor de erro de posicao ρ,isto e, o erro angular entre a orientacao do robo e adirecao do ponto que se deseja alcancar. Com baseneste sistema, as acoes de controle necessariaspara a navegacao a um determinado ponto de des-tino podem ser representadas conforme as acoes decontrole expressas pela Equacao 3.

v = kv tanh(ρ) cos(α)

ω = kωα+ kvtanh(ρ)

ρ sen (α) cos (α), (3)

com kv > 0 e kw > 0, onde os coeficientes kve kω representam, respectivamente, o valor max-imo, em modulo, (kv = |vmax|) da maxima ve-locidade linear que podera ser aplicada ao roboe, uma constante de ajuste para a velocidade an-gular maxima. Os resultados apresentados nesteartigo foram obtidos com uma velocidade linearmaxima de 350 mm/s e uma velocidade angularmaxima de 90 graus/s. Para isso, fez-se kv = 0.35e kw = 0.45

De acordo com a Figura 1 e com controladorapresentado pela Equacao 3, sera proposto umcontrolador de conducao que de acordo com adistancia d do robo a pessoa guiada assume asseguintes acoes de controle (Santos, 2010)

v = δ(d)kv tanh(ρ) cos(α)

ω = kωα+ δ(d)kvtanh(ρ)

ρ sen (α) cos (α),

(4)com kv > 0 e kw > 0, e δ(d) e uma funcao que atuano controlador de posicao, como um saturador davelocidade. Esta apresenta-se em funcao da dis-tancia do robo da pessoa guiada. Dessa forma,δ(d) e representada por

δ(d) =1− tanh(λ(d− dm))

2≥ 0 (5)

onde dm e a distancia media que a pessoa se en-contra e λ e uma constante que influencia na satu-racao da tangente hiperbolica. A Figura 2 mostraa curva de δ(d) para determinados valores de λ.

X SBAI – Simpósio Brasileiro de Automação Inteligente18 a 21 de setembro de 2011São João del-Rei - MG - Brasil

ISSN: 2175-8905 - Vol. X 434

(a)

Figura 2: Curvas das equacoes de δ

2.1 Analise de Estabilidade

Para o controlador nao linear proposto, a seguintefuncao candidata de Lyapunov e considerada

V (ρ, α) =1

2ρ2 +

1

2α2, (6)

a qual e definida positiva e possui derivada tem-poral dada por

V (ρ, α) = ρρ+ αα. (7)

Substituindo os valores de ρ e α de 2 em 7, tem-seque

V (ρ, α) = −ρv cos (α) + α

(−ω + v

sen (α)

ρ

).

(8)Agora, substituindo as velocidades linear e angu-lar apresentadas em 3 na Equacao 8, a derivadatemporal da funcao candidata de Lyapunov podeser reescrita como

V (ρ, α) = −δ(d)kvρ tanh ρ cos2 (α)− kωα2. (9)

Assim, a funcao derivada temporal da candi-data de Lyapunov apresentada na Equacao 7 pos-sui derivada definida negativa, o que indica que oserros do sistema, isto e, ρ e α→ 0 quando t→∞,comprova, dessa maneira, a estabilidade do con-trolador proposto. Para o controle de posicao fi-nal, e necessario escolher os valores maximos dasvelocidades linear e angular calculadas pelo con-trolador.

3 Sistema de Visao e Deteccao dePessoas

O controlador de conducao apresentado na Secao2 possui 3 variaveis que determinam suas acoes decontrole. Uma destas e a distancia que a pessoase encontra do robo; a qual sera obtida a partir doprocessamento das imagens fornecidas por um sis-tema de visao omnidirecional, as quais fornecemum campo de visao de 360◦ na horizontal, mon-tado sobre o robo. Nesse contexto, esta secao tem

como objetivo apresentar, de forma resumida, astecnicas de processamento de imagens utilizadaspara efetuar tal deteccao, alem de apresentar oalgoritmo de rastreamento utilizado.

A deteccao da pessoa e realizada por meio dometodo de subtracao de fundo (Lampert et al.,2005). Dessa forma, utiliza-se as imagens omni-direcionais para a construcao do modelo de fundoe, com isso, a imagem resultante obtida por estemetodo e processada de forma a gerar uma im-agem binaria que contenha os contornos dos blobsdas regioes que nao pertencem ao modelo defundo. Estas regioes provavelmente pertencem apessoas que desejam ser conduzidas.

A proxima etapa para a identificacao da pes-soa e a escolha do blob que melhor corresponde aum ser humano. Neste trabalho explora-se umacaracterıstica importante das imagens omnidire-cionais para detectar a pessoa e sua distancia dorobo: deformacao de um objeto na forma radial,ou melhor, o objeto que se encontra na verticalno mundo real aparece de forma radial na im-agem (Vassallo, 2004). Portanto, quando a pessoaencontra-se na imagem, seus pes estao perto docentro da mesma e, consequentemente, do robo.Por essa razao, escolheu-se o blob que esta maisproximo do centro da imagem e possui area en-tre as mınimas e maximas determinadas para umaperna humana. Estes valores de area foram obti-dos experimentalmente por forma de medicoes emdiferentes condicoes. A Figura 3 apresenta um ex-emplo de deteccao de um humano.

Figura 3: Deteccao de um humano em uma im-agem omnidirecional.

Ainda vale ressaltar que, se essas caracterısti-cas coincidem com as de um ser humano, o roboaguarda, por 3 segundos, o blob permanecer namesma posicao. Ao concretizar este passo, ele ini-cia o movimento ao ponto de destino e suas veloci-dades sao estimadas de acordo com o controladorapresentado na Secao 2. E valido informar quea pessoa encontra-se na parte inferior da imagemadquirida pelo sistema de visao, sendo, a princı-pio, desnecessario o processamento da regiao su-perior da imagem para aquisicao de informacoes arespeito dela. Assim, aplica-se uma mascara nasimagens para evidenciar a area de interesse. A

X SBAI – Simpósio Brasileiro de Automação Inteligente18 a 21 de setembro de 2011São João del-Rei - MG - Brasil

ISSN: 2175-8905 - Vol. X 435

Figura 4 apresenta a imagem original (a) e o re-sultado da aplicacao da mascara (b).

(a) (b)

Figura 4: Imagem original (a) e o resultado deaplicacao da mascara (b).

Realizada a deteccao da pessoa com a sub-tracao de fundo e necessario converter a distanciaentre o robo e a pessoa no espaco da imagem parao mundo real. Com o intuito de aprimorar essaconversao, a regiao de interesse da imagem foi di-vida em 5 setores de 36◦ e, para cada um, foi es-timado uma funcao polinomial (Gava, 2007) paraa conversao de pixel para metros, como determi-nado. A Figura 5 demonstra os setores divididos ea Figura 6 representa um exemplo dos erros obti-dos na conversao dos dados do Setor 2.

Figura 5: Exemplo de conversao da funcao poli-nomial.

(a)

Figura 6: Erros obtidos na conversao no Setor 2.

Durante o trajeto do robo, a posicao da pes-soa na imagem e estimada utilizando o algoritmode rastreamento visual proposto por (Lucas andKanade, 1981). Ja que a subtracao de fundo

torna-se ineficiente em situacoes em que ha mu-dancas no modelo de fundo. De posse destaposicao, e baseado nos polinomios que relacionamos pontos na imagem e no mundo, as coordenadastridimensionais da pessoa sao recuperadas e, jun-tamente, com as informacoes obtidas pelos en-coders do robo e possıvel tracar o caminho feitopela pessoa durante a conducao.

4 Resultados Experimentais

De acordo com a teoria apresentada na Secao 2, osexperimentos a seguir tem como principal objetivodemonstrar a convergencia das variaveis de estadoe assegurar a funcionalidade dos controladores im-plementados. O robo movel utilizado nos exper-imentos foi Pioneer 2-DX, dotado de um sistemade visao omnidirecional para calcular a distanciada pessoa.

4.1 Experimento 1

Neste experimento, o robo foi posto para detectaruma pessoa e guia-la ao destino de 6 m a suafrente e 4 m a sua esquerda. Dessa forma, pode-se visualizar os resultados obtidos nesta tarefa nasseguintes Figuras 7 e 8.

(a)

(b) (c)

Figura 7: Posicao no mundo real (a), desloca-mento em x (b) e deslocamento em y (c).

Na Figura 7 (a) observa-se que o trajeto ex-ecutado pela pessoa e diferente do caminho exe-cutado pelo robo. Isso ocorre devido ao fato dorobo orientar a pessoa sem uma formacao pre-definida, semelhante ao comportamento humanoquando deseja-se conduzir alguem a um determi-nado lugar.

X SBAI – Simpósio Brasileiro de Automação Inteligente18 a 21 de setembro de 2011São João del-Rei - MG - Brasil

ISSN: 2175-8905 - Vol. X 436

(a) (b)

(c) (d)

Figura 8: Distancia entre o robo e a pessoa (a),velocidade angular (b), velocidade linear do robo(c) e distancia do destino (d).

De acordo com as Figuras 8 (a) e (c), nota-seque a medida que ha o distanciamento do robo, avelocidade linear do robo diminui e, consequente-mente, nao ha alteracao significativa no erro deposicao do robo, conforme mostrado na Figura 8(d). Em vista disso, e possıvel interpretar que orobo“aguarda” a aproximacao da pessoa para con-tinuar o trajeto. Outro fato interessante que deveser extraıdo da Figura 8 (d) e o erro de posicaotendendo a zero, demonstrando que o robo atingeo ponto de destino.

4.2 Experimento 2

Neste experimento o robo deve guiar uma pessoaate o destino de 5 m a sua frente, cuja represen-tacao e dada por (5 m, 0 m). A trajetoria de-scrita e apresentada pela Figura 9 (a). O roboatinge, entao, a posicao final de (4.95 m, 0.0025m). Sendo assim, pode-se visualizar os resultadosobtidos nesta tarefa nas seguintes Figuras 9 e 10.

Na Figura 9 (a) observa-se que o trajeto exe-cutado pela pessoa e semelhante ao caminho per-corrido pelo robo. As Figuras 9 (b) e (c) mostramo comportamento do deslocamento em cada eixo.

As velocidades linear e angular adquirida pelorobo durante o trajeto sao demonstradas, respec-tivamente, nas Figuras 10 (a) e (b). Da mesmaforma que foi evidenciado no experimento 1, nota-se neste experimento, que a medida que ha afas-tamento do robo, a velocidade linear do mesmodecresce. Neste experimento, a velocidade angu-lar do robo, representado na Figura 10 (b), per-manece em zero pelo fato do ponto de destino estarposicionado a direita do robo, de modo que o erroangular ja inicia sendo mınimo.

(a)

(b) (c)

Figura 9: Posicao no mundo real (a), desloca-mento em x (b) e deslocamento em y (c).

O erro de posicao neste experimento e demon-strado na Figura 10 (d), onde e notoria deste errotendendo a zero no decorrer do tempo, o que sig-nifica que a tarefa de conducao foi executada.

5 Conclusoes e Trabalhos Futuros

Neste trabalho foi abordado uma estrategia decontrole para realizar a tarefa de conducao deuma pessoa, utilizando um robo com sistema devisao omnidirecional. Foi implementado um con-trolador nao linear para navegacao em busca deum ponto objetivo e, tambem, para realizar aconducao. Com a aquisicao de informacoes doambiente e, principalmente, da pessoa conduzidaatraves das imagens obtidas do sistema omnidire-cional instalado no robo movel, foi possıvel guiar apessoa durante todo o trajeto, uma vez que a dis-tancia entre a pessoa guiada e o robo era fornecidaao controlador.

O sucesso do controlador implementado podeser verificado por meio dos experimentos realiza-dos, nos quais o robo atingiu o objetivo de controle(navegar em direcao a um ponto destino e realizara conducao ate esse ponto).

Para trabalhos futuros pode-se evidenciar al-guns exemplos de projetos; realizar um apren-dizado do ambiente para que seja possıvel a con-ducao de pessoas a lugares de interesse, comoa porta de saıda de um escritorio; integrar ocontrolador de conducao a uma estrategia dedesvio de obstaculos utilizando um sensor laser(Pereira, 2006) ou sistema de visao omnidirecional(Franca, 2005); adicionar uma interface de co-municacao para proporcionar uma interacao en-

X SBAI – Simpósio Brasileiro de Automação Inteligente18 a 21 de setembro de 2011São João del-Rei - MG - Brasil

ISSN: 2175-8905 - Vol. X 437

(a) (b)

(c) (d)

Figura 10: Distancia entre o robo e a pessoa (a),velocidade angular (b), velocidade linear do robo(c) e distancia do destino (d).

tre a pessoa e o robo antes que a tarefa de con-ducao inicie, ou seja, apos a deteccao da pessoa, orobo pode ”comecar” um dialogo, com isso a pes-soa pode definir o lugar que deseja ir.

Agradecimentos

Os autores gostariam de agradecer a UFES(Universidade Federal do Espırito Santo) pe-los equipamentos fornecidos para a execucao doprojeto, a FAPES (projeto 45443211/2009) eCAPES/MinCyt (projeto 181/10) pelo suporte fi-nanceiro.

Referencias

Franca, A. S. (2005). Deteccao de obstaculosatraves de um fluxo optico padrao obtidoa partir de imagens omnidirecionais, AndreStanzani Franca, Raquel Frizera Vassallo eHans Jorg Andreas Schneebeli.

Gava, C. C. (2007). Controle de formacao derobos moveis baseado em visao omnidire-cional, Master’s thesis, Universidade Federaldo Espırito Santo.

Junior, V. G. (2001). Desenvolvimento de umsistema de visao omnidirecional, XVI Con-gresso Brasileiro de Engenharia Mecanica16th Brazilian Congress of Mechanical Engi-neering.

Junior, V. G. (2002). Sistema de visao omnidire-cional aplicado no controle de robos moveis,Master’s thesis, Escola Politecnica - USP.

Lampert, C. H., Braun, T., Ulges, A., Keysers, D.and Breuel, T. M. (2005). Oblivious docu-ment capture and real-time retrieval, In Proc.

First Int’l. Workshop on Camera-Based Doc-ument Analysis and Recognition, pp. 79–86.

Lucas, B. D. and Kanade, T. (1981). An iterativeimage registration technique with an applica-tion to stereo vision (ijcai), Proceedings of the7th International Joint Conference on Artifi-cial Intelligence (IJCAI ’81), pp. 674–679.

Pereira, F. G. (2006). Navegacao e desvio deobstaculos usando um robo movel dotado desensor de varredura laser, Master’s thesis,Universidade Federal do Espırito Santo.

Pereira, F. G., de Sa, F. B., Ferreira, D. B. andVassallo, R. F. (2010). Cooperacao entrehomem e um robo movel para transporte decargas, XVIII Congresso Brasileiro de Au-tomatica - CBA 2010.

Pereira, F. G., Schmitz, N., Vassallo, R. F. andBerns, K. (2009). Cooperacao entre homens erobos baseada em reconhecimento de gestos,IX Simposio Brasileiro de Automacao In-teligente - SBAI 2009.

Santos, M. C. P. (2010). Controle de posicao apli-cado a um robo guia com sistema de visaoomnidirecional, Universidade Federal do Es-pırito Santo, Projeto de Graduacao.

Secchi, H. A. (1998). Control de vehıculos autogu-iados con realimentacion sensorial, Master’sthesis, Facultad de Inginerıa de la Universi-dad Nacional de San Juan, San Juan - Ar-gentina.

Takubo, T., Arai, H., Hayashibara, Y. andTanie, K. (2002). Human-Robot Coopera-tive Manipulation Using a Virtual Nonholo-nomic Constraint, The International Journalof Robotics Research 21(5-6): 541–553.

Vassallo, R. F. (2004). Uso de MapeamentoVisuomotores com imagens omnidirecionaispara aprendizagem por imitacao em Robotica,PhD thesis, Universidade Federal do EspıritoSanto.