Using Augmented Reality to overlapping information in live airport camerasUsando Realidade Aumentada para sobreposição de informações nos aeroportos

Ezequiel R. ZorzalInstituto de Ciência e Tecnologia

Universidade Federal de São PauloSão José dos Campos, SP, Brasil

Email: ezorzal@unifesp.br

Ariel FernandesInstituto de Ciência e Tecnologia

Universidade Federal de São PauloSão José dos Campos, SP, Brasil

Email: aryel.fnd@gmail.com

Bruno CastroInstituto de Ciência e Tecnologia

Universidade Federal de São PauloSão José dos Campos, SP, BrasilEmail: mcastrobruno@gmail.com

Abstract—IP cameras are used in various parts of anaerodrome to help manage and control aircraft on the ground.This paper describes the implementation of a prototypethat intersects the feed of these cameras and apply relevantinformation to aircraft on the actual captured image usingreal-time data from a ground radar.

Index Terms—augmented reality; overlapping information;cameras; airport;

Resumo—As câmeras IP são usadas em várias partesde um aeródromo para ajudar a gerenciar e controlar asaeronaves no pátio. Este artigo descreve a implementação deum protótipo que intercepta a alimentação dessas câmeras eaplica informações relevantes às aeronaves usando dados emtempo real de um radar terrestre.

Palavras-Chave—realidade aumentada; sopreposição deinformações; aeroporto;

1. Introdução

Um grande esforço é destinado para o controle e geren-ciamento de um pátio aeroportuário, por duas principaisrazões: otimização do uso de recursos (fingers, gates, tra-tores, ônibus de passageiros, etc.) e o custo de se manteruma aeronave no solo. É de interesse, então, de todas aspartes envolvidas (passageiros, aeroporto e companhias) deque o processo seja o mais eficiente possível.

Dado uma aeronave estacionada, as seguintes infor-mações são cruciais para tomadas de decisão dentro de umaCOA (Centro de Operações Aeroportuárias):

• Qual o tipo de equipamento da aeronave? Este tipode equipamento requer alguma atenção especial?

• Qual plano de voo fará uso dessa aeronave?• Quanto tempo ainda resta até o push-back do equipa-

mento?

Operadores de uma COA utilizam diversas câmeras IP(Internet Protocol) espalhadas pelo aeródromo para obter oregistro de uma aeronave (impresso na lataria, o que muitas

vezes obriga o operador a utilizar os controles de posiçãoe zoom de uma câmera para identificar um equipamento) evalidá-lo contra sistemas de controle/planilhas de planeja-mento de recursos para obter respostas às questões acima.

O objetivo deste trabalho foi implementar um protótipoque disponibiliza imagens em tempo real de uma câmerado aeródromo sobrepostas com informações de um radarde solo que são relevantes ao trabalho de uma COA. Maisespecificamente, pode-se listar os seguintes ítens: Mostraro vídeo de uma câmera IP; Receber dados das aeronavesdo radar de solo e; Renderizar etiquetas sobre as aeronavespresentes no vídeo apresentado em tempo real.

2. Trabalhos Relacionados

Este trabalho foi desenvolvido utilizando técnicas deRealidade Aumentada. A Realidade Aumentada pode serdefinida como uma tecnologia que permite combinar ob-jetos virtuais ao ambinte real, utilizando técnicas de visãocomputacional e algum dispositivo tecnologico para visu-alizar/gerar o ambiente misturado [1] [2].

Cabe ressaltar que já existem alguns trabalhos relaciona-dos que utilizam a Realidade Aumentada para melhorar avisualização de informações aeroportuárias. Podem-se citar[3] que utiliza HMDs (Head-Mounted Display) nos exper-imentos aplicados para sobrepor informações, [4] que uti-lizou a Realidade Aumentada para melhorar a visualizaçãono sistema de rastreamento de aeronaves nas proximidadesdos aeroportos e o projeto RETINA [5] [6] que tambémpropõe melhorias sobrepondo informações aeroportuárias.Alem desses trabalhos, também é possível verificar o usoda Relidade Aumentada aplicados a sistemas de vigilânciapara torres de controle de aeroportos [7]. Ainda, pode-se en-contrar o trabalho [8] que apresenta uma revisão sistemáticade ambientes virtuais tridimensionais aplicados à torres decontrole de tráfego aéreo. Neste último trabalho, o assuntoem questão é descrito como relevante e portador de grandesdesafios que estão sendo estudados por vários centros depesquisa em todo o mundo.

2017 19th Symposium on Virtual and Augmented Reality

978-1-5386-3588-9/17 $31.00 © 2017 IEEE

DOI 10.1109/SVR.2017.53

253

3. Metodologia

Para que os objetivos deste trabalho fossem alcançados,alguns passos foram traçados. Primeiramente, foi necessárioutilizar gravações de câmeras IP de aeroportos para simularum feed de vídeo em tempo-real. Similarmente, gravaçõesde dados de um sistema ASMGCS (radar de solo) do mesmoperíodo foram utilizados. Interpretadores ASTERIX Catego-ria 11 foram implementados para deserializar os dados degravação de radar.

O framework DirectX 11 e a plataforma .NET foramusados para renderizar as etiquetas sobre o feed de vídeodas câmeras e realizar as técnicas de Realidade Aumentada.

3.1. Dados de vídeo e simulação

O vídeo utilizado neste trabalho é uma gravação deuma das câmeras do pátio do Aeroporto Internacional deGuarulhos (SBGR). A Figura 1 apresenta um frame de umagravação de SBGR.

Figura 1. Frame de uma gravação de SBGR.

Para apresentar o vídeo ao usuário, o protótipo lê osframes do vídeo e os aplica como uma textura do Di-rect3D [9] em um retângulo do tamanho da área disponívelpara renderização (tamanho da janela da aplicação). Ocuidado que se deve ter nesta etapa é utilizar uma projeçãoortogonal ao invés de uma projeção de perspectiva, já queo conteúdo do vídeo em si, óbviamente, já é a aplicação deuma projeção de perspectiva ao frustum da câmera.

3.1.1. Framerate. Câmeras IP geralmente fazem o broad-cast de suas imagens em tempo em intervalos fixos (di-ferente de sua gravação, cujo framerate é limitado peloequipamento).

3.2. Dados do radar e simulação

O feed de radar utilizado neste trabalho também é umagravação de um dos clientes do sistema de radar do Aero-porto Internacional de Guarulhos (SBGR).

É necessário que ambas as gravações (vídeo e radar)estejam em sincronia para que as etiquetas sobrepostas naimagem estejam de acordo com a posição real das aeronaves.Para facilitar o processo, foram excluídas as informações defaixas de tempo diferentes da gravação de vídeo. Coinciden-temente, sistemas de radar com fusão geram informaçõesnovas a cada um (1) segundo, tornando trivial o processode sincronia: é necessário apenas carregar ambos os framese registros de radar a cada um (1) segundo.

3.2.1. A-SMGCS. A-SMGCS (Advanced SurveillanceMovement Guidance and Control System) [10] é uma ca-tegoria de sistemas de múltiplos radares que trabalham emconjunto para alimentar um módulo de fusão que disponibi-liza diversos tipos de informação de um determinado veículodentro da área do aeródromo.

3.2.2. ASTERIX. ASTERIX (All Purpose Structured Eu-rocontrol Surveillance Information Exchange) [11] é umpadrão criado pela Eurocontrol que define um protocolo paratroca de diversos tipos de mensagem, incluindo mensagensoriundas de um A-SMGCS.

O subgrupo de mensagens “Categoria 11” do protocoloASTERIX é o que engloba as mensagens de maior interessepara este trabalho. Mais especificamente:

• I011/042 – Calculated Position in Cartesian Co-ordinates;

• I011/390 – Flight Plan Related Data.

3.3. Sobreposição

A identificação das aeronaves na imagem de vídeo nãoé feita através de reconhecimento de imagem, que é umatarefa mais complexa. O protótipo utiliza de conceitos deprojeção de computação gráfica para construir um ambientetridimensional projetado em perspectiva sobre as imagensde vídeo.

Dado um conjunto de pontos bidimensional (utilizadopelo A-SMGCS) que representa o espaço do aeródromo,é possível construir um plano que, quando renderizado daperspectiva da câmera que gravou o vídeo, aproxima-sevisualmente do solo do aeródromo (Figura 2).

Deve-se ter um certo cuidado ao configurar a posição dacâmera (eye position), a posição de foco da câmera (look-at) e o ângulo de visão da câmera (equipamentos diferentespossuem ângulos de visão diferentes) no Direct3D para quereflitam a posição real da câmera em relação ao plano quedefine o solo do aeródromo.

Câmeras IP que possuem controle de movimentaçãogeralmente fazem broadcast de sua posição. Dessa maneira,para simular uma eventual movimentação de uma câmeraconectada, um arquivo foi utilizado com a posição e focoda câmera em cada segundo do vídeo (Figura 3).

3.3.1. Etiquetas e posicionamento. As etiquetas dos pro-tótipos são formadas pelo registro das aeronaves (registra-tion mark), informação essa extraída da mensagem AS-TERIX I011/390 – Flight Plan Related Data. O registro

254

Figura 2. Plano projetado em vídeo.

Figura 3. Exemplo de um arquivo utilizado.

das aeronaves é o que os operadores de uma COA utilizampara validar um equipamento (Figura 4).

Figura 4. Etiquetas projetadas em vídeo.

O posicionamento das etiquetas torna-se trivial ao se re-alizar que, dadas as coordenadas das aeronaves em um planocartesiano pelo radar (I011/042 – Calculated Position inCartesian Coordinates), renderizá-las corretamente resume-se em adicionar um objeto que represente a etiqueta à cenatridimensional com posições (X,Y,Z), onde X é a primeira

componente da coordenada da aeronave, Y é a distância daetiqueta ao solo e Z é a segunda componente da coordenadada aeronave. A Figura 5 apresenta as etiquetas sobrepostasàs aeronaves.

Figura 5. Etiquetas projetadas nas posições das aeronaves.

4. Considerações Finais

O tipo de display para Realidade Aumentada utilizadoneste trabalho é definido como sistema de visão por vídeobaseado em monitor. Este sistema utiliza uma câmera devídeo para capturar a cena real. Depois de capturada, acena real é misturada com os objetos virtuais gerados porcomputador e apresentada no monitor. O ponto de vista dousuário normalmente é fixo e depende do posicionamentoda câmera.

O processo de desenvolver aplicações de RealidadeAumentada e agregar técnicas de Visualização de Infor-mações permite enriquecer a informação visual apresentadaao usuário, tornando-a mais compreensível e com um maiornível de abstração. Estas técnicas permitem transformar ainformação abstrata em formas gráficas inteligíveis e ma-nipuláveis pelo usuário.

O protótipo desenvolvido neste trabalho mostra que épossível construir auxílios para sistemas de radares atu-ais, complementando a tradicional projeção bidimensionale ajudando em tarefas de identificação através de RealidadeAumentada sem a necessidade de utilizar técnicas de pro-cessamento de imagem, e sim a precisão de equipamentosde radar já estabelecidos no mercado.

Referências

[1] R. Tori, C. Kirner, and R. A. Siscoutto, Fundamentos e tecnologiade realidade virtual e aumentada. Editora SBC, 2006.

[2] R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, and B. MacIn-tyre, “Recent advances in augmented reality,” IEEE computer graph-ics and applications, vol. 21, no. 6, pp. 34–47, 2001.

[3] R. Reisman and S. Ellis, “Augmented reality for air traffic controltowers,” in ACM SIGGRAPH 2003 Sketches &Amp; Applications,ser. SIGGRAPH ’03. New York, NY, USA: ACM, 2003, pp. 1–1.[Online]. Available: http://doi.acm.org/10.1145/965400.965426

[4] R. J. Reisman, S. K. Feiner, and D. M. Brown, “Augmented realitytower technology flight test,” in Proceedings of the InternationalConference on Human-Computer Interaction in Aerospace, ser.HCI-Aero ’14. New York, NY, USA: ACM, 2014, pp. 8:1–8:8.[Online]. Available: http://doi.acm.org/10.1145/2669592.2669651

255

[5] N. Masotti, S. Bagassi, and F. D. Crescenzio, “Augmented realityin the control tower: a rendering pipeline for multiple head-trackedhead-up displays,” Augmented Reality, Virtual Reality, and ComputerGraphics - Lecture Notes in Computer Science, vol. 9768, pp. 321–338, June 2016. [Online]. Available: http://amsacta.unibo.it/5437/

[6] S. Bagassi, F. De Crescenzio, F. Lucchi, and N. Masotti, “Augmentedand virtual reality in the airport control tower,” in 30th congress of theinternational council of the aeronautical sciences, ser. ICAS 2016,2016, p. 1–8.

[7] A. Silva, E. Ferreira, N. Laforge, and S. Carvalho, “The use of surveil-lance data in augmented reality system to assist control tower opera-tions,” in 2015 3rd Experiment International Conference (exp.at’15),June 2015, pp. 178–182.

[8] A. P. d. O. Santos, “Three-dimensional virtual environment in airtraffic control tower: A sistematic review,” in 2014 XVI Symposiumon Virtual and Augmented Reality, May 2014, pp. 156–162.

[9] Microsoft. (2017) Direct3d. [On-line]. Available: https://msdn.microsoft.com/en-us/library/windows/desktop/hh309466(v=vs.85).aspx

[10] R. Castor, L. Belger, A. Jelu, P. I. Skaar, E. Henriksen, and F. Berg-Nielsen, “Airport surface movement guidance and control system,”Aug. 2001, uS Patent 6,282,488.

[11] A. P. S. Eurocontrol, “Surveillance data exchange part 1 all purposestructured eurocontrol surveillance information exchange (asterix).”

256