Uma ferramenta para apoiar a visualização da anatomia cardíaca com Realidade Aumentada

Nayara Consuelo Gomes Rangel Instituto de Ciência e Tecnologia

Universidade Federal de São Paulo – UNIFESP São José dos Campos, Brasil naya.rangel012@gmail.com

Ezequiel Roberto Zorzal

Instituto de Ciência e Tecnologia Universidade Federal de São Paulo – UNIFESP

São José dos Campos, Brasil ezorzal@gmail.com

Luiz Augusto dos Santos Carvalho Instituto de Ciência e Tecnologia

Universidade Federal de São Paulo – UNIFESP São José dos Campos, Brasil

lgusto@gmail.com

Regina Célia Coelho Instituto de Ciência e Tecnologia

Universidade Federal de São Paulo – UNIFESP São José dos Campos, Brasil reginaccoelho@gmail.com

Resumo—Este trabalho apresenta uma ferramenta para apoiar a visualização da anatomia cardíaca utilizando técnicas de Realidade Aumentada. O usuário pode interagir livremente com o modelo tridimensional do coração humano e visualizar suas estruturas. Além disso, o usuário pode utilizar a ferramenta para cortar o modelo em tempo real e visualizar as estruturas internas do órgão.

Palavras-chave- coração; anatomia cardíaca; Realidade Aumentada; educação.

I. INTRODUÇÃO É comum a busca de inovações na área da educação,

principalmente o desenvolvimento de novas ferramentas que podem tornar o aprendizado em geral mais interessante e eficaz [1, 2]. Os métodos utilizados atualmente para o estudo da anatomia cardíaca são em sua maioria baseados em figuras bidimensionais impressas em livros [3]. Outro fator negativo é que o aluno raramente tem contato com aplicações sofisticadas que simula o coração humano, por serem caras e a maioria possuírem poucos recursos [4, 5]. Além disso, não é sempre que o aluno pode analisar um coração funcionando em um corpo humano devido a diversos fatores éticos e operacionais. Considerando essas dificuldades, desenvolveu-se uma ferramenta para apoiar a visualização da anatomia cardíaca usando Realidade Aumentada (RA), que atualmente é uma tecnologia acessível, por ser simples de utilizar e de baixo custo.

A RA, em sua maneira mais comum, permite a visualização de objetos virtuais em ambientes reais por meio de computadores equipados com uma câmera de vídeo, ou mesmo a partir de dispositivos portáteis, tais como tablets e celulares. O papel da RA é a tentativa de trazer modelos virtuais para o ambiente real, aproximando assim o usuário de alguns elementos que não poderiam estar disponíveis no mundo real [6]. Além disso, a RA pode desenvolver o sentido de percepção espacial nos usuários [7]. Mantendo essa linha, pode-se aproveitar essa tecnologia para inserir no ambiente real, elementos virtuais que são úteis para profissionais em formação, com fins educativos e até mesmo para o entretenimento [8- 12].

Compreender a complexidade da anatomia humana, mesmo em parte, é algo que requer muito tempo e estudo. Neste artigo serão discutidas as possibilidades de usar essa tecnologia para desenvolver uma ferramenta que auxilia no ensino da anatomia básica cardíaca, proporcionando um ambiente dedicado ao estudo do coração humano. A ferramenta apresentada neste trabalho traz um modelo tridimensional do coração para o ambiente real, permitindo o estudo da sua anatomia de um modo simples e fácil. Uma vez que é possível interagir com o modelo para visualizar as estruturas que são realçadas e realizar cortes em tempo real no modelo virtual permitindo a visualização das estruturas internas.

Este trabalho está organizado em seis seções. Na Seção II são apresentados alguns trabalhos relacionados. Uma breve explicação sobre anatomia cardíaca é apresentada na Seção III. Algumas considerações sobre as tecnologias envolvidas na implementação da ferramenta e os modelos externos utilizados são apresentadas na Seção IV. A Seção V apresenta o funcionamento da ferramenta e a explicação detalhada sobre os algoritmos implementados. Finalmente, na Seção VI são apresentas as conclusões e considerações sobre trabalhos futuros.

II. TRABALHOS RELACIONADOS Já existem alguns projetos sobre o ensino da anatomia

usando RA, todos apresentam resultados positivos. Pode-se citar o projeto LearnAR [13] (Figura 1) que é uma ferramenta Web com RA para ensinar diversas disciplinas, como a biologia, anatomia e geometria.

Figura 1. Ambiente da ferramenta LearnAR para o ensino de anatomia [13].

Para utilizar a ferramenta LearnAR, o usuário precisa imprimir o marcador para cada finalidade diferente e apresentá-lo a uma câmera de vídeo conectada a um computador comum. Quando o marcador é reconhecido, a ferramenta integra no ambiente real, modelos tridimensionais didáticos com alguma informação útil relacionado ao modelo em tempo real.

A empresa Total Immersion [14] também desenvolveu uma ferramenta semelhante usando RA que mostra o coração humano. O usuário pode interagir livremente com o coração enquanto as informações sobre o órgão são apresentadas. Esta ferramenta fornece informações sobre saúde, doenças comuns, curiosidades sobre o órgão e também algumas informações úteis sobre cada estrutura de válvula e a câmara do coração. O modelo tridimensional e todas as animações desta aplicação são bastante sofisticados e realistas, tornando o ambiente verdadeiramente envolvente e convincente. A Figura 2 apresenta a ferramenta em uso.

Figura 2. Ferramenta desenvolvida pela Total Immersion para o ensino de anatomia cardíaca [14].

Também, pode-se citar uma ferramenta desenvolvida para visualização e simulação de sinais cardíacos, utilizando técnicas de RA. A ferramenta [15] foi desenvolvida pela Universidade Federal de Uberlândia e permite a visualização da mecânica dos batimentos cardíacos de acordo com dados de um eletrocardiograma (ECG). Sinais cardiológicos (ECG) são uma importante fonte de dados para vários diagnóstico de doenças do coração. Com base nisto, essa ferramenta é útil para a formação médica, uma vez que o aplicativo é capaz de mostrar o comportamento do coração de acordo com cada sinal cardiológico de entrada. Nas Figuras 3 e 4, é possível visualizar o software em operação.

Figura 3. Ferramenta desenvolvida para visualização e simulação de sinais cardíacos. Interface do sistema com imagem ECG capturada[15].

Figura 4. Ferramenta desenvolvida para visualização e simulação de sinais cardíacos usando RA mostrando a animação do coração de acordo com os

dados capturados do ECG[15].

Todos os projetos analisados são interessantes por diversos motivos, seja a utilidade, melhorar o sentido espacial em estudantes ou por ter baixo custo. Todas as ferramentas podem ser usadas para fins de educação em diferentes níveis. Alguns são mais úteis na educação básica para alunos do ensino fundamental e ensino médio, como o LearnAR [13] e as ferramentas da Total Immersion [14]. E alguns podem ser utilizados para a formação médica, tais como a ferramenta da Total Immersion e particularmente o trabalho de Lamounier et. al. [15]. No entanto, nenhum deles permite ao usuário executar os cortes nos órgãos em tempo real para uma melhor visualização das estruturas internas.

III. ANATOMIA CARDÍACA BÁSICA O coração humano é um órgão extremamente fascinante e

complexo, sua principal função é bombear o sangue por todo o corpo. Ele está localizado no peito, ligeiramente inclinado para a direita e para baixo. O coração funciona como uma bomba hidráulica, onde o átrio e o ventrículo do lado direito levam o sangue rico em dióxido de carbono para os pulmões, onde depois de algumas trocas gasosas serão enriquecidos com oxigênio, voltando ao coração, na aurícula esquerda.

Este átrio bombeia o sangue para o ventrículo esquerdo, que bombeia, pela aorta, este sangue rico em oxigênio para o corpo [16]. Algumas das estruturas envolvidas no processo mencionado acima foram evidenciadas no modelo utilizado para a representação da anatomia cardíaca (Figura 5). São eles: aorta, veia cava, tronco pulmonar, átrio esquerdo, átrio direito, ventrículo direito, veia cava inferior e veias pulmonares.

Figura 5. Coração humano com algumas estruturas destacadas.

As estruturas internas, embora presentes, não foram destacadas, pois isso será feito em trabalhos futuros. A interface também sofrerá alterações para suportar a mudança entre as estruturas internas e externas para melhorar o processo de aprendizagem.

IV. AQUISIÇÃO DO MODELO Para implementar o ambiente de RA na aplicação (chamada

Projeto S2) foi usada a toolkit OsgArt 2 [17]. Ela é uma biblioteca de código aberto, escrita em C/C++, e que funciona em conjunto com a biblioteca de RA ARToolkit [18], permitindo a inclusão de modelos tridimensionais da biblioteca OpenSceneGraph (OSG) [19], que também possui código aberto. A OsgArt 2 funciona de forma muito semelhante a ARToolKit, porém possibilitando o desenvolvimento de ambientes de RA muito sofisticados, uma vez que a biblioteca é capaz de carregar inúmeros formatos de modelos tridimensionais (via plugins OSG) e por contar com a vasta gama de funcionalidades da OSG. O viewer da OSG também pode ser facilmente integrado a vários frameworks de interfaces, facilitando, assim, a construção de interfaces gráficas sofisticadas.

Foram utilizados dois modelos tridimensionais no ambiente de RA desenvolvido. Um deles é o modelo do coração, que foi adquirido no repositório livre na Web chamado 3dVia [20], sob licença da Creative Commons. O outro modelo tridimensional usado é de um bisturi que foi criado usando a ferramenta comercial Autodesk Maya versão 2012 [21]. Ambos os modelos foram convertidos para extensões compatíveis com a OSG usando a ferramenta osgconversion fornecida pela biblioteca OpenSceneGraph. Portanto, ambos os modelos podem ser carregados e manipulados apropriadamente no ambiente OsgArt 2 e podem sofrer modificações adicionais em tempo real.

V. PROJETO S2 O ambiente de RA do projeto S2 foi implementado usando

a linguagem C++ e faz uso das bibliotecas: OSG 3.01 [18], Boost 1.47.0 [22], ARToolKit [18], OsgArt 2.0 release candidate 3 [17] e Qt 4.7.4 (framework) [23]. Para a aplicação de shaders foi utilizada a GLSL (OpenGL Shading Language) [24].

A. Algoritmo Usando a biblioteca OsgArt 2.0 é possível carregar o

modelo na cena para ser livremente rotacionado utilizando o marcador, permitindo a visualização tridimensional completa (em todos os ângulos e por todos os lados) do modelo do coração. Isso é feito por algoritmos de reconhecimento de padrões e geometria espacial fornecida pela biblioteca de RA e bibliotecas gráficas, respectivamente. Na Figura 6 é possível ver o modelo do coração no ambiente de RA.

Para a ferramenta de corte trabalhar apropriadamente, foi necessário utilizar um algoritmo para detecção de colisão para determinar a profundidade de cada corte no coração. Há vários algoritmos que poderiam ser usados para tal finalidade, tais como limite de caixa (bounding box), limite de esfera (bounding sphere), colisão com polígono convexo, colisão por vértice, entre outros. No entanto, alguns deles apresentam resultados insatisfatórios para aplicação nesse caso em particular. O limite de caixa é um método simples computacionalmente. Nele, cada objeto é colocado dentro de uma caixa (a menor caixa que caiba o objeto dentro) e a colisão entre os objetos ocorre quando duas dessas caixas se colidem.

No entanto, esse algoritmo não apresentou um resultado satisfatório para o projeto quando se esperou uma resposta em tempo real.

Figura 6. Modelo de coração no ambiente de RA.

Os métodos de colisão de polígonos e colisão por vértices também consomem muito tempo de processamento e podem diminuir o desempenho do sistema, comprometendo o resultado final [25].

Pelas razões apresentadas anteriormente, o cálculo de colisão entre dois objetos nas cenas foi realizado pelo método de limite de esfera. Esse algoritmo apresentou o efeito desejado sem comprometer o tempo de resposta de interação com o ambiente desenvolvido. Neste método, cada objeto é colocado dentro de uma esfera fazendo com que o centro da esfera coincida com o centro do objeto, e seu raio seja a distância do centro do objeto até o ponto mais distante do seu centro [25], como mostrado na Figuras 7. Com esta informação é possível verificar a colisão calculando a interseção entre as esferas (Figura 8).

(a) (b)

Figura 7. Modelo de coração humano (a) e do bisturi (b) dentro de uma esfera delimitadora.

Figura 8. Exemplo de colisão entre o esferas delimitadoras do coração humano e do bisturi.

Se o teste de colisão for positivo, a aplicação considera as coordenadas do ponto central da esfera referente ao bisturi como o plano de corte do coração e a profundidade. Com a informação de posição dos objetos e o teste de colisão positivo, é possível realizar o corte no coração em tempo real. Isso é feito com o uso de shaders (GLSL) que interrompem o pipeline de renderização para aplicar o efeito desejado.

Shaders são pequenos programas ou conjunto de algoritmos que determinam como as propriedades da superfície tridimensional dos objetos serão renderizadas e como a iluminação interage com a superfície do objeto em um programa de computador para manipulação de cenas tridimensionais. Há basicamente dois tipos principais de shaders: vertex shaders e fragment shaders. Os vertex shaders descrevem as características dos vértices, como posição, coordenadas de textura, etc, enquanto os fragmente shaders (ou pixel shaders) descrevem as características do pixel, como cor, sombreamento, textura, etc [24].

Na linguagem GLSL as declarações de variáveis podem ter um qualificador de armazenamento que deve ser especificado na frente do tipo. No projeto S2 foram usados os qualificadores de armazenamento varyings e uniforms.

Um qualificador varying faz uma correspondência entre um veretx shader e um fragmente shader para dados interpolados. Um qualificador uniform é um valor uniforme que não é alterado pela primitiva que estiver sendo processada e faz a ligação entre um shader OpenGL e a aplicação [24]. Neste caso, conhecendo a coordenada de profundidade do bisturi, é possível determinar um plano de recorte do coração pelo algoritmo de fragmente shader apresentado na Figura 9.

Figura 9. Algoritmo de fragment shader para realizar cortes no modelo de coração.

Na primeira linha do código é declarada uma varying chamada current_position que é um vetor de três posições obtido no vertex shader que armazena a posição atual em que o shader está sendo aplicado. Na segunda linha do programa foi definido um uniform float chamado cut_depth que corresponde à posição do bisturi que é fornecido ao shader quando uma colisão entre o coração e o bisturi for encontrada. Finalizando a declaração de variáveis externas, na linha três há o valor alpha que também é definido como um uniform float para o programa shader. Esse valor é modificado pelo usuário em tempo real usando a interface do projeto S2.

Na função principal do fragment shader (função main) é definido um vetor de quatro posições que armazenará a cor do

fragmento. Nesse código também é calculada a contribuição de todas as luzes da cena neste ponto.

Na linha 11 há um teste para verificar se a posição atual no eixo y (profundidade) é maior ou igual à cut_depth. Se esse teste for verdadeiro (true), na linha 12 o valor alpha passado como um parâmetro uniform ao programa fragment shader é atribuído ao canal alfa da variável final_color, que armazena a cor atual do fragmento considerando as contribuições de luz, fornecendo, portanto, o efeito de transparência, ou corte, do coração quando o valor de alpha for zero.

Na Figura 10 é possível ver, em dois ângulos de visualização diferentes, como esta parte do algoritmo trabalha, sendo que tudo o que está na frente da linha branca (bisturi) será cortado em tempo real.

Figura 10. Imagem ilustrando como o bisturi determina a profundidade do corte em dois pontos de vista diferente.

Na linha 14 a cor atual que foi calculada é atribuída como cor do fragmento.

O shader é calculado em tempo real para qualquer valor de profundidade dada pela posição do bisturi. Na Figura 11 é possível ver alguns exemplos de cortes do coração a partir de várias profundidades diferentes.

Figura 11. Coração cortado em diferentes profundidades.

Um resultado da aplicação deste algoritmo para um valor de alpha igual a zero (transparência total) pode ser visto na Figura 12.

Figura 12. Exemplo de corte do coração humano com alpha igual a zero.

B. Utilização da ferramenta A interface da ferramenta é amigável e intuitiva.

Atualmente a ferramenta funciona apenas na plataforma Linux, porém é possível adaptá-la facilmente para funcionar em outras plataformas. Ao iniciar o programa, a aplicação automaticamente tentará acessar uma câmera de vídeo para mostrar o vídeo na widget da função principal da aplicação. Para cada marcador registrado no programa, um modelo tridimensional deverá ser mostrado. Foram registrados dois marcadores, sendo um para o modelo do coração e outro para o modelo do bisturi.

Para realizar um corte no coração é necessário mostrar o marcador associado com o bisturi e o marcador associado com o coração, para a câmera. Movendo o marcador do bisturi para perto e para longe da câmera e mantendo certa proximidade do modelo do coração, é possível realizar o corte em diferentes profundidades em tempo real.

A barra vertical localizada no lado esquerdo da janela gráfica varia o valor de alpha que será aplicado ao corte no coração, permitindo definir diferentes níveis de transparência no modelo, como ilustrado nas Figuras 13 e 14.

Figura 13. Exemplo do modelo de coração humano com visão parcial das estruturas internas.

Figura 14. Exemplo de corte no modelo do coração humano usando o modo de transparência total (alpha igual a zero).

C. Desempenho A ferramenta foi desenvolvida e testada em um computador

com processador Intel Core i7 com 4 núcleos de 1.73GHz, 6GB de memória RAM e 1GB GPU nVidia GT 335M. Durante os testes foi alcançado um desempenho de 300-400 fps com ambos os modelos tridimensionais carregados na cena e permitindo cortes no modelo do coração em tempo real. Boa parte do desempenho alcançado foi devido ao sistema de multiprocessamento que foi implementado na ferramenta, dividindo os cálculos em diferentes threads. Foi utilizada uma thread para o vídeo de fundo, outra para o cálculo da colisão, e outra para fazer o corte. Dessa forma, foi possível alcançar o desempenho descrito.

VI. CONCLUSÃO E TRABALHOS FUTUROS Os experimentos com RA como base para o

desenvolvimento de ferramentas educacionais foram satisfatórios, uma vez que eles apresentaram baixo custo computacional, fácil usabilidade e resposta em tempo real. É possível também que o usuário tenha contato com um modelo de coração que permita um aprendizado diferenciado desde que ele possua controle completo do objeto, permitindo a visualização das estruturas cardíacas, uma vez que o usuário pode realizar cortes no modelo do coração de uma maneira simples e fácil.

Para versões futuras da ferramenta as estruturas internas do coração serão destacadas e o modelo, que atualmente é estático, também poderá sofrer deformações para simular o ciclo cardíaco completo. Também poderão ser permitidos cortes no coração em diferentes ângulos, de acordo com a inclinação do bisturi, fornecendo uma melhor visualização de algumas estruturas internas do coração. Outra melhoria na ferramenta poderia ser permitir que a porção do coração que não aparece na cena seja associada a outro marcador. Usando uma versão análoga do algoritmo atual pode ser possível visualizar ambas as porções cortadas do coração.

Versões futuras da aplicação do algoritmo de colisão serão usadas para separar estruturas individuais do coração em diferentes modelos, melhorando ainda mais a experiência de aprendizado.

AGRADECIMENTOS Este projeto está sendo desenvolvido na Universidade

Federal de São Paulo – UNIFESP e em parceria com o Hospital Municipal Dr. José de Carvalho Florence de São José dos Campos, Brasil. Ele tem o financiamento da Fundação de Amparo à Pesquisa - FAPESP (Proc. No. 2012/01505-6).

REFERÊNCIAS

[1] R. Budhiraja, S. Verma, and A. Pandey, "Designing interactive presentation systems for classrooms", in Proc. SIGDOC, 2010, pp.259-260.

[2] E. Woods, M. Billinghurst, J. Looser, G. Aldridge, D. Brown, B. Garrie., and C. Nelles, “Augmenting the science centre and museum experience” in Proceedings of the 2nd international conference on Computer graphics and interactive techniques in Australasia and South East Asia, June 15-18, 2004, Singapore

[3] R. Grasset , A. Dünser , M. Billinghurst, “Edutainment with a mixed reality book: a visually augmented illustrative childrens' book” in Proceedings of the 2008 International Conference on Advances in Computer Entertainment Technology, December 03-05, 2008, Yokohama, Japan

[4] H. Kaufmann, D. Schmalstieg, and M. Wagner, “Construct3D: A Virtual Reality Application for Mathematics and Geometry Education”, in Education and Information Technologies, 2000 5:4, pp. 263-276.

[5] H. Kaufmann, D. Schmalstieg, “Mathematics and geometry education with collaborative augmented reality”, in ACM SIGGRAPH 2002 conference abstracts and applications, July 21-26, 2002, San Antonio, Texas

[6] R. Azuma, “A Survey of Augmented Reality”, in Teleoperators and Virtual Environments, 1997, Vol. 6, No. 4, pp. 355-385.

[7] A.A Rizzo, J.G. Buckwalter, U. Neumann, C. Kesselman, M. Thiebaux, P. Larson, and van A. Rooyen, “The Virtual Reality Mental Rotation Spatial Skills Project”, In CyberPsychology and Behavior, 1(2), 1998, pp. 113-120.

[8] V.S. Pantelidis, “Reasons to Use Virtual Reality in Education”, in VR in the Schools 1(1), 1995. URL: http://www.soe.ecu.edu/vr/reas.html (Revised 2000).

[9] J. Fischer, M. Neff, D. Freudenstein and D. Bartz, ” Medical Augmented Reality based on Commercial Image Guided Surgery ”, in Eurographics Symposium on Virtual Environments (2004).

[10] W. Winn, “A Conceptual Basis for Educational Applications of Virtual Reality”, Technical Report TR 93-9: http://www.hitl.washington.edu/publications/r-93-9/, 1993.

[11] F. Mantovani, “VR Learning: Potential and Challenges for the Use of 3D Environments in Education and Training”, In Towards CyberPsychology: Mind, Cognitions and Society in the Internet Age, Giuseppe Riva & Carlo Galimberti (Eds.), Amsterdam, IOS Press, 2001.

[12] M. Roussos, A. Johnson, T. Moher, J. Leigh, C. Vasilakis, and C. Barnes, “Learning and Building Together in an Immersive Virtual World”, in PRESENCE 8(3), 1999, pp. 247-263, MIT Press.

[13] LearnAR – http://www.learnar.org – last access 2012/02/28 [14] Total Immersion - http://www.t-immersion.com – 2012/02/28 [15] E. Lamounier, A.A.B. Bucioli, A. Cardoso, A. Andrade, A. Soares, “On

the Use of Augmented Reality Techniques in Learning and Interpretation of Cardiologic Data”, Paper presented at the 32nd Annual International Conference of the IEEE EMBS, Buenos Aires, Argentina. 2010.

[16] D.M. McQueen, C. S. Peskin, “A three-dimensional computer model of the human heart for studying cardiac fluid dynamics”, ACM SIGGRAPH Computer Graphics, February 2000, v.34 n.1.

[17] OsgArt 2 – http:// www.osgart.org/ - last access 2011/12/01 [18] ARToolKit – http://www.hitl.washington.edu/artoolkit/ - last access

2011/12/01 [19] OpenSceneGraph – http://www.openscenegraph.org - last access

2011/12/01 [20] 3dVia - http://www.3dvia.com/ - last access 2012/02/28 [21] Autodesk Maya – http://www.autodesk.com/maya - last access

2012/02/28 [22] Boost – http://www.boost.org- last access 2011/12/01 [23] Qt Framework – http://www.qt.nokia.com- last access 2011/12/01 [24] GLSL – http://www.opengl.org/documentation/glsl - last access

2011/12/01 [25] R. Weller, M. Sagardia, D. Mainzer, T. Hulin, G. Zachmann, and

Carsten Preusch,. “A benchmarking suite for 6-DOF real time collision response algorithms”, in Proceedings of the 17th ACM Symposium on Virtual Reality Software and Technology (VRST '10), 2010, ACM, New York, NY, USA, 63-70.