Ferramentas de Exploração para Neuroimagens 3DJosé Elías Yauri Vidalon , Wu Shin-Ting (Orientadora)

Departamento de Engenharia de Computação e Automação Industrial (DCA)Faculdade de Engenharia Elétrica e de Computação (FEEC)

Universidade Estadual de Campinas (Unicamp)Av. Albert Einstein, 400, CEP: 13083-852 – Campinas, SP, Brasil

{elias,ting}@dca.fee.unicamp.br

Abstract – In this work we present a system with three interactive tools (namely a volumetric probe, a movablelens and a 1D transfer function editor) in order to help medical experts in finding subtle lesions on magnetic reso-nance images. We allow the user, based on their experience and medical knowledge, manipulates interactively theoptical properties of the samples of interest, in order to find abnormal radiological findings and make more reliablediagnosis.

Keywords – Magnetic resonance neuroimages. Volume rendering. Focus+context technique. Lens. Probe. 3Ddirect manipulation. Computer-aided diagnosis.

1. IntroduçãoDados volumétricos, ou volumes 3D, são comunshoje em dia nas áreas da ciência, engenharia, geolo-gia, medicina e biologia. Na medicina neurológica,constituem dados volumétricos as imagens resultan-tes de exames clínicos com aparelhos de tomogra-fia computadorizada (TC), ressonância magnética(RM), tomografia por emissão de pósitrons (TEP),etc. Estas neuroimagens são de grande importân-cia para investigação de patologias cerebrais, forne-cendo informações anatômicas, metabólicas e fun-cionais. No entanto, na sua versão original, as neu-roimagens são de difícil compreensão e manuseiopara os médicos e neurocientistas, requerendo se-rem processadas, interpretadas e transformadas emimagens exibíveis em uma tela de computador [13].

Em caso de diagnosticar uma anormalidadeneurológica em estágio inicial, aumenta-se a chancede evitar que esta lesão se agrave, pode-se retardaros sintomas da doença ou até conseguir uma recu-peração plena do paciente. As neuroimagens podemconstituir uma poderosa ferramenta para diagnósti-cos precoces, se os médicos puderem explorar deforma minuciosa e intuitiva as informações conti-das nelas. No entanto, apesar do desenvolvimentode novos algoritmos de visualização e aperfeiçoa-mento de outros, a visualização interativa que per-mite a médicos e neurocirurgiões uma visão explo-ratória da estrutura interna de um paciente ainda seencontra em estágios iniciais, sendo um campo depesquisa desafiante.

Dentre as ferramentas que permitem ex-plorar minuciosamente os tecidos cerebrais a par-tir das neuroimagens, distinguem-se as técnicas de

visualização no modo foco+contexto [5] e os méto-dos de reformatação multi-planar [3]. Os primei-ros permitem uma visão detalhada da região de in-teresse (foco) sem perda do referencial (contexto), epodem ser obtidos por meio de algoritmos de ren-derização multi-modal [7, 17], funções de transfe-rência [6] e lentes mágicas de volume [12]. Por ou-tro lado, técnicas de reformatação multi-planar têmsido desenvolvidos para remover seletivamente par-tes do volume de dados a fim de revelar regiões deocultas do volume. Cortes alinhados aos eixos prin-cipais, cortes em ângulos oblíquos, cortes baseadasem geometrias arbitrárias [14] e cortes curvilíneosparalelos ao couro cabeludo da cabeça [15]) são en-contrados na literatura.

Estes resultados ainda não são inteiramentesatisfatórios para os interesses médicos, sendo umdos obstáculos a dificuldade de perceber a relaçãoespacial entre os tecidos e poder manipulá-los apro-priadamente. Os médicos e neurocientistas esperampoder experimentar diversas hipóteses manuseandode forma compreensível os dados disponíveis, en-fatizando ou atenuando-os, a fim de identificaremvestígios de uma lesão. Neste trabalho, propomos ouso de três técnicas para auxiliar os especialistas daárea médica na busca de achados radiológicos sutisde forma interativa. São apresentados dois objetosde interação, lente móvel e sonda volumétrica, quepermitem atualizar continuamente os dados em focoenquanto são manipulados. Com isso, é possível in-vestigar regiões cerebrais de interesse preservandoo seu contexto. E, a fim de facilitar a percepçãovisual das variações funcionais ou estruturais sutis,fornecemos um editor de funções de transferência1D para realçar ou melhorar o contraste entre os vo-

xels adjacentes. Nossas ferramentas foram avalia-das por um grupo de especialistas em neuroimagensdo Laboratório de Neuroimagem da Faculdade deCiências Médicas da Unicamp [9].

2. Trabalhos Correlatos

A visualização foco+contexto (F+C) fornece umavisão geral (contexto) e informações de interesse(foco) do volume de dados, simultaneamente [5].Ela constitui uma forma alternativa à visualizaçãotradicional fatia-a-fatia 2D, pois produz uma per-cepção 3D que destaca uma região. Sistemas devisualização F+C fornecem uma renderização de-talhada da região “importante” para o usuário, en-quanto a região circundante é menos enfatizada.Diferentes técnicas de renderização e combinaçõesde funções de transferência foram propostas em[7, 8, 6]. Nestas abordagens, uma segmentação pré-via do volume é requerida para destacar as caracte-rísticas de interesse. Zhou et al. adotaram uma abor-dagem orientada a geometria para dividir o volumede dados em regiões de foco e de contexto [17].Nesta abordagem, a renderização é feita em doispassos: o foco é renderizado primeiro com a técnicade renderização direta de volume [6], e o contexto érenderizado em seguida com métodos de renderiza-ção não foto-realística [4]. Porém, conforme enten-demos, a interatividade não é a principal preocupa-ção desse trabalho. Para fornecer controle espacialexplicito, propomos uma sonda volumétrica, com aqual o usuário pode ajustar a posição da região deinteresse arrastando o ponteiro do cursor.

Outro tipo útil de visualização F+C é con-seguido utilizando-se as lentes mágicas. As len-tes modificam a aparência visual dos objetos, po-dem melhorar o aspecto dos dados ou suprimir da-dos que dispersam atenção. Wang et al. fornece-ram lentes de aumento com diferentes característi-cas e integraram-nas ao fluxo da renderização volu-métrica em GPU utilizando ray casting [12]. Casose queira ampliar uma região de interesse específica,é necessário segmentar a imagem. No nosso traba-lho, aplica-se o algoritmo de corte curvilíneo pro-posto por Wu et al. para fornecer, sem nenhuma seg-mentação, vistas que os neurocirurgiões teriam nasala de operação, ou seja, os tecidos expostos [15].Assim, propomos uma lente móvel que visualize so-mente os voxels mais próximos ao observador, sema combinação das propriedades ópticas de todos os

voxels ao longo do raio de visão e, portanto, evi-tando a alteração do conteúdo da informação ori-ginal. Além disso, ao invés das funções de trans-ferência multidimensionais [8], adotamos duas fun-ções de transferência 1D para distinguir o foco deinteresse e a região circundante. Isso garante umavisualização orientada à preservação da informação.

3. PropostaUma visão geral da arquitetura do sistema de auxí-lio ao diagnóstico proposto é apresentada na Fig. 1.Sob o ponto de interface com usuários, desen-volvemos três ferramentas interativas para auxiliaros médicos e neurocientistas na busca de achadosradiológicos em neuroimagens:

• dois objetos de interação baseados no para-digma foco+contexto: a sonda volumétricapara selecionar regiões específicas do vo-lume em 3D e a lente móvel para ampliaruma área de interesse do volume;

• o editor interativo de funções detransferência 1D para realçar de formadiferenciada os contrastes dos tecidos sele-cionados e não selecionados do volume.

Figura 1. Arquitetura do sistema destacandoas três ferramentas propostas.

Sob o ponto de vista de desenvolvimentode software, propomos uma arquitetura unificada derenderização em dois passos para os dados volumé-tricos e os objetos de interação. No primeiro passo,exploramos a capacidade de renderização off-screenpara computar rapidamente os mapas de profundi-dade dos dados. No segundo passo, exploramos afuncionalidade de mistura de cores das GPUs parasobrepor um objeto de interação com os dados volu-métricos, criando de forma eficiente o efeito visualdo objeto de interação estar deslocando entre estesdados.

Segue-se uma breve descrição do algoritmoelaborado para cada ferramenta proposta. O algo-ritmo de sonda volumétrica é executado em doispassos no fluxo de renderização proposta. Em modooff-screen calcula-se os mapas de profundidade daface frontal FF e da face oculta FO da geometriaesférica da sonda. E, em modo normal, o volume dedados é renderizado utilizando o algoritmo ray cas-ting. Cada raio é divido em três intervalos: antes dovalor de profundidade FF , após o valor de profun-didade FO e entre os dois valores de profundidade.Aplica-se a função de transferência do foco para osvoxels neste último intervalo; e para o restante, afunção de transferência do contexto. A cor em cadapixel resulta da composição das propriedades ópti-cas dos voxels ao longo do raio de projeção.

O algoritmo de lente móvel é similar ao al-goritmo descrito em [12], com a diferença na es-tratégia de parada do percurso de cada raio. Apre-sentamos sobre a área focal as propriedades ópti-cas dos voxels visíveis e mais próximos ao observa-dor. Quando se exibe os voxels com suas informa-ções originais, reduzimos a atenuação da imagemproduzida pela composição do volume [6]. Alémdisso, para a atribuição flexível de propriedades óp-ticas aos voxels do volume, fornecemos um editorde função de transferência 1D para mapear os valo-res escalares (das regiões selecionadas e não seleci-onadas) do volume em intensidades de cor. As trêsferramentas foram integradas no VMTK [16] com afinalidade de obtermos um ambiente de exploraçãoe teste mais rico.

Um dos problemas que tivemos que soluci-onar para utilizar os objetos de interação num am-biente de visualização interativa foi conceber umaforma intuitiva de posicionar a sonda e a lente noespaço 3D utilizando o cursor do mouse. Inspiradosdo trabalho de Mesquita e Wu [10], implementamoso cursor 3D que posiciona livremente os objetos deinteração em qualquer ponto do espaço 3D.

4. ResultadosOs nossos algoritmos foram implementadas e tes-tados em um computador Intel R© Core2 Duo CPU2.936 GHz, GPU NVIDIA R© GeForce GT240, comsuporte a OpenGL versão 3.1 [11]. Os códigos fo-ram programados em C++, utilizando a bibliotecade interface gráfica WxWidgets [2]. As funções dabiblioteca GDCM [1] foram utilizadas para impor-

tar os volumes de dados médicos. Neuroimagensde ressonância magnética, modalidade T1, de di-mensões 240×240×180×12 bits, foram fornecidaspelo Laboratório de Neuroimagem da Faculdade deCiências Médicas da Unicamp [9].

Na Fig. 2 ilustra-se a seleção e realce da re-gião cerebral com a sonda. No lado esquerdo e nolado direito das imagens, exibem-se os mapas de corda função de transferência contextual e focal, res-pectivamente.

(a) (b) (c)

Figura 2. Sonda volumétrica: (a) posicionadasobre o volume, (b) realçando a região de inte-resse, e (c) com a geometria da sonda escon-dida.

Nas imagens da Fig. 3 apresentam-se ima-gens produzidas durante a interação com a lente mó-vel com diferentes fatores de ampliação (FA). UmFA=2.5 define uma taxa de ampliação de 250% naregião focal, enquanto FA=1.0 é o referêncial semaumento. Observa-se a diferença entre a região fo-cal e o contexto em termos de contraste.

(a) (b) (c)

Figura 3. Lente móvel sobre corte sagital deuma imagem de RM 3D: (a) FA = 1.0 (sem au-mento), (b) FA = 2.5, e (c) FA = 3.5.

Na Fig 4 apresentam-se duas imagens gera-das com diferentes funções de transferência (FT). Amarca vermelha indica a região lesionada. Detalhesda região lesionada, que são pouco distinguíveis uti-lizando a FT padrão (Fig 4.a), tornam-se percep-tíveis utilizando uma função de transferência não-monotônica, revelando uma displasia cortical focaltipo IIB (Fig 4.b).

(a) (b)

Figura 4. Realce de uma lesão sutil com: (a)uma função de transferência monotônica e (b)uma função de transferência não-monotônica.

5. ConclusõesNesta trabalho foram apresentadas três ferramentasde auxílio para os especialistas da área médica nabusca lesões sutis em imagens de ressonância mag-nética. Elas permitem o usuário manipular de ma-neira interativa as propriedades ópticas das amostrasde interesse, em diferentes níveis de granularidade,até encontrar achados radiológicos anormais.

Referências[1] Gdcm, grass roots dicom version 2.0.18.

http://www.creatis.insa-lyon.fr/software/public/Gdcm, 2011.[Acessado em Março 2013].

[2] wxwidgets, cross-plataform gui library (ver-sion 2.8.12). http://wxwidgets.org,2011. [Acessado em Março 2013].

[3] Isaac Bankman. Handbook of Medical ImageProcessing and Analysis. Academic Press se-ries in biomedical engineering. Elsevier Sci-ence, 2008.

[4] Stefan Bruckner and Meister Eduard Gröl-ler. Volumeshop: An interactive system fordirect volume illustration. In H. RushmeierC. T. Silva, E. Gröller, editor, Proceedings ofIEEE Visualization 2005, pages 671–678, oct2005.

[5] Stuart K. Card, J. D. Mackinlay, and Ben Sh-neiderman. Readings in Information Visua-lization: Using Vision to Think. AcademicPress, London, 1999.

[6] Klaus Engel, Markus Hadwiger, Joe Kniss,Christof Rezk-Salama, and Daniel Weiskopf.Real-Time Volume Graphics. AK Peters, 2006.

[7] H. Hauser, L. Mroz, G. Italo Bischi, and M.E.Groller. Two-level volume rendering. Visua-

lization and Computer Graphics, IEEE Tran-sactions on, 7(3):242–252, jul-sep 2001.

[8] Joe Kniss, Gordon Kindlmann, and CharlesHansen. Multidimensional transfer functi-ons for interactive volume rendering. IEEETransactions on Visualization and ComputerGraphics, 8:270–285, 2002.

[9] LNI-UNICAMP. Laboratório de neuroima-gem - faculdade de ciências médicas – uni-camp. http://www.hc.unicamp.br/laboratorios/lab-neuroimagem.shtml, 2012. [Acessado em Março 2013].

[10] Leonardo A. G. Mesquita and Shin-Ting Wu.Cursors 3D using 2D devices (on line in portu-guese). Technical report, Department of Com-puter Engineering and Industrial Automation,State University of Campinas, 2001. [Aces-sado em Março 2013].

[11] OpenGL. OpenGL, the cross-platformgraphics API. http://www.opengl.org, 2010. [Acessado em Março 2013].

[12] L. Wang, Y. Zhao, K. Mueller, and A. Kauf-man. The magic volume lens: an interac-tive focus+context technique for volume ren-dering. In Visualization, 2005. VIS 05. IEEE,pages 367–374, oct. 2005.

[13] Alan. Watt. 3D Computer Graphics. Addison-Wesley, 3rd edition, 2000.

[14] D. Weiskopf, K. Engel, and T. Ertl. Interactiveclipping techniques for texture-based volumevisualization and volume shading. Visualiza-tion and Computer Graphics, IEEE Transacti-ons on, 9(3):298–312, july-sept. 2003.

[15] Shin-Ting Wu, Clarissa Lin Yasuda, and Fer-nando Cendes. Interactive curvilinear refor-matting in native space. IEEE Transacti-ons on Visualization and Computer Graphics,18(2):299–308, February 2012.

[16] Shin-Ting Wu, J.E. Yauri Vidalon, andL. de Souza Watanabe. VMTK: VisualManipulation Tool for 3D MR Neuro-images.http://www.dca.fee.unicamp.br/projects/mtk/wu/vmtk2.html, 2011.[Acessado em Março 2013].

[17] Jianlong Zhou, M. Hinz, and K.D. Tön-nies. Focal region-guided feature-based vo-lume rendering. In 3D Data Processing Visua-lization and Transmission, 2002. Proceedings.First International Symposium on, pages 87–90, 2002.