SCC-5836 - Visualização Computacional prof. Fernando V ...paulovic/aulas/VIS/2013/apresentacao_fabio.pdf · prof. Fernando V. Paulovich Fábio Rodrigues Jorge São Carlos, 19 de

1

Estado da Arte em VisualizaçãoApresentação de Artigos do VAST-2013/2012 na disciplina de Visualização

SCC-5836 - Visualização Computacionalprof. Fernando V. Paulovich

Fábio Rodrigues Jorge

São Carlos, 19 de novembro de 2013.

2

Índice

→ Introdução→ Introdução ao evento – VAST

→ Justificativa da escolha dos Papers

→ Papers da seção de “Images & Video” do VAST 2013→ VAICo: Visual Analysis for Image Comparison

→ Space-Time Visual Analytics of Eye-Tracking Data for Dynamic Stimuli

→ Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization

→ Comentario rápido sobre esses artigos:

→ Transformation of an Uncertain Video Search Pipeline to a Sketch-based Visual Analytics Loop → Open-Box Spectral Clustering: Applications to Medical Image Analysis

→ Paper da seção de “Visual-Computational Analysis of Multivariate Data” do Vast 2012→ Just-in-Time Annotation of Clusters, Outliers, and Trends in Point-based Data Visualizations

→ Conclusão

3

Introdução

4

Introdução

→ IEEE Vis - Vast2013O Vis (VisWeek) ocorreu na cidade de Atlanta, Georgia, do

dia 13 ao 18 de outubro de 2013.O evento é dividido em 3:

- Vast (Visual Analytics Science and Technology)- InfoVis (Information Visualization)- SciVis (Visualization / Scientific Visualization )

* A professora Rosane Minghim foi chair da sessão “Images & Video” do Vast2013.

→ Justificativa da escolha dos papersA escolha desses trabalhos foi relacionado ao tema do meu

projeto de Mestrado. “Detecção de Anomalias e Aprendizado Ativo em Imagens e Vídeos”. Justamente por trabalhar com imagens e vídeos, é de meu interesse estudar as técnicas de visualização voltadas para esse tipo de dado.

5

Papers da seção de

“Images & Video” do VAST 2013

6

VAICo: Visual Analysis for Image Comparison

Dear Fábio,

I am about to publish a release candidate of VAICo on our website; as soon as it is finished, I will inform you via email and send you the URL.

Best regards,Johanna

-- Dipl.-Ing. Johanna Schmidt, University AssistantInstitute of Computer Graphics and AlgorithmsVienna University of Technology, Austria

7


→ Conceito

Foi proposto uma nova abordagem de visualização para comparar imagens, e que preserva informação de contexto enquanto permite uma análise das diferenças entre as imagens.

(Schmidt et al, 2013)

8


→ Implementação

O dataset é formado por muitas imagens semelhantes que diferem pouco entre si.

As imagens analisadas são divididas em duas partes:- Contextual Information- RoDs (Regions of Differences)

Foi utilizado o MSE (Mean Squared Error) para comparar as imagens. Também foi utilizado um Threshold para regular o grau de sensibilidade das diferenças entre as imagens.


9


Figura 1: Comparação entre imagens (a). Pontos em destaque (b). Regiões em destaque (c)

Figura 2: Alteração da sensibilidade por meio do Threshold.


10


1ª etapa: Criação dos RoDs

- É realizado um comparação pixel por pixel entre as imagens e identificado os pixels que se diferenciam (mais que o Treshold utilizado)

- Através de um algoritmo de crescimento de região, procura os 8-conectados pixels que se diferenciam e começa a formar uma nova região. No Final, é computado um RoD na posição em que existe várias sobreposições de regiões.

Obs: Cada RoD gerado possui pelo menos uma imagem geradora. (As vezes a situação de existir apenas uma imagem geradora, indica que essa imagem é um outlier) .


11


2ª etapa: Criação da Hierarquia de grupos de RoDs.

- Foi aplicado agrupamento. Isso permite a classificação das mudanças.

- “complete-linkage agglomerative hierarchical clustering”

- Em cada iteração os clusters são combinados de acordo com uma distância de similaridade.

-O agrupamento só termina quando os RoDs daquela determinada região são todos agrupados em um único grande cluster.

-No final então temos uma arvore.


12


Figura 3: Arvore de cluster. Cada nó representa um Cluster. Nivel 0 representa todas as imagens do dataset. Os níveis superiores representam as imagens agrupadas por

similaridade. No ultimo nível, h=3, possuí apenas um cluster contendo todas as imagens.


13


Figura 4: Interface da aplicação. Na imagem (d) é a opção de regular o nível do clusters.

- Quanto mais escuro um cluster bullet, maior a quantidade de imagens ele possui.


14


→ Limitação

- Se tiver muitos clusters terá problema na hora de apresentar ao redor de um widget.

- O MSE não se comporta muito bem para mudanças globais na imagem, como aumento do brilho. Usar MSE normalizado é uma saída.

- Não trabalha bem com um dataset com muitas diferenças entre as imagens. Imagens de movimento por exemplo.


15


Figura 5: Exemplo da abordagem sendo executada no dataset Puzzle.


16


Figura 6: Exemplo dos widgets com os clusters expandidos.


17

Vídeo

18

Space-Time Visual Analytics of Eye-Tracking Data for Dynamic Stimuli

→ Conceito

É apresentado um método de análise de dados gravados do movimento dos olhos, em situações de estímulos dinâmicos como vídeos.

(Kurzhals et al, 2013)

19


Figura 7: Visualização por meio de um cubo espaço-temporal de dados de rastreamento de olhos para estímulos em vídeos, enriquecido pelo agrupamento de regiões que atraem o olhar.


20


→ Implementação

- Visualização espaço-temporatal em forma de cubo (Space-Time Cube, STC).

- Algoritmos de visualização e de agrupamento de dados de eye-gaze de muitos espectadores.

- Uma visualização que resumi todo o dataset (STC).

- A cor dos pontos de dados representa o quão próximos os pontos estão do centro de massa do frame

→ Para solucionar os problemas de oclusão e percepção de profundidade, a ferramenta permite a projeção adicional de paredes.


21


→ Implementação

São usadas múltiplas visões coordenadas para mostrar os diferentes aspectos espaço-temporais dos dados.(Figura 8)

→ Análise de grupos

Os grupos representam áreas de “attentional synchrony”. São áreas de interesse onde vários observadores estão olhando durante um certo período de tempo.


22


Figura 8:Interface da ferramenta.


23


Figura 8:Interface da ferramenta.


24


Figura 9: Múltiplas áreas de interesse


25

Vídeo

26

Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization

→ Conceito

Os autores apresentaram um sistema para análise visual de vídeos (de segurança). Esse sistema se chama sViSIT.

Foi proposto também uma avaliação, com profissionais que trabalham com a análise de vídeos de segurança.

(Meghdadi et al, 2013)

27


→ Implementação

A ferramenta proposta, tem o objetivo de resumir, em apenas uma visualização, a trajetória de objetos individuais em movimento, sem perder o conteúdo (e o contexto).


28


Figura 10: O cubo permite a visualização espaço-temporal da trajetória de movimento


29


→ Implementação

- O algoritmo de movimento e detecção, detecta o objetos em movimento e extraem a trajetória de movimento.

- Existe uma etapa que define o background, e atualiza ele a cada 5 segundos.

- Os objetos são rastreados, identificando o objeto que se movimenta (segmento) em cada frame com o que mais se assemelha no próximo frame. Nessa etapa foi usada a distância “generalized Mahalanobis” como medida de similaridade.


30


Figura 11: Etapas para a detecção do primeiro plano (foreground) e separação dos objetos a serem rastreados


31


→ Implementação

Foi usado um grafo em camadas no rastreio dos objetos em movimento.

Cada camada pertence a um frame, e cada nó a uma segmento sendo rastreado. É feito um link com cada nó da camada anterior que mais se assemelha com o nó da camada atual.

Figura 12: Grafo de camadas representando os objetos em movimento


32


→ Implementação

- Foi implementado um algoritmo de profundidade para encontrar os caminhos dos objetos em cada frame, e então resumir (summarize) em apenas uma imagem

INTERAÇÃO- Um dos filtros implementados, permite ao usuário

selecionarem ROIs (Regions of Interest) e desse modo o sistema apresenta apenas os eventos que intersectam com aquela região.

- O usuário também pode pular de um ponto para outro no vídeo, sendo auxiliado por uma time-line que destaca os eventos de interesse.


33


→ Avaliação

Foi desenvolvido uma outra ferramenta que usa técnicas de avanço rápido nos vídeos juntamente com detecção de movimento (FFMD), mas sem a interface de visualização proposta pelo sViSIT.

Essa ferramenta foi usada como comparativo entre usuários.

TESTEO teste envolveu 18 voluntários, que tinham o objetivo de

procurarem alguns objetos em vídeos de segurança.


34


Figura 13: Interface da ferramenta proposta


35

Vídeo

36

Comentário rápido sobre 2 papers da mesma sessão

37

Transformation of an Uncertain Video Search Pipeline to a Sketch-based Visual Analytics Loop

→ Conceito

Nesse trabalho foi proposto uma ferramenta para análise visual de sistemas de busca em imagens e vídeos através de esboços.

(Legg et al, 2013)

38


→ Implementação

São usadas vários tipos de visualizações para ajudar na análise:

- Espaço de parâmetros (retas paralelas)- Resultados da busca (para aplicar Aprendizado Ativo)- Espaço de busca (Gráfico de barras e Glyphs)

(Legg et al, 2013)

39


(Legg et al, 2013)

Figura 14: Interface da ferramenta proposta

40

Open-Box Spectral Clustering: Applications to Medical Image Analysis

Dear Fábio Rodrigues Jorge,

Thank you for your interest. Unfortunately, the clustering is tightly integrated into a bigger in-house software system and it would require a major effort to prepare it for publication. However, the lung datasets we used are publicly available from http://www.via.cornell.edu/databases/crpf.html

Best regards

(Schultz et al, 2013)

41


→ Conceito / Implementação

Spectral clustering é usado frequentemente para diminuir o custo (tempo) de ajustamento de parâmetros e fazer escolhas específicas de aplicações.

É proposto um framework para análise de imagens em 3D. O framework também conecta o espaço de parâmetros de alta dimensão para 3 dimensões, facilitando a análise.

Em adicional, o sistema permite a filtragem de outliers e rotular os clusters finais.


42


Figura 15: Interface da ferramenta proposta Figura 16: Resultado da transferência das ações dos usuários do objeto da figura 15 para dez outros objetos.


43

Paper da seção de “Visual-Computational Analysis of

Multivariate Data” do Vast 2012

44

Just-in-Time Annotation of Clusters, Outliers, and Trends in Point-based Data Visualizations

(Kandogan, 2013)

→ Conceito

Foi introduzido o conceito de “just-in-time descriptive analytics” para ajudar o usuário a facilmente entender a estrutura dos dados.

45


(Kandogan, 2013)

→ Implementação

Metas:- Identificar características visuais como clusters,

outliers e trends (tendências).- Determinar a semântica dessas características

aplicando análise estatística enquanto o usuário interage.- Enriquecer as visualizações com anotações, não

apenas para descrever a semântica das características visuais, mas também para suportar o entendimento em alto nível dos dados.

46


(Kandogan, 2013)

→ Implementação

Para se trabalhar com dados multi-dimensionais, foi utilizado a técnica Star Coordinates.

Está técnica provem uma intuitiva representação dos dados multi-dimensionais, criando significativas projeções baseando-se em transformações lineares como scatter plots 2D e 3D.

47


Figura 17: Just-in-time descriptive analytics usando Star Coordinates.

(Kandogan, 2013)

48


(Kandogan, 2013)

→ Implementação

- Cluster DetectionFoi usado uma abordagem de grid-density para detectar clusters no

espaço de visão.

Figura 18: Cluster detection por meio de grid-density.

49


(Kandogan, 2013)

→ Implementação

- Outlier DetectionApenas foi identificado o outlier falso-positivo.Cada ponto de um cluster é comparado com os outros. É comparado os valores de cada dimensão com as médias. Caso tenha um desvio padrão > 3 então considera outlier. (Esse valor do desvio padrão pode ser regulado pelo usuário)

Figura 19: Possíveis Outliers: Falso-positivo, outlier próximo e outlier longe.

50


(Kandogan, 2013)

→ Implementação

- Trend Detection

Figura 19: Detecção de tendências.

51

REFERÊNCIASSchmidt, Johanna; Groller, M.Eduard; Bruckner, Stefan, "VAICo: Visual Analysis for Image Comparison," Visualization and Computer Graphics, IEEE Transactions on , vol.19, no.12, pp.2090,2099, Dec. 2013doi: 10.1109/TVCG.2013.213

Kurzhals, Kuno; Weiskopf, Daniel, "Space-Time Visual Analytics of Eye-Tracking Data for Dynamic Stimuli," Visualization and Computer Graphics, IEEE Transactions on , vol.19, no.12, pp.2129,2138, Dec. 2013doi: 10.1109/TVCG.2013.194

Meghdadi, Amir H.; Irani, Pourang, "Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization," Visualization and Computer Graphics, IEEE Transactions on , vol.19, no.12, pp.2119,2128, Dec. 2013doi: 10.1109/TVCG.2013.168

Legg, Philip A.; Chung, David H.S.; Parry, Matthew L.; Bown, Rhodri; Jones, Mark W.; Griffiths, Iwan W.; Chen, Min, "Transformation of an Uncertain Video Search Pipeline to a Sketch-Based Visual Analytics Loop," Visualization and Computer Graphics, IEEE Transactions on , vol.19, no.12, pp.2109,2118, Dec. 2013doi: 10.1109/TVCG.2013.207

Schultz, Thomas; Kindlmann, Gordon L., "Open-Box Spectral Clustering: Applications to Medical Image Analysis," Visualization and Computer Graphics, IEEE Transactions on , vol.19, no.12, pp.2100,2108, Dec. 2013doi: 10.1109/TVCG.2013.181

Kandogan, E., "Just-in-time annotation of clusters, outliers, and trends in point-based data visualizations," Visual Analytics Science and Technology (VAST), 2012 IEEE Conference on , vol., no., pp.73,82, 14-19 Oct. 2012doi: 10.1109/VAST.2012.6400487

Documents

SCC-5836 - Visualização Computacional prof. Fernando V ...paulovic/aulas/VIS/2013/apresentacao_fabio.pdf · prof. Fernando V. Paulovich Fábio Rodrigues Jorge São Carlos, 19 de