SCC-5836 - Visualização Computacional prof. Fernando V...

1

Estado da Arte em VisualizaçãoApresentação de Artigos do VAST-2013/2012 na disciplina de Visualização

SCC-5836 - Visualização Computacionalprof. Fernando V. Paulovich

Fábio Rodrigues Jorge

São Carlos, 19 de novembro de 2013.

2

Índice

→ Introdução→ Introdução ao evento – VAST

→ Justificativa da escolha dos Papers

→ Papers da seção de “Images & Video” do VAST 2013→ VAICo: Visual Analysis for Image Comparison

→ Space-Time Visual Analytics of Eye-Tracking Data for Dynamic Stimuli

→ Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization

→ Comentario rápido sobre esses artigos:

→ Transformation of an Uncertain Video Search Pipeline to a Sketch-based Visual Analytics Loop → Open-Box Spectral Clustering: Applications to Medical Image Analysis

→ Paper da seção de “Visual-Computational Analysis of Multivariate Data” do Vast 2012→ Just-in-Time Annotation of Clusters, Outliers, and Trends in Point-based Data Visualizations

→ Conclusão

3

Introdução

4

Introdução

→ IEEE Vis - Vast2013O Vis (VisWeek) ocorreu na cidade de Atlanta, Georgia, do

dia 13 ao 18 de outubro de 2013.O evento é dividido em 3:

- Vast (Visual Analytics Science and Technology)- InfoVis (Information Visualization)- SciVis (Visualization / Scientific Visualization )

* A professora Rosane Minghim foi chair da sessão “Images & Video” do Vast2013.

→ Justificativa da escolha dos papersA escolha desses trabalhos foi relacionado ao tema do meu

projeto de Mestrado. “Detecção de Anomalias e Aprendizado Ativo em Imagens e Vídeos”. Justamente por trabalhar com imagens e vídeos, é de meu interesse estudar as técnicas de visualização voltadas para esse tipo de dado.

5

Papers da seção de

“Images & Video” do VAST 2013

6

VAICo: Visual Analysis for Image Comparison

Dear Fábio,

I am about to publish a release candidate of VAICo on our website; as soon as it is finished, I will inform you via email and send you the URL.

Best regards,Johanna

-- Dipl.-Ing. Johanna Schmidt, University AssistantInstitute of Computer Graphics and AlgorithmsVienna University of Technology, Austria

7

VAICo: Visual Analysis for Image Comparison

→ Conceito

Foi proposto uma nova abordagem de visualização para comparar imagens, e que preserva informação de contexto enquanto permite uma análise das diferenças entre as imagens.

(Schmidt et al, 2013)

8

VAICo: Visual Analysis for Image Comparison

→ Implementação

O dataset é formado por muitas imagens semelhantes que diferem pouco entre si.

As imagens analisadas são divididas em duas partes:- Contextual Information- RoDs (Regions of Differences)

Foi utilizado o MSE (Mean Squared Error) para comparar as imagens. Também foi utilizado um Threshold para regular o grau de sensibilidade das diferenças entre as imagens.

(Schmidt et al, 2013)

9

VAICo: Visual Analysis for Image Comparison

Figura 1: Comparação entre imagens (a). Pontos em destaque (b). Regiões em destaque (c)

Figura 2: Alteração da sensibilidade por meio do Threshold.

(Schmidt et al, 2013)

10

VAICo: Visual Analysis for Image Comparison

1ª etapa: Criação dos RoDs

- É realizado um comparação pixel por pixel entre as imagens e identificado os pixels que se diferenciam (mais que o Treshold utilizado)

- Através de um algoritmo de crescimento de região, procura os 8-conectados pixels que se diferenciam e começa a formar uma nova região. No Final, é computado um RoD na posição em que existe várias sobreposições de regiões.

Obs: Cada RoD gerado possui pelo menos uma imagem geradora. (As vezes a situação de existir apenas uma imagem geradora, indica que essa imagem é um outlier) .

(Schmidt et al, 2013)

11

VAICo: Visual Analysis for Image Comparison

2ª etapa: Criação da Hierarquia de grupos de RoDs.

- Foi aplicado agrupamento. Isso permite a classificação das mudanças.

- “complete-linkage agglomerative hierarchical clustering”

- Em cada iteração os clusters são combinados de acordo com uma distância de similaridade.

-O agrupamento só termina quando os RoDs daquela determinada região são todos agrupados em um único grande cluster.

-No final então temos uma arvore.

(Schmidt et al, 2013)

12

VAICo: Visual Analysis for Image Comparison

Figura 3: Arvore de cluster. Cada nó representa um Cluster. Nivel 0 representa todas as imagens do dataset. Os níveis superiores representam as imagens agrupadas por

similaridade. No ultimo nível, h=3, possuí apenas um cluster contendo todas as imagens.

(Schmidt et al, 2013)

13

VAICo: Visual Analysis for Image Comparison

Figura 4: Interface da aplicação. Na imagem (d) é a opção de regular o nível do clusters.

- Quanto mais escuro um cluster bullet, maior a quantidade de imagens ele possui.

(Schmidt et al, 2013)

14

VAICo: Visual Analysis for Image Comparison

→ Limitação

- Se tiver muitos clusters terá problema na hora de apresentar ao redor de um widget.

- O MSE não se comporta muito bem para mudanças globais na imagem, como aumento do brilho. Usar MSE normalizado é uma saída.

- Não trabalha bem com um dataset com muitas diferenças entre as imagens. Imagens de movimento por exemplo.

(Schmidt et al, 2013)

15

VAICo: Visual Analysis for Image Comparison

Figura 5: Exemplo da abordagem sendo executada no dataset Puzzle.

(Schmidt et al, 2013)

16

VAICo: Visual Analysis for Image Comparison

Figura 6: Exemplo dos widgets com os clusters expandidos.

(Schmidt et al, 2013)

17

Vídeo

18

Space-Time Visual Analytics of Eye-Tracking Data for Dynamic Stimuli

→ Conceito

É apresentado um método de análise de dados gravados do movimento dos olhos, em situações de estímulos dinâmicos como vídeos.

(Kurzhals et al, 2013)

19

Space-Time Visual Analytics of Eye-Tracking Data for Dynamic Stimuli

Figura 7: Visualização por meio de um cubo espaço-temporal de dados de rastreamento de olhos para estímulos em vídeos, enriquecido pelo agrupamento de regiões que atraem o olhar.

(Kurzhals et al, 2013)

20

Space-Time Visual Analytics of Eye-Tracking Data for Dynamic Stimuli

→ Implementação

- Visualização espaço-temporatal em forma de cubo (Space-Time Cube, STC).

- Algoritmos de visualização e de agrupamento de dados de eye-gaze de muitos espectadores.

- Uma visualização que resumi todo o dataset (STC).

- A cor dos pontos de dados representa o quão próximos os pontos estão do centro de massa do frame

→ Para solucionar os problemas de oclusão e percepção de profundidade, a ferramenta permite a projeção adicional de paredes.

(Kurzhals et al, 2013)

21

Space-Time Visual Analytics of Eye-Tracking Data for Dynamic Stimuli

→ Implementação

São usadas múltiplas visões coordenadas para mostrar os diferentes aspectos espaço-temporais dos dados.(Figura 8)

→ Análise de grupos

Os grupos representam áreas de “attentional synchrony”. São áreas de interesse onde vários observadores estão olhando durante um certo período de tempo.

(Kurzhals et al, 2013)

22

Space-Time Visual Analytics of Eye-Tracking Data for Dynamic Stimuli

Figura 8:Interface da ferramenta.

(Kurzhals et al, 2013)

23

Space-Time Visual Analytics of Eye-Tracking Data for Dynamic Stimuli

Figura 8:Interface da ferramenta.

(Kurzhals et al, 2013)

24

Space-Time Visual Analytics of Eye-Tracking Data for Dynamic Stimuli

Figura 9: Múltiplas áreas de interesse

(Kurzhals et al, 2013)

25

Vídeo

26

Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization

→ Conceito

Os autores apresentaram um sistema para análise visual de vídeos (de segurança). Esse sistema se chama sViSIT.

Foi proposto também uma avaliação, com profissionais que trabalham com a análise de vídeos de segurança.

(Meghdadi et al, 2013)

27

Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization

→ Implementação

A ferramenta proposta, tem o objetivo de resumir, em apenas uma visualização, a trajetória de objetos individuais em movimento, sem perder o conteúdo (e o contexto).

(Meghdadi et al, 2013)

28

Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization

Figura 10: O cubo permite a visualização espaço-temporal da trajetória de movimento

(Meghdadi et al, 2013)

29

Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization

→ Implementação

- O algoritmo de movimento e detecção, detecta o objetos em movimento e extraem a trajetória de movimento.

- Existe uma etapa que define o background, e atualiza ele a cada 5 segundos.

- Os objetos são rastreados, identificando o objeto que se movimenta (segmento) em cada frame com o que mais se assemelha no próximo frame. Nessa etapa foi usada a distância “generalized Mahalanobis” como medida de similaridade.

(Meghdadi et al, 2013)

30

Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization

Figura 11: Etapas para a detecção do primeiro plano (foreground) e separação dos objetos a serem rastreados

(Meghdadi et al, 2013)

31

Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization

→ Implementação

Foi usado um grafo em camadas no rastreio dos objetos em movimento.

Cada camada pertence a um frame, e cada nó a uma segmento sendo rastreado. É feito um link com cada nó da camada anterior que mais se assemelha com o nó da camada atual.

Figura 12: Grafo de camadas representando os objetos em movimento

(Meghdadi et al, 2013)

32

Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization

→ Implementação

- Foi implementado um algoritmo de profundidade para encontrar os caminhos dos objetos em cada frame, e então resumir (summarize) em apenas uma imagem

INTERAÇÃO- Um dos filtros implementados, permite ao usuário

selecionarem ROIs (Regions of Interest) e desse modo o sistema apresenta apenas os eventos que intersectam com aquela região.

- O usuário também pode pular de um ponto para outro no vídeo, sendo auxiliado por uma time-line que destaca os eventos de interesse.

(Meghdadi et al, 2013)

33

Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization

→ Avaliação

Foi desenvolvido uma outra ferramenta que usa técnicas de avanço rápido nos vídeos juntamente com detecção de movimento (FFMD), mas sem a interface de visualização proposta pelo sViSIT.

Essa ferramenta foi usada como comparativo entre usuários.

TESTEO teste envolveu 18 voluntários, que tinham o objetivo de

procurarem alguns objetos em vídeos de segurança.

(Meghdadi et al, 2013)

34

Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization

Figura 13: Interface da ferramenta proposta

(Meghdadi et al, 2013)

35

Vídeo

36

Comentário rápido sobre 2 papers da mesma sessão

37

Transformation of an Uncertain Video Search Pipeline to a Sketch-based Visual Analytics Loop

→ Conceito

Nesse trabalho foi proposto uma ferramenta para análise visual de sistemas de busca em imagens e vídeos através de esboços.

(Legg et al, 2013)

38

Transformation of an Uncertain Video Search Pipeline to a Sketch-based Visual Analytics Loop

→ Implementação

São usadas vários tipos de visualizações para ajudar na análise:

- Espaço de parâmetros (retas paralelas)- Resultados da busca (para aplicar Aprendizado Ativo)- Espaço de busca (Gráfico de barras e Glyphs)

(Legg et al, 2013)

39

Transformation of an Uncertain Video Search Pipeline to a Sketch-based Visual Analytics Loop

(Legg et al, 2013)

Figura 14: Interface da ferramenta proposta

40

Open-Box Spectral Clustering: Applications to Medical Image Analysis

Dear Fábio Rodrigues Jorge,

Thank you for your interest. Unfortunately, the clustering is tightly integrated into a bigger in-house software system and it would require a major effort to prepare it for publication. However, the lung datasets we used are publicly available from http://www.via.cornell.edu/databases/crpf.html

Best regards

(Schultz et al, 2013)

41

Open-Box Spectral Clustering: Applications to Medical Image Analysis

→ Conceito / Implementação

Spectral clustering é usado frequentemente para diminuir o custo (tempo) de ajustamento de parâmetros e fazer escolhas específicas de aplicações.

É proposto um framework para análise de imagens em 3D. O framework também conecta o espaço de parâmetros de alta dimensão para 3 dimensões, facilitando a análise.

Em adicional, o sistema permite a filtragem de outliers e rotular os clusters finais.

(Schultz et al, 2013)

42

Open-Box Spectral Clustering: Applications to Medical Image Analysis

Figura 15: Interface da ferramenta proposta Figura 16: Resultado da transferência das ações dos usuários do objeto da figura 15 para dez outros objetos.

(Schultz et al, 2013)

43

Paper da seção de “Visual-Computational Analysis of

Multivariate Data” do Vast 2012

44

Just-in-Time Annotation of Clusters, Outliers, and Trends in Point-based Data Visualizations

(Kandogan, 2013)

→ Conceito

Foi introduzido o conceito de “just-in-time descriptive analytics” para ajudar o usuário a facilmente entender a estrutura dos dados.

45

Just-in-Time Annotation of Clusters, Outliers, and Trends in Point-based Data Visualizations

(Kandogan, 2013)

→ Implementação

Metas:- Identificar características visuais como clusters,

outliers e trends (tendências).- Determinar a semântica dessas características

aplicando análise estatística enquanto o usuário interage.- Enriquecer as visualizações com anotações, não

apenas para descrever a semântica das características visuais, mas também para suportar o entendimento em alto nível dos dados.

46

Just-in-Time Annotation of Clusters, Outliers, and Trends in Point-based Data Visualizations

(Kandogan, 2013)

→ Implementação

Para se trabalhar com dados multi-dimensionais, foi utilizado a técnica Star Coordinates.

Está técnica provem uma intuitiva representação dos dados multi-dimensionais, criando significativas projeções baseando-se em transformações lineares como scatter plots 2D e 3D.

47

Just-in-Time Annotation of Clusters, Outliers, and Trends in Point-based Data Visualizations

Figura 17: Just-in-time descriptive analytics usando Star Coordinates.

(Kandogan, 2013)

48

Just-in-Time Annotation of Clusters, Outliers, and Trends in Point-based Data Visualizations

(Kandogan, 2013)

→ Implementação

- Cluster DetectionFoi usado uma abordagem de grid-density para detectar clusters no

espaço de visão.

Figura 18: Cluster detection por meio de grid-density.

49

Just-in-Time Annotation of Clusters, Outliers, and Trends in Point-based Data Visualizations

(Kandogan, 2013)

→ Implementação

- Outlier DetectionApenas foi identificado o outlier falso-positivo.Cada ponto de um cluster é comparado com os outros. É comparado os valores de cada dimensão com as médias. Caso tenha um desvio padrão > 3 então considera outlier. (Esse valor do desvio padrão pode ser regulado pelo usuário)

Figura 19: Possíveis Outliers: Falso-positivo, outlier próximo e outlier longe.

50

Just-in-Time Annotation of Clusters, Outliers, and Trends in Point-based Data Visualizations

(Kandogan, 2013)

→ Implementação

- Trend Detection

Figura 19: Detecção de tendências.

51

REFERÊNCIASSchmidt, Johanna; Groller, M.Eduard; Bruckner, Stefan, "VAICo: Visual Analysis for Image Comparison," Visualization and Computer Graphics, IEEE Transactions on , vol.19, no.12, pp.2090,2099, Dec. 2013doi: 10.1109/TVCG.2013.213

Kurzhals, Kuno; Weiskopf, Daniel, "Space-Time Visual Analytics of Eye-Tracking Data for Dynamic Stimuli," Visualization and Computer Graphics, IEEE Transactions on , vol.19, no.12, pp.2129,2138, Dec. 2013doi: 10.1109/TVCG.2013.194

Meghdadi, Amir H.; Irani, Pourang, "Interactive Exploration of Surveillance Video through Action Shot Summarization and Trajectory Visualization," Visualization and Computer Graphics, IEEE Transactions on , vol.19, no.12, pp.2119,2128, Dec. 2013doi: 10.1109/TVCG.2013.168

Legg, Philip A.; Chung, David H.S.; Parry, Matthew L.; Bown, Rhodri; Jones, Mark W.; Griffiths, Iwan W.; Chen, Min, "Transformation of an Uncertain Video Search Pipeline to a Sketch-Based Visual Analytics Loop," Visualization and Computer Graphics, IEEE Transactions on , vol.19, no.12, pp.2109,2118, Dec. 2013doi: 10.1109/TVCG.2013.207

Schultz, Thomas; Kindlmann, Gordon L., "Open-Box Spectral Clustering: Applications to Medical Image Analysis," Visualization and Computer Graphics, IEEE Transactions on , vol.19, no.12, pp.2100,2108, Dec. 2013doi: 10.1109/TVCG.2013.181

Kandogan, E., "Just-in-time annotation of clusters, outliers, and trends in point-based data visualizations," Visual Analytics Science and Technology (VAST), 2012 IEEE Conference on , vol., no., pp.73,82, 14-19 Oct. 2012doi: 10.1109/VAST.2012.6400487