48
Anotação de Imagens Vitor Pamplona [email protected] Yansong Feng and Mirella Lapata Automatic Image Annotation Using Automatic Image Annotation Using Auxiliary Text Information Auxiliary Text Information Proceedings of ACL-08: HLT, pages 272–280

Anotação de Imagens

Embed Size (px)

DESCRIPTION

My presentation about image tagging at UFRGS

Citation preview

Page 1: Anotação de Imagens

Anotação de Imagens

Vitor [email protected]

Yansong Feng and Mirella LapataAutomatic Image Annotation Using Automatic Image Annotation Using

Auxiliary Text InformationAuxiliary Text Information Proceedings of ACL-08: HLT, pages 272–280

Page 2: Anotação de Imagens

2Copyright Vitor F. Pamplona

Como criar palavras-chave?

Page 3: Anotação de Imagens

3Copyright Vitor F. Pamplona

Formalmente

● Dado uma imagem e suas características

● E um conjunto de palavras-chave

● Encontre o que melhor descreve

V I={v1,v2,v3,}

W I={w1,w2,w3,}

I

W p⊂W I

W p I

Page 4: Anotação de Imagens

4Copyright Vitor F. Pamplona

Processo Tradicional

Page 5: Anotação de Imagens

5Copyright Vitor F. Pamplona

Passo 1: Treinamento

Tigre, filhote, repouso Tigre, dormindo

Tigre, selva, feroz

Page 6: Anotação de Imagens

6Copyright Vitor F. Pamplona

Passo 2: Segmentação

Tigre, filhote, repouso Tigre, dormindo

Tigre, selva, feroz

Page 7: Anotação de Imagens

7Copyright Vitor F. Pamplona

Passo 3: Extrai uma assinatura

Tigre, filhote, repouso Tigre, dormindo

Tigre, selva, feroz

12, 45, 67, 45, 67, 78, ...

12, 45, 67, 65, 67, 15, ...

12, 45, 67, 45, 85, 78, ...

Page 8: Anotação de Imagens

8Copyright Vitor F. Pamplona

Passo 4: Compara assinaturas

Tigre, filhote, repouso Tigre, dormindo

Tigre, selva, feroz

12, 45, 67, 45, 67, 78, ...

12, 45, 67, 65, 67, 15, ...

12, 45, 67, 45, 85, 78, ...

Page 9: Anotação de Imagens

9Copyright Vitor F. Pamplona

Passo 5: Palavras-chave comuns

Tigre, filhote, repouso Tigre, dormindo

Tigre, selva, feroz

12, 45, 67, 45, 67, 78, ...

12, 45, 67, 65, 67, 15, ...

12, 45, 67, 45, 85, 78, ...

Page 10: Anotação de Imagens

10Copyright Vitor F. Pamplona

Passo 6: Associa uma anotação

Tigre, filhote, repouso Tigre, dormindo

Tigre, selva, feroz

12, 45, 67, 45, 67, 78, ...

12, 45, 67, 65, 67, 15, ...

12, 45, 67, 45, 85, 78, ...

Tigre

Page 11: Anotação de Imagens

11Copyright Vitor F. Pamplona

Passo 7: Associa uma relevância

Tigre, filhote, repouso Tigre, dormindo

Tigre, selva, feroz

12, 45, 67, 45, 67, 78, ...

12, 45, 67, 65, 67, 15, ...

12, 45, 67, 45, 85, 78, ...

Tigre, 100%

Page 12: Anotação de Imagens

12Copyright Vitor F. Pamplona

Para anotar uma nova imagem

Page 13: Anotação de Imagens

13Copyright Vitor F. Pamplona

Passo 1: Segmentar

Page 14: Anotação de Imagens

14Copyright Vitor F. Pamplona

Passo 2: Computar assinatura

12, 45, 67, 35, 67, 78, ...

Page 15: Anotação de Imagens

15Copyright Vitor F. Pamplona

Passo 3: Comparar com a base

12, 45, 67, 35, 67, 78, ...

12, 45, 67, 45, 67, 78, ...

12, 45, 67, 65, 67, 15, ...

12, 45, 67, 45, 85, 78, ...

Page 16: Anotação de Imagens

16Copyright Vitor F. Pamplona

Passo 3: Buscar anotação

12, 45, 67, 35, 67, 78, ...

12, 45, 67, 45, 67, 78, ...

12, 45, 67, 65, 67, 15, ...

12, 45, 67, 45, 85, 78, ...

Tigre, 100%

Page 17: Anotação de Imagens

17Copyright Vitor F. Pamplona

Passo 4: Repetir o processo

Page 18: Anotação de Imagens

18Copyright Vitor F. Pamplona

Passo 5: Organizar as palavras

Tigre, 100%Água, 70% Grama, 30%

Page 19: Anotação de Imagens

19Copyright Vitor F. Pamplona

Feng e Lapata 2008

● Anotação de imagens● Fusão de VC, RI e PLNVC, RI e PLN

● Contribuições● Textos de internet com imagens● Sem anotações préviasSem anotações prévias para treinamento● O sistema é treinado com o texto● Muito ruídoMuito ruído no texto● Possibilita a anotação de novas palavras-chavenovas palavras-chave

Page 20: Anotação de Imagens

20Copyright Vitor F. Pamplona

Entrada do modelo

Texto

Legenda

Page 21: Anotação de Imagens

21Copyright Vitor F. Pamplona

Assunções do modelo

● Legenda descreve a imagem: ● DenotativamenteDenotativamente: descreve objetos● ConotativamenteConotativamente: descreve ações/eventos

● Não é possível nomear todos os objetosNão é possível nomear todos os objetos● Os principais objetos devem ser nomeados● O documento está relacionado a imagem

Page 22: Anotação de Imagens

22Copyright Vitor F. Pamplona

Descrição do Modelo

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Page 23: Anotação de Imagens

23Copyright Vitor F. Pamplona

Descrição do Modelo

Características Visuais da Imagem

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Page 24: Anotação de Imagens

24Copyright Vitor F. Pamplona

Descrição do Modelo

Características Visuais da Imagem

Palavras do Texto ou do Caption

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Page 25: Anotação de Imagens

25Copyright Vitor F. Pamplona

Descrição do Modelo

Características Visuais da Imagem

Palavras do Texto ou do Caption

Tuplas (imagem-palavra) do treinamento

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Page 26: Anotação de Imagens

26Copyright Vitor F. Pamplona

Descrição do Modelo

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Características Visuais da Imagem

Palavras do Texto ou do Caption

Tuplas (imagem-palavra) do treinamento

Probabilidade da tupla s

Page 27: Anotação de Imagens

27Copyright Vitor F. Pamplona

Descrição do Modelo

Probabilidade da tupla

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

s

Page 28: Anotação de Imagens

28Copyright Vitor F. Pamplona

Descrição do Modelo

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

P s=1N D

● Distribuição uniforme

Page 29: Anotação de Imagens

29Copyright Vitor F. Pamplona

Descrição do Modelo

Probabilidade dos ocorrerem quando ocorre

V I

s

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Page 30: Anotação de Imagens

30Copyright Vitor F. Pamplona

Descrição do Modelo

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

P V I∣s=∏r=1

N V I

P g v r∣s

Page 31: Anotação de Imagens

31Copyright Vitor F. Pamplona

P V I∣s=∏r=1

N V I

P g v r∣s

Descrição do Modelo

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Probabilidade de cada um dos correrem quando ocorre

V I

s

Page 32: Anotação de Imagens

32Copyright Vitor F. Pamplona

Descrição do Modelo

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Distribuição gaussiana

P V I∣s=∏r=1

N V I

P g v r∣s

P g v r∣s=1nsv∑i=1

nsv exp v r−v iT∑

−1v r−v i

2kk∣∑ ∣

Page 33: Anotação de Imagens

33Copyright Vitor F. Pamplona

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Descrição do Modelo

Probabilidade dos ocorrerem quando ocorre

W I

s

Page 34: Anotação de Imagens

34Copyright Vitor F. Pamplona

Descrição do Modelo

P W I∣s=∏w∈W

P w∣s∏w∉W

1−P w∣s

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Distribuição de Bernoulli

Page 35: Anotação de Imagens

35Copyright Vitor F. Pamplona

Descrição do Modelo

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

P W I∣s=∏w∈W

P w∣s∏w∉W

1−P w∣s

Page 36: Anotação de Imagens

36Copyright Vitor F. Pamplona

Descrição do Modelo

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Pest w∣s= Pest w∣sa 1−Pest w∣sd

P W I∣s=∏w∈W

P w∣s∏w∉W

1−P w∣s

Page 37: Anotação de Imagens

37Copyright Vitor F. Pamplona

Pest w∣s= Pest w∣sa 1−Pest w∣sd

Descrição do Modelo

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Anotações de Texto de ss

P W I∣s=∏w∈W

P w∣s∏w∉W

1−P w∣s

Parâmetro que melhor se adapta ao treinamento

Page 38: Anotação de Imagens

38Copyright Vitor F. Pamplona

P W I∣s=∏w∈W

P w∣s∏w∉W

1−P w∣s

Descrição do Modelo

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Pest w∣s= Pest w∣sa 1−Pest w∣sd

Page 39: Anotação de Imagens

39Copyright Vitor F. Pamplona

Descrição do Modelo

P W I∣s=∏w∈W

P w∣s∏w∉W

1−P w∣s

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Pest w∣s= Pest w∣sa 1−Pest w∣sd

Pest w∣sa=bw , saN w

N D

1: se está em 0: caso contrário

w sa

Page 40: Anotação de Imagens

40Copyright Vitor F. Pamplona

Descrição do Modelo

P W I∣s=∏w∈W

P w∣s∏w∉W

1−P w∣s

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Pest w∣s= Pest w∣sa 1−Pest w∣sd

Page 41: Anotação de Imagens

41Copyright Vitor F. Pamplona

Descrição do Modelo

P W I∣s=∏w∈W

P w∣s∏w∉W

1−P w∣s

P V I ,W I =∑s

D

P V I∣sP W I∣sP s

Pest w∣s= Pest w∣sa 1−Pest w∣sd

Pest w∣sa=N w , sd

N sd

Vezes que ocorre em

Total de palavras do doc

w sd

Page 42: Anotação de Imagens

42Copyright Vitor F. Pamplona

Validação

● 28812881 notícias da BBC News● PLN

● Part of Speech TaggerPart of Speech Tagger● Remover tudo exceto verbos, subst., adjetivos ● Extrai o lemalema das palavras

● Vocabulário 8309 palavras

Page 43: Anotação de Imagens

43Copyright Vitor F. Pamplona

Validação

● Processamento das imagens● Segmentação a partir de um grid regular 6x5grid regular 6x5

● Assinatura● Média e desvio padrão RGB, LUV, LAB● Saída de uma transformação DCT● Saída de um filtro de Gabor ● Saída de um algoritmo de detecção de borda● Divisão entre nro de pixels de borda e não bordaDivisão entre nro de pixels de borda e não borda

Page 44: Anotação de Imagens

44Copyright Vitor F. Pamplona

Resultados: Precisão

Top10 Top15 Top200

2

4

6

8

10

12

14

16

Feng08Lavenko03DocTitle

● Anotações corretas / todas as anotações

Page 45: Anotação de Imagens

45Copyright Vitor F. Pamplona

Resultados: Recall

Top10 Top15 Top200

5

10

15

20

25

30

35

40

Feng08Lavenko03DocTitle

● Anotações corretas / anotações manuais

Page 46: Anotação de Imagens

46Copyright Vitor F. Pamplona

Resultados: F1

Top10 Top15 Top200

5

10

15

20

25

Feng08Lavenko03DocTitle

● Média harmônica entre precisão e recall

Precisão∗RecallPrecisãoRecall /2

Page 47: Anotação de Imagens

Perguntas?

Vitor [email protected]

Yansong Feng and Mirella LapataAutomatic Image Annotation Using Automatic Image Annotation Using

Auxiliary Text InformationAuxiliary Text Information Proceedings of ACL-08: HLT

Page 48: Anotação de Imagens

50Copyright Vitor F. Pamplona

Créditos: ● http://www.flickr.com/photos/mkengstrom/77367321/

● http://www.flickr.com/photos/66164549@N00/2919179438/

● http://www.flickr.com/photos/digitalart/1906662004/

● http://www.flickr.com/photos/mumbleyjoe/1520473493/

● Yansong Feng and Mirella Lapata. Automatic Image Annotation Using Auxiliary Text Information. Proceedings of ACL-08:HLT, pages 272-280. 2008.