Geração de Imagens de Melhor Resolução a partir de … · "GERAÇÃO DE IMAGENS DE MELHOR RESOLUÇÃO A PARTIR DE SEQÜÊNCIAS DE IMAGENS" Dissertação apresentada ao Programa

uunneesspp UUNNIIVVEERRSSIIDDAADDEE EESSTTAADDUUAALL PPAAUULLIISSTTAA

CCaammppuuss ddee PPrreessiiddeennttee PPrruuddeennttee

FFaaccuullddaaddee ddee CCiiêênncciiaass ee TTeeccnnoollooggiiaa

Programa de Pós Graduação em Ciências Cartográficas

"GERAÇÃO DE IMAGENS DE MELHOR RESOLUÇÃO A

PARTIR DE SEQÜÊNCIAS DE IMAGENS"

Dissertação apresentada ao Programa de Pós Graduação em Ciências Cartográficas da Faculdade de Ciências e Tecnologia da Universidade Estadual Paulista, Unesp, como parte dos requisitos exigidos para a obtenção do título de Mestre em Ciências Cartográficas.

AUTOR: LEANDRO LUIZ DE ALMEIDA

ORIENTADOR: PROF. DR. ANTONIO MARIA GARCIA TOMMASELLI

Presidente Prudente

Julho, 2001

Dissertação de Mestrado: “Geração de imagens de melhor resolução a partir de seqüências de imagens”

Autor: Leandro Luiz de Almeida Orientador: Antonio Maria Garcia Tommaselli

i

"GERAÇÃO DE IMAGENS DE MELHOR RESOLUÇÃO A

PARTIR DE SEQÜÊNCIAS DE IMAGENS"

Dissertação apresentada ao Programa de Pós Graduação em Ciências Cartográficas da Faculdade de Ciências e Tecnologia da Universidade Estadual Paulista, Unesp, como parte dos requisitos exigidos para a obtenção do título de Mestre em Ciências Cartográficas.

AUTOR: LEANDRO LUIZ DE ALMEIDA

ORIENTADOR: PROF. DR. ANTONIO MARIA GARCIA TOMMASELLI

Presidente Prudente

Julho, 2001



ii

FICHA CATALOGRÁFICA

Almeida, Leandro Luiz de Tommaselli, Antonio Maria Garcia Geração de Imagens de Melhor Resolução a Partir de Seqüências de Imagens Leandro Luiz de Almeida. Presidente Prudente. UNESP/FCT, 2001. 132 p. Dissertação (Mestrado) - UNESP, Faculdade de Ciências e Tecnologia, Presidente Prudente, 2001.

1. Restauração; 2. Super Resolução; 3. Seqüência de Imagens.



iii

TERMO DE APROVAÇÃO

LEANDRO LUIZ DE ALMEIDA

“GERAÇÃO DE IMAGENS DE MELHOR RESOLUÇÃO A PARTIR DE SEQÜÊNCIAS

DE IMAGENS"

Comissão Julgadora

Dissertação para obtenção do título de Mestre

Dr. Antonio Maria Garcia Tommaselli

Presidente da Comissão

Dr. Quintino Dalmolin

2o Examinador

Dr. João Fernando Custódio da Silva

3o Examinador



iv

DEDICATÓRIA

Dedico este trabalho, primeiramente a Deus e Nossa Senhora Aparecida;

Aos meus Pais, Jorge e Vera, aos meus Irmãos, Fernando e Belisa, e a minha

Avó Albertina, que sempre me apoiaram, incentivaram e sofreram para o alcance dos

objetivos e metas propostos;

A Karina que soube entender os momentos que não pude estar ao seu lado

quando mais precisava, além do apoio e confiança recebidos, inclusive da D. Dirlei,

com palavras amigas e confiantes.



v

AGRADECIMENTOS

Ao meu orientador Prof. Dr. Antonio Maria Garcia Tommaselli pela dedicação,

interesse e preocupação demonstrada durante o desenvolvimento deste trabalho;

Aos meus Familiares, que jamais deixaram de acreditar e de me apoiar durante

este período, em especial, ao meu Primo João Gabriel (in memorian) e ao meu Tio

Paulino (in memorian) que presenciaram o início, mas não o final deste;

Aos meus grandes Amigos paranaenses, Ademir Carniel, Claudiney, Mara,

Franz Sérgio, Vaneide, Simone, Josemar, Dagmar e Marcelo, que sempre

demonstraram apoio e preocupação;

Aos meus grandes Amigos paulistas, Toninho, Flávia, André, Patrícia Scalco,

Haroldo, Danielle, Silvio, Luciana, Moacir, Wagner, Luiz Henrique, Rodolfo e Lincoln,

que não mediram esforços nos momentos que mais precisei. Em especial, agradeço ao

Emerson, Flávio Pandur, Ronaldo e Rogério, que deram o suporte necessário para que

conseguisse êxito, principalmente, nesta reta final do trabalho;

Aos meus Amigos e Colegas de Mestrado, em especial, a Turma de 1998, que

de forma direta ou indireta, me incentivaram durante o desenvolvimento deste trabalho;

Aos Funcionários e Professores da Faculdade de Informática de Presidente

Prudente, pela colaboração prestada nos serviços necessitados;

Aos Funcionários e Professores da Unesp/FCT, pelos auxílios prestados;

Enfim, a todas as demais pessoas, mesmo que de forma discreta, contribuíram

para a realização deste trabalho.



vi

SUMÁRIO

Página

FOLHA DE ROSTO .......................................................................................................... i

FICHA CATALOGRÁFICA ................................................................................................ ii

TERMO DE APROVAÇÃO................................................................................................ iii

DEDICATÓRIA.................................................................................................................. iv

AGRADECIMENTOS ........................................................................................................ v

SUMÁRIO ......................................................................................................................... vi

LISTA DE FIGURAS ......................................................................................................... viii

LISTA DE TABELAS ......................................................................................................... xiii

RESUMO .......................................................................................................................... xiv

ABSTRACT....................................................................................................................... xv

CAPÍTULO 1 – INTRODUÇÃO

1.1 CONSIDERAÇÕES PRELIMINARES ........................................................................ 01

1.2 OBJETIVOS................................................................................................................ 02

1.3 JUSTIFICATIVA .......................................................................................................... 03

1.4 APRESENTAÇÃO DA ESTRUTURA DO TRABALHO................................................ 03

CAPÍTULO 2 – OPERAÇÕES BÁSICAS EM IMAGENS DIGITAIS

2.1 FORMAÇÃO DA IMAGEM ......................................................................................... 04

2.2 MANIPULAÇÃO DE IMAGENS DIGITAIS .................................................................. 07

2.3 OPERAÇÕES PIXEL A PIXEL ................................................................................... 10

2.4 TÉCNICAS DE AMPLIAÇÃO DE IMAGENS .............................................................. 11

CAPÍTULO 3 – RETIFICAÇÃO E RESTAURAÇÃO DE IMAGENS

3.1 REGISTRO DE IMAGENS ......................................................................................... 15

3.2 O PROCESSO PARA O REGISTRO DE IMAGENS (DOMÍNIO DO ESPAÇO) ......... 17

3.2.1 IDENTIFICAÇÃO DE PONTOS DE CONTROLE (MATCHING) ........................ 18



vii

3.3 TRANSFORMAÇÕES ................................................................................................ 21

3.4 TÉCNICAS DE INTERPOLAÇÃO .............................................................................. 28

3.4.1 INTERPOLAÇÃO PELO VIZINHO MAIS PRÓXIMO .......................................... 29

3.4.2 INTERPOLAÇÃO UTILIZANDO A MÉDIA .......................................................... 30

3.4.3 INTERPOLAÇÃO BILINEAR .............................................................................. 31

3.4.4 INTERPOLAÇÃO BICÚBICA ............................................................................. 32

3.5 PROCESSOS PARA GERAÇÃO DE IMAGENS DE ALTA RESOLUÇÃO A PARTIR

DE SEQÜENCIAS DE IMAGENS .............................................................................. 33

CAPÍTULO 4 – MATERIAIS E MÉTODOS

4.1 MATERIAIS UTILIZADOS NO DESENVOLVIMENTO ............................................. 43

4.2 METODOLOGIA DO TRABALHO............................................................................. 44

4.2.1 ETAPAS PARA A GERAÇÃO DAS IMAGENS A PARTIR DE DADOS

SIMULADOS ..................................................................................................... 45

4.2.2 ETAPAS PARA A GERAÇÃO DAS IMAGENS A PARTIR DE DADOS

REAIS................................................................................................................ 46

4.2.3 IMPLEMENTAÇÃO COMPUTACIONAL ........................................................... 52

CAPÍTULO 5 – EXPERIMENTOS E RESULTADOS

5.1 EXPERIMENTOS COM DADOS SIMULADOS .......................................................... 55

5.2 EXPERIMENTOS COM DADOS REAIS .................................................................... 79

CAPÍTULO 6 – CONCLUSÕES E SUGESTÕES ............................................................ 112

REFERÊNCIAS BIBLIOGRÁFICAS ................................................................................ 114

BIBLIOGRAFIA CONSULTADA ...................................................................................... 117



viii

LISTA DE FIGURAS

FIGURA 2.1 – Os componentes iluminância (I) e refletância (R) de uma imagem .......... 04 FIGURA 2.2 – Representação de um exemplo de imagem digital utilizando-se dados com 8 bits, conseqüentemente com 256 níveis de brilho ........................ 09 FIGURA 2.3 – Exemplo de representação de uma imagem digital utilizando-se dados com 24 bits .............................................................................................. 10 FIGURA 2.4 – Operações lógicas e/ou aritméticas pixel a pixel ..................................... 10 FIGURA 2.5 – Expansão de um pixel em 4(zoom 2x) utilizando a replicação ................ 11 FIGURA 2.6 – Expansão de um pixel em 4 (zoom 2x) utilizando a média ...................... 12 FIGURA 2.7 – Demonstração do processo de reamostragem através da Média ........... 12 FIGURA 2.8 – Representação de uma imagem ampliada através da Interpolação Bilinear ..................................................................................................... 14 FIGURA 3.1 – Esquema geral para execução do Registro de Imagens ......................... 16 FIGURA 3.2 – Identificação Baseada em Área................................................................. 20 FIGURA 3.3 – Condição de colinearidade de O, p e P. oxyz, representa o sistema fotogramétrico; OXYZ um sistema cartesiano local; f é a distância focal; p é o ponto imagem e P é um ponto do espaço-objeto ............................ 25 FIGURA 3.4 – Imagem que representa o mapeamento utilizando a equação de colinearidade inversa ............................................................................... 27 FIGURA 3.5 – Imagem que representa o mapeamento inverso utilizando a equação de colinearidade ........................................................................................... 28 FIGURA 3.6 – Reamostragem: (a) Pixels na grade original; (b) Posição dos pixels transformados sobrepostos na grade original; (c) Ajustamento da grade transformada sobre a grade original......................................................... 29 FIGURA 3.7 – Interpolação pelo Vizinho Mais Próximo .................................................. 30 FIGURA 3.8 – Representação da sub-imagem ............................................................... 30 FIGURA 3.9 – Interpolação Bilinear.................................................................................. 31 FIGURA 3.10 – Interpolação Bicúbica .............................................................................. 32 FIGURA 3.11 – Os quatro passos para geração de imagens de super resolução .......... 38



ix

FIGURA 3.12 – O processo geral do algoritmo do fluxo ótico na determinação de imagens de super resolução................................................................... 39 FIGURA 3.13 – Esquema detalhado para obter a imagem de super resolução pelo algoritmo do fluxo ótico........................................................................... 40 FIGURA 3.14 – Esquema do software desenvolvido ....................................................... 41 FIGURA 4.1 – Visão geral das etapas de geração das imagens ..................................... 45 FIGURA 4.2 – Fluxograma do programa de Transformação Projetiva............................. 47 FIGURA 4.3 – Fluxograma do programa de Resseção Espacial ..................................... 48 FIGURA 4.4 – Processo de retificação das imagens ....................................................... 49 FIGURA 4.5 – Fusão pelo Método da Média entre os pixels das imagens que pertencem à cena ..................................................................................... 50 FIGURA 4.6 – Processo para geração de imagens superamostradas através de Interpolação Bilinear .................................................................................. 51 FIGURA 4.7 – Janela principal da ferramenta implementada........................................... 54 FIGURA 5.1 – Processo de geração das imagens simuladas para a geração de uma imagem de alta resolução......................................................................... 55 FIGURA 5.2 – Processo geral, que envolve a simulação de uma seqüência de imagens e geração da imagem de alta resolução.................................................... 56 FIGURA 5.3 – Ampliação utilizando a replicação ............................................................ 57 FIGURA 5.4 – Detalhe da imagem ampliada na FIGURA 5.3........................................... 58 FIGURA 5.5 – Erro médio quadrático entre a imagem original e a imagem gerada pela interpolação pelo Vizinho Mais Próximo................................................... 58 FIGURA 5.6 – Ampliação utilizando a Média Aritmética entre os pixels .......................... 59 FIGURA 5.7 – Detalhe da imagem ampliada na FIGURA 5.6........................................... 59 FIGURA 5.8 – Erro médio quadrático gerado pela diferença entre a imagem original e a imagem superamostrada pelo método da Média Aritmética..................... 60 FIGURA 5.9 – Ampliação pela Interpolação Bilinear ........................................................ 60 FIGURA 5.10 – Detalhe da imagem ampliada na FIGURA 5.9......................................... 61 FIGURA 5.11 – Erro médio quadrático gerado pela diferença entre a imagem original e a imagem superamostrada pelo método da Interpolação Bilinear.......... 61



x

FIGURA 5.12 – Imagem utilizada para gerar uma seqüência simulada de imagens a partir de deslocamentos em x e y........................................................... 62 FIGURA 5.13 – Resultado da imagem de super resolução, por meio do modelo de colinearidade, com base na seqüência de imagens simulada ............... 64 FIGURA 5.14 – Ampliação das regiões em destaque nas imagens representadas na FIGURA 5.13 .......................................................................................... 65 FIGURA 5.15 – Diferença entre a imagem original e a imagem de super resolução gerada com base na seqüência de imagens simulada pelo Modelo de Colinearidade...................................................................... 66 FIGURA 5.16 – Resultado da imagem de super resolução, por meio da Transformação Projetiva, com base na seqüência de imagens simulada, pelo método da média ............................................................. 67 FIGURA 5.17 – Ampliação das regiões em destaque nas imagens representadas na FIGURA 5.16 .......................................................................................... 68 FIGURA 5.18 – Imagem de diferenças entre a imagem original e a imagem de super resolução, gerada por meio da transformação projetiva e pelo método da Média ................................................................................................. 69 FIGURA 5.19 – Imagem de diferenças entre a imagem gerada pelo modelo de colinearidade e a gerada por meio da transformação projetiva e pelo método da média .................................................................................... 70 FIGURA 5.20 – Resultado da imagem de super resolução, obtida por meio da transformação projetiva e pelo método de minimização dos erros (-1,0,+1), com base na seqüência de imagens simulada ....................... 72 FIGURA 5.21 – Ampliação das regiões em destaque nas imagens apresentadas na FIGURA 5.20 ......................................................................................... 73 FIGURA 5.22 – Diferença entre a imagem original e a imagem de super resolução gerada, com base na seqüência de imagens simulada, pelo método de minimização dos erros (-1,0,+1) ............................................................. 74 FIGURA 5.23 – Resultado da imagem de super resolução, gerada pela transformação projetiva e com o método de minimização dos erros (-5,0,+5), com base na seqüência de imagens simulada ........................................................ 75 FIGURA 5.24 – Ampliação das regiões em destaque nas imagens representadas na FIGURA 5.23 .......................................................................................... 76 FIGURA 5.25 – Diferença entre a imagem original e a imagem de super resolução gerada pelo método de minimização dos erros (-5,0,+5), com base na seqüência de imagens simulada ............................................................. 77



xi

FIGURA 5.26 – Diferença entre as imagens de super resolução geradas pelos métodos de minimização dos erros variando entre (-1,0,+1) e (-5,0,+5), com base na seqüência de imagens simulada............................................... 78 FIGURA 5.27 – Imagens que compõem uma cena com ruídos ....................................... 80 FIGURA 5.28 – Resultado da imagem de super resolução, obtida por meio da transformação projetiva e pelo método da média, com base na seqüência de imagens com ruídos......................................................... 81 FIGURA 5.29 – Ampliação das regiões em destaque nas imagens representadas na FIGURA 5.28 .......................................................................................... 82 FIGURA 5.30 – Diferença entre a imagem original e a imagem de super resolução gerada com base na seqüência de imagens com ruídos, pelo método da média ................................................................................................. 83 FIGURA 5.31 – Ampliação de parte das imagens original(a), referência(b) e da imagem de super resolução gerada pelo método de minimização de erros (-5,0,+5), com base na seqüência de imagens com ruídos.................... 84 FIGURA 5.32 – Seqüência de imagens originais adquiridas com a câmara digital Kodak DC-40...................................................................................................... 85 FIGURA 5.33 – Resultado obtido pelo modelo de colinearidade e fusão pela média aritmética dos pixels correspondentes ................................................... 88 FIGURA 5.34 – Diferença entre as imagens original e a resultante, registrada e retificada pelo modelo de colinearidade ................................................. 89 FIGURA 5.35 – Resultado obtido pela fusão por meio da média dos níveis de brilho das imagens pertencentes à seqüência, utilizando-se da transformação projetiva .................................................................................................. 92 FIGURA 5.36 – Ampliação das regiões em destaque nas imagens apresentadas na FIGURA 5.35 .......................................................................................... 93 FIGURA 5.37 – Representação visual e numérica da diferença entre as imagens original e a resultante ............................................................................. 94 FIGURA 5.38 – Resultado obtido a partir da imagem original pela transformação projetiva com o método de minimização de erros (-5,0,+5).................... 95 FIGURA 5.39 – Ampliação das regiões em destaque nas imagens apresentadas na FIGURA 5.38 .......................................................................................... 96 FIGURA 5.40 – Representação visual e numérica da diferença entre as imagens original e a resultante ............................................................................. 98



xii

FIGURA 5.41 – Seqüência de imagens originais adquiridas com a câmara digital Kodak DC-210.................................................................................................... 99 FIGURA 5.42 – Resultado obtido pela fusão através da média dos níveis de brilho das imagens da seqüência registradas e retificadas pela transformação projetiva .................................................................................................. 104 FIGURA 5.43 – Ampliação das regiões em destaque nas imagens apresentadas na FIGURA 5.42 .......................................................................................... 105 FIGURA 5.44 – Representação visual e numérica da diferença entre as imagens original e a resultante, por meio da fusão pela média ............................ 106 FIGURA 5.45 – Resultado obtido a partir da imagem superamostrada pela média, conforme figura 5.42(c), pelo método de minimização de erros (-5,0,+5) .................................................................................................. 107 FIGURA 5.46 – Ampliação das regiões em destaque nas imagens apresentadas na FIGURA 5.45 .......................................................................................... 108 FIGURA 5.47 – Representação visual e numérica da diferença entre as imagens original e a resultante pela minimização de erros (-5,0,+5).................... 109



xiii

LISTA DE TABELAS TABELA 5.1 – Parâmetros de translação definidos para a geração de uma seqüência simulada de imagens ................................................................................ 63 TABELA 5.2 – Resíduos entre as coordenadas medidas e as ajustadas pela resseção espacial..................................................................................................... 86 TABELA 5.3 – Parâmetros ajustados para o registro e retificação das imagens pelo modelo de colinearidade........................................................................... 87 TABELA 5.4 – Resíduos entre as coordenadas medidas e as ajustadas pela transformação projetiva nas imagens adquiridas pela câmara Kodak DC-40........................................................................................................ 90 TABELA 5.5 – Parâmetros de transformação para o registro e retificação das imagens, determinados pela transformação projetiva.............................................. 91 TABELA 5.6 – Resíduos entre as coordenadas medidas e as ajustadas pela transformação projetiva nas imagens adquiridas pela câmara Kodak DC-210...................................................................................................... 101 TABELA 5.7 – Parâmetros ajustados para o registro e retificação das imagens, determinados pela transformação projetiva............................................... 102 TABELA 5.8 – Síntese das principais características dos experimentos......................... 110



xiv

ALMEIDA, L.L.. Geração de imagens de melhor resolução a partir de seqüências de

imagens. Presidente Prudente, 2001. 132 p. Dissertação de Mestrado - Faculdade de

Ciências e Tecnologia, Campus de Presidente Prudente, Universidade Estadual

Paulista.

RESUMO

Para extrair informações a partir de imagens deve-se observar, em primeira

instância, a resolução e aplicação da mesma. Essa resolução depende, basicamente,

das características físicas do sensor responsável pela captura dessas imagens, ou

seja, a disposição das lentes, resolução radiométrica, posicionamento, dimensões do

mesmo, que determina o tamanho do pixel, dentre outros fatores técnicos. A análise

das imagens adquiridas por um sensor de baixa qualidade fica comprometida,

necessitando do auxílio de técnicas que permitam a geração de imagens de alta

resolução a partir de uma seqüência de imagens, para recuperar informações desta

cena. Isso é útil em várias aplicações, como para a identificação de placas de veículos,

identificação facial de pessoas suspeitas em imagens de circuito fechado, e também na

geração de imagens aéreas de alta resolução, a partir de uma seqüência de imagens.

Para se estabelecer uma imagem de alta resolução utilizando-se de uma

seqüência, há a necessidade de se estabelecer os parâmetros de registro das imagens

para se retificar todas em relação à de referência. No contexto deste trabalho, para o

registro e retificação, foram utilizados o modelo de colinearidade e a transformação

projetiva. Depois de estabelecida a retificação, o processo de fusão foi executado de

duas maneiras: pela média aritmética entre os níveis de brilho dos pixels e pelo método

de minimização dos erros a partir de uma imagem de alta resolução inicial. Todas

estas etapas, com exceção do registro das imagens, foram implementadas no

ambiente Borland C++ Builder 4.0. Os experimentos foram realizados com dados

simulados e reais, obtendo-se resultados satisfatórios, particularmente, com a

utilização da transformação projetiva para a execução do registro e retificação das

imagens.

Palavras-chave: Restauração; Seqüência de Imagens; Resolução; Super

Resolução.



xv

ALMEIDA, L.L.. Geração de imagens de melhor resolução a partir de seqüências de

imagens. Presidente Prudente, 2001. 132 p. Dissertação de Mestrado - Faculdade de

Ciências e Tecnologia, Campus de Presidente Prudente, Universidade Estadual

Paulista.

ABSTRACT

Resolution and the target application have to be considered when using

images to extract information.

The resolution is dependent on the image sensor’s characteristics: the

lens position; radiometric resolution; localization; pixel size and others. The analysis of

images obtained by a low quality sensor is troublesome, becoming necessary the use

of techniques for image restoration, for example, fusion of a sequence of low resolution

registered images. This technique can have several applications such as, identification

of vehicles, facial identification and generation of high quality aerial images.

The generation a high-resolution image using a sequence of images

requires the computation of the transformation parameters (registration) for rectification

using one of the images as a reference. In this work, the registration and the

rectification were performed using the colinearity model and the projective

transformation. After the rectification, the fusion process was accomplished using two

approaches: arithmetic mean of gray levels and error minimization using an initial high

resolution image. All proposed tasks, except the registration step, were implemented

using C++ Builder 4.0 environment. The experiments were performed using simulated

and real data, obtaining suitable results, especially using the projective transformation

for the images registration and rectification.

Keywords: Restoration; Image Sequence; Resolution; High-Resolution.



1

CAPÍTULO 1

INTRODUÇÃO

1.1. CONSIDERAÇÕES PRELIMINARES

Várias áreas do conhecimento que se utilizam de análise de imagens,

deparam com um problema muito comum, que é o das imagens com baixo nível de

resolução radiométrica (quantidade de níveis de cinza da imagem está sendo exibida

ou armazenada) e geométrica (quantidade de pixels por unidade linear), as quais

dificultam a visualização precisa dos fenômenos imageados. Essas imagens de baixa

resolução podem levar a uma decisão sem a precisão almejada.

Esses baixos níveis de resolução geométrica e/ou radiométrica são

causados por diversos fatores, sendo que alguns deles são citados abaixo:

• A resolução do sensor;

• O equipamento que irá adquirir a imagem não apresenta uma boa

qualidade ou recursos especiais que facilitam a obtenção da mesma;

• Distorção ou aberração das lentes da câmara;

• Durante a obtenção da imagem pode ocorrer um certo deslocamento

do equipamento, que afeta a qualidade da imagem;

• Efeitos naturais, como excesso ou carência de luz.

Devido a esses fatores, busca-se, através do estudo de técnicas de

Processamento Digital de Imagens e Fotogrametria, minimizar a falta de nitidez na

determinação dos alvos de interesse que necessitam ser analisados.

Esse trabalho traz um estudo sobre a análise de seqüências de imagens

de uma mesma cena, onde, através dessa análise, pode-se criar uma imagem com um

alto padrão de resolução, a partir da transformação e fusão de várias imagens. Trata-

se de uma técnica de Restauração, uma vez que se tenta estimar a função imagem

original.



2

Existem várias situações de seqüência de imagens de baixa resolução,

que normalmente, necessita-se observar detalhes que não são possíveis sem um

tratamento adequado aplicado à mesma, por exemplo, uma imagem capturada da

placa de um veículo em movimento.

Por outro lado, quando se dispõe de uma seqüência de imagens, em

posições próximas, seria possível realizar uma super amostragem, ou seja, melhorar a

resolução dessa imagem para que os detalhes sejam definidos claramente.

É o que o olho humano faz com imagens de TV, por exemplo, onde se

tem a sensação de uma resolução maior quando se observa uma seqüência animada

do que quando se olha quadro a quadro, ficando a impressão de uma imagem borrada,

ou seja, não nítida.

O desenvolvimento de técnicas que permitem a geração de imagens de

alta resolução a partir de uma seqüência de imagens, tem sido útil em várias

aplicações, como para a identificação de placas de veículos, identificação facial de

pessoas suspeitas ("criminosos") em imagens de circuito fechado, na geração de

imagens aéreas de alta resolução a partir de imagens de vídeo ou câmara fotográfica,

para a determinação de diagnósticos por meio de imagens médicas, e também, na

reconstrução de filmes antigos, onde se procura minimizar a quantidade de ruídos e

borramentos que aparecem em cada frame projetado.

1.2. OBJETIVOS

O objetivo desse trabalho é o desenvolvimento de uma ferramenta de

apoio aos profissionais que utilizam imagens digitais para a obtenção de imagens de

melhor resolução radiométrica e geométrica, evitando-se assim, problemas causados

pela má identificação dos alvos envolvidos.

Essa ferramenta permitirá a geração de uma nova imagem com super resolução, ou

seja, uma imagem ampliada geometricamente (tamanho) e radiometricamente (nitidez).

Isto é possível a partir de seqüências de imagens com menor resolução e pertencentes

à cena avaliada, que sofrerão transformações e interpolações tendo uma delas como

referência.



3

O processo utilizado para gerar a imagem de super resolução se utiliza da associação

de técnicas de Fotogrametria, Computação Gráfica e Processamento de Imagens,

buscando-se adaptar e comparar os métodos estudados.

1.3. JUSTIFICATIVA

As imagens digitais, podem não apresentar uma resolução radiométrica

e/ou geométrica satisfatórias para a análise de alvos, seja devido a fatores naturais

como excesso de luz, ou até mesmo pelas características do mecanismo que está

sendo utilizado para obter essas imagens. Por intermédio da ferramenta desenvolvida,

é possível que essas imagens de má qualidade sejam reaproveitadas, ou seja, tendo-

se uma seqüência de imagens de má qualidade, é possível que se obtenha uma com

qualidade superior às que estão sendo analisadas. O nível de brilho de cada ponto da

imagem de maior nível de resolução, é determinado pela fusão dos pontos

correspondentes nas outras imagens, todas transformadas (retificadas).

1.4. APRESENTAÇÃO DA ESTRUTURA DO TRABALHO

O trabalho está organizado da seguinte forma:

a) No capítulo dois, há uma revisão da literatura sobre os métodos utilizados para

manipular as imagens a serem analisadas, considerando-os úteis para a

implementação da ferramenta;

b) No capítulo três, encontram-se alguns processos para a realização de

retificação e restauração de imagens, descrevendo-se todas as etapas, tais

como, o processo de registro de imagens, as técnicas de interpolação mais

usuais e os métodos para a geração de imagens de super resolução com base

nas referências consultadas;

c) No capítulo quatro, é feita uma breve descrição dos equipamentos utilizados e

das metodologias empregadas;

d) No capítulo cinco, são mostrados experimentos com dados reais, utilizando-se a

ferramenta desenvolvida;

e) A elaboração de uma conclusão sobre os objetivos e resultados alcançados,

além de sugestões para novas implementações, encontra-se no capítulo seis.



4

CAPÍTULO 2

OPERAÇÕES BÁSICAS EM IMAGENS DIGITAIS

2.1. FORMAÇÃO DA IMAGEM

O processo de formação de uma imagem está diretamente associado aos

fatores de iluminação, das características da cena (dimensão, grau de reflexão, etc) e

do sistema ótico (lentes, espelhos, foco, etc) utilizado para aquisição.

Segundo Gonzales & Woods (1993), a aquisição de uma imagem

monocromática pode ser descrita matematicamente por uma função f(x,y) da

intensidade luminosa, sendo seu valor, em qualquer ponto de coordenadas espaciais

(x,y), proporcional ao brilho (ou nível de cinza) da imagem naquele ponto. A função

f(x,y) representa o produto da interação entre a iluminância i(x,y) – que exprime a

quantidade de luz que incide sobre o objeto – e as propriedades de refletância ou de

transmitância próprias do objeto, que podem ser representadas pela função r(x,y), cujo

valor exprime a fração de luz incidente que o objeto vai transmitir ou refletir ao ponto

(x,y). Estes conceitos estão ilustrados na figura 2.1 e na equação 2.1.

FIGURA 2.1 – Os componentes iluminância (I) e refletância (R) de uma imagem

(Fonte: adaptada de Gonzales & Woods, 1993).

Matematicamente, tem-se:

f (x,y) = i(x,y) * r(x,y) (2.1)

com: 0 < i(x,y) < ∞ e 0 < r(x,y) < 1.



5

Quanto mais próximos de seus limites máximos, i(x,y) e r(x,y) estiverem,

apresentarão tonalidades mais claras, e quanto mais próximos de seus limites

inferiores (zero) apresentarão níveis de brilho tendendo ao preto.

Com isso, Gonzales & Woods (1993) definem a aquisição de imagens,

como o processo que converte uma cena real tridimensional em uma imagem

bidimensional.

Um dos primeiros passos para se converter uma cena real tridimensional

em uma imagem digital é a redução de sua dimensionalidade e isso pode ser feito com

uma câmara fotográfica, câmara de vídeo ou qualquer outro dispositivo que converterá

uma cena 3D em uma representação 2D adequada.

O dispositivo de aquisição direta de imagens digitais é a câmara CCD

(Charge Coupled Device). A imagem é obtida por uma matriz de células

semicondutoras fotossensíveis, que atuam como capacitores, armazenando carga

elétrica proporcional à energia luminosa incidente. O sinal elétrico produzido é

dependente dos circuitos eletrônicos especializados, produzindo à saída, um Sinal

Composto de Vídeo (SCV) analógico e monocromático.

Para a aquisição de imagens coloridas utilizando CCD’s, é necessário um

conjunto de prismas e filtros de cor encarregados de decompor a imagem colorida em

suas componentes R (Red), G (Green) e B (Blue), cada qual capturada por um CCD

independente (Nince, 1991).

Após o processo de aquisição, o sinal analógico deve ser submetido a

uma discretização espacial e em amplitude para tomar o formato adequado ao

processo computacional.

O processo de discretização espacial pode ser chamado de amostragem e o

processo de discretização em amplitude pode ser chamado de quantização (Gonzales

& Woods, 1993).

Basicamente, a amostragem converte a imagem analógica em uma

matriz de M por N pontos, cada qual denominado pixel (ou elemento de imagem):

−−−−

−

−

=

)1,1()1,1()0,1(

)1,1()1,1()0,1(

)1,0()1,0()0,0(

),(

NMfMfMf

MMMM

Nfff

Nfff

yxf

Λ

Λ

Λ

(2.2)

...

...

...



6

Quanto maiores forem os valores de M e N , maior será a resolução

espacial da imagem, conforme 2.2.

A quantização faz com que cada um desses pixels f(x,y) assuma um valor

inteiro, na faixa de 0 a (2n – 1). Quanto maior for o valor de n, maior o número de níveis

de cinza presentes na imagem digitalizada. Neste caso, define-se, por meio de uma

abordagem matemática, que haverá um uma imagem f(x,y), onde f é um número inteiro

positivo que determina o nível de brilho a cada coordenada (x,y) que se refere à

posição deste (Gonzales & Woods, 1993).

Uma conversão analógica/digital, também conhecida como digitalização,

sob o ponto de vista eletrônico, produz um número de amostras do sinal contínuo por

unidade de tempo, indicando a taxa de amostragem.

Durante a formação da imagem, já se pode observar degradações na

mesma, causadas pelos fatores descritos a seguir, conforme Tommaselli (1998):

§ Aberrações das lentes das câmeras: podem causar um borramento na imagem,

onde, um ponto projetado aparece, de forma geral, como uma elipse. Essas

aberrações são denominadas como:

§ Aberração esférica: ocorre somente em pontos presentes no eixo

ótico;

§ Astigmatismo: um ponto aparece como duas pequenas linhas fora

do eixo ótico e em diferentes planos, ou seja, formam-se duas

imagens de um mesmo objeto;

§ Coma: é similar à aberração esférica, mas ocorre em pontos que

não estão no eixo ótico. Este fenômeno gera uma imagem que se

assemelha à de um cometa;

§ Aberração cromática: em relação às descritas acima, é a única que

não considera, apenas, a luz monocromática. Por isso, é causada

pela dispersão das componentes que formam uma cor.

§ Difração: um ponto projetado, forma um disco com anéis concêntricos;

§ Desfocalização: pode causar uma imagem borrada;

§ Arrastamento: gera um borrão na imagem;

§ Ruídos do sistema eletrônico de aquisição;

§ Resolução do sistema;

§ Distorções geométricas: ocorre com a distorção das lentes e se classificam em

radial simétrica e descentrada.



7

2.2. MANIPULAÇÃO DE IMAGENS DIGITAIS

O Processamento Digital de Imagens envolve a manipulação e análise de

imagens digitais com o auxílio de computadores, de modo que a entrada e a saída do

processo sejam ambos, imagens. Por isso, descreve-se a seguir, algumas das

operações realizadas com imagens, segundo os autores Richards (1986), Swain &

Davis (1978) e Gonzales & Woods (1993).

Teoricamente, as formas possíveis para se manipular imagens são

indefinidas. Gonzales & Woods (1993), apresentam de maneira geral, etapas descritas

como aquisição, processamento e armazenamento, e ainda, transmissão dessas

imagens.

Através de Richards (1986), pode-se detalhar a etapa que Gonzales &

Woods (1993) denominam como processamento, conforme descrito nos itens abaixo e

que estão diretamente ligados ao trabalho desenvolvido:

a) Registro de Imagens – compreende uma transformação geométrica que

relaciona as coordenadas de uma imagem (linha, coluna) com coordenadas de

um sistema de referência qualquer. Esse sistema de referência é, em última

instância, o sistema de coordenadas planas de uma certa projeção cartográfica,

ou ainda, uma outra imagem;

b) Retificação e Restauração de Imagens – tem como objetivo principal, a criação

de uma representação mais real possível da cena que está sendo avaliada,

utilizando-se de procedimentos que realizam a correção das distorções e

degradações encontradas na imagem;

c) Realce de Imagens – objetiva a melhoria da visualização de uma cena através

de manipulação de imagens, para subseqüente interpretação visual ou digital;

d) Fusão de Imagens – possibilita a realização de combinações entre as imagens,

com outras imagens referenciadas geograficamente à mesma área. Como por

exemplo, a fusão de imagens de diferentes resoluções pertencentes à

seqüência de imagens que determinam uma cena.

Swain & Davis (1978), detalharam as etapas de Registro, Retificação e

Restauração de Imagens, como descritas abaixo, e também, utilizadas no trabalho

desenvolvido:

a) Transformações Radiométricas – correção das anomalias devido às

características do sensor e ambiente, tais como: correção de diferenças entre



8

detectores, calibração radiométrica, ângulo de varredura ou iluminação, e a

correção das condições de iluminação, efeitos topográficos e atmosféricos da

cena;

b) Transformações Geométricas – alteram a geometria da imagem, onde estão

envolvidos: registro e retificação de imagens, conforme necessidade do usuário

e a correção de distorções sistemáticas que removem as distorções provocadas

pelas características do sensor e plataforma, dando a condição de se gerar uma

imagem de melhor resolução para definições de alvos específicos;

c) Apresentação dos Dados – observação dos dados em formato imagem.

Pode-se perceber que os autores, citados acima, tratam de forma muito

comum os processos aplicados sobre imagens, procurando detalhar as formas de

manipulação.

Essas manipulações sobre imagens são possíveis, pois a mesma é

organizada em linhas e colunas (matriz). Cada célula da imagem (pixel) armazena

valores de intensidade, que podem ser níveis de cinza, conforme exemplificado na

figura 2.2, ou cores (RGB), conforme figura 2.3. Os processos que envolvem a

manipulação de uma imagem podem ser realizados espacialmente, por meio de

transformações que afetam geometricamente a imagem, pois a mesma é composta por

elementos discretos (pixels) que estão definidos pela posição determinada pela linha e

coluna da célula em questão. E radiometricamente, que diz respeito à manipulação dos

níveis de brilho discretos que compõem a imagem em seu formato digital.

Mesmo as informações contidas em uma imagem que estão em forma

analógica, podem ser convertidas em valores discretos, através de digitalizadores,

como por exemplo, com a utilização de scanners.

Na manipulação e análise dos pixels, as propriedades da imagem de

maior significado podem ser definidas como:

§ A localização do ponto a ser analisado, definido por linha e coluna;

§ A resolução espacial, definida pelo tamanho do pixel; e

§ A resolução radiométrica que o sistema sensor possui.

A resolução radiométrica define o intervalo e o número aceitável de

intensidades de brilho, necessários para representar uma imagem digital formada por

pixels.



9

0 1 2 3 4 Linha

0 200 201 225 224 182

1 220 200 225 226 181

2 152 152 226 226 180

3 152 152 178 178 180

4 155 152 179 179 180

Coluna

FIGURA 2.2 – Representação de um exemplo de imagem digital utilizando-se dados

com 8 bits, conseqüentemente com 256 níveis de brilho.

No caso de imagens que utilizam 24 bits para representar um pixel,

obtém-se 16.777.216 variações de cores, onde a representação é mais complexa, pois

cada pixel com coordenadas espaciais (x,y) é representado pela combinação das

componentes vermelha (R), verde (G) e azul (B), formando o padrão RGB. Cada

componente deste padrão pode variar de 0 (tonalidade mais escura) a 255 (tonalidade

mais clara); com isso, pode-se determinar, através de combinações, a quantidade total

de níveis de brilho que pode ser representada em cada pixel da imagem

(aproximadamente, dezesseis milhões de cores), conforme exemplificado na figura 2.3.



10

0 1 2 3 Linha

0 (200,154,202) (201,150,200) (225,144,242) (225,144,242)

1 (220,153,231) (200,152,200) (225,144,242) (225,144,242)

2 (152,123,145) (152,212,200) (226,148,233) (226,148,233)

3 (152,124,146) (152,212,200) (178,148,235) (178,148,235)

4 (152,123,145) (152,212,200) (179,149,235) (179,149,235)

Coluna ( R G B ) ( R G B ) ( R G B ) ( R G B )

FIGURA 2.3. Exemplo de representação de imagem digital utilizando-se dados com 24

bits.

2.3. OPERAÇÕES PIXEL A PIXEL

Segundo Marques & Vieira (1999), após uma imagem ter sido adquirida,

ela pode ser vista como uma matriz de inteiros, e, portanto, pode ser manipulada

numericamente, utilizando operações lógicas e/ou aritméticas. Estas operações podem

ser efetuadas pixel a pixel ou orientadas à vizinhança. No primeiro caso, elas podem

ser descritas pela seguinte notação (2.3):

g(0) operador g(1) = GS (2.3)

Onde:

§ g(0) e g(1) são imagens (matrizes) a serem manipuladas;

§ GS é a imagem resultante do processo;

§ O operador pode ser aritmético (+, -, x, /) ou lógico (and, or, xor) binário.

Estas imagens podem ser processadas pixel a pixel, utilizando um

operador aritmético ou lógico, produzindo uma terceira imagem GS, cujos pixels

correspondem ao resultado da operação executada em cada elemento de g(0) e g(1),

conforme ilustrado esquematicamente na figura 2.4.

FIGURA 2.4 – Operações lógicas e/ou aritméticas pixel a pixel.

� � � � � � � � �

� � � Operador � � � = � � �

� � � � � � � � �

g(0) g(1) GS



11

Quando são executadas operações aritméticas sobre imagens, deve-se

tomar especial cuidado com os problemas de underflow ou overflow do resultado. A

adição de duas imagens de 256 tons de cinza, por exemplo, pode resultar em número

maior de 255 para alguns pixels; ao mesmo tempo a subtração de duas imagens pode

resultar em valores negativos para alguns elementos. Segundo Marques & Vieira

(1999), para contornar estes problemas, existem basicamente duas alternativas:

a) Manter os resultados intermediários em uma matriz, na qual o espaço de memória

alocado para cada pixel permita a representação de números negativos e/ou

maiores que 255 e, em seguida, proceder a uma normalização destes valores

intermediários;

b) Truncar os valores maiores que o máximo valor permitido, bem como os valores

negativos, igualando-os a 255 e 0, respectivamente. A decisão depende do

objetivo que se pretende obter.

2.4. TÉCNICAS DE AMPLIAÇÃO DE IMAGENS

A ampliação e redução de imagens consistem no aumento e diminuição

das dimensões destas para efeito de visualização ou processamento. Uma das

maneiras utilizadas para que uma imagem seja ampliada é a duplicação dos valores

dos pixels na direção x ou y ou em ambas. Se o fator de ampliação não for o mesmo

para as duas direções, o aspecto da imagem será alterado.

Para que uma imagem seja ampliada com um fator 2, cada pixel é

copiado 4 vezes na imagem resultante, conforme é apresentado na figura 2.5. Convém

notar que a definição da resolução na imagem não é alterada, apenas seu tamanho

para efeito de visualização.

FIGURA 2.5 – Expansão de um pixel em 4(zoom 2x) utilizando a replicação.

Para utilizar a redução de fator 2, basta que seja feito o processo inverso,

Reamostragem



12

ou seja, converter um agrupamento de 4 pixels novamente em 1 pixel, através da

média, mediana ou outro método equivalente, desde que envolva os pontos de

interesse.

Uma outra maneira de ampliar a imagem é utilizando a média dos pixels

vizinhos da imagem original, ou seja, em vez de apenas tomar o pixel da imagem

original e copiá-lo para a imagem a ser ampliada, faz-se à média dos pixels vizinhos. A

figura 2.6 mostra esta outra forma de se obter uma imagem ampliada.

FIGURA 2.6 – Expansão de um pixel em 4 (zoom 2x) utilizando a média.

Para exemplificar este processo observe a figura 2.7 e o processo

descrito.

FIGURA 2.7 – Demonstração do processo de reamostragem através da Média.

Imagem original (g) Imagem resultante (GS)

0 1 2 3 0 1 2 3 4 5 6 7 ...

0 150 200 201 200 0 168 168 167 167 ..... ..... ..... ..... .....

1 153 167 100 102 1 168 168 167 167 ..... ..... ..... ..... .....

2 153 158 100 101 2 158 158 131 131 ..... ..... ..... ..... .....

3 154 158 105 100 3 158 158 131 131 ..... ..... ..... ..... .....

4 ..... ..... ..... ..... ..... ..... ..... ..... .....

5 ..... ..... ..... ..... ..... ..... ..... ..... .....

6 ..... ..... ..... ..... ..... ..... ..... ..... .....

: ..... ..... ..... ..... ..... ..... ..... ..... .....

p1 p2 p3 p4



13

Conforme a figura 2.7 o processo de reamostragem pode ser descrito pelas

equações (2.4), (2.5), (2.6) e (2.7):

GS(i,i)=GS(i+1,i)=GS(i,i+1)=GS(i+1,i+1) = [(g(i,i)+g(i+1,i)+g(i,i+1)+g(i+1,i+1))/4] (2.4)

GS(i+2,i)=GS(i+3,i)=GS(i+2,i+1)=GS(i+3,i+1)= [(g(i+1,i)+g(i+2,i)+g(i+1,i+1)+g(i+2,i+1))/4] (2.5)

GS(i,i+2)=GS(i+1,i+2)=GS(i,i+3)=GS(i+1,i+3)= [(g(i,i+1)+g(i+1,i+1)+g(i,i+2)+g(i+1,i+2))/4] (2.6)

GS(i+2,i+2)=GS(i+3,i+2)=GS(i+2,i+3)=GS(i+3,i+3)= [(g(i+1,i+1)+g(i+2,i+1)+g(i+1,i+2)+g(i+2,i+2))/4] (2.7)

A nova imagem (GS – figura 2.8a) é criada iterativamente, ou seja, toda a

imagem original (g – figura 2.8b) é percorrida gerando-se assim, uma imagem

ampliada (GS) duas vezes. Conseqüentemente, a imagem resultante possui o dobro

de linhas e colunas em relação à imagem original (g). Mas, por se tratar de um

processo que envolve a média entre os níveis de intensidade de brilho de cada pixel, a

imagem resultante apresenta um aspecto suavizado em relação à imagem original.

O processo mais viável para a geração preliminar da imagem

superamostrada é através da Interpolação Bilinear, conforme a figura 2.8(b), pois cada

pixel gerado na nova imagem (r) leva em consideração os seus vizinhos (n) tanto na

direção de x quanto em y. Observa-se a intensidade de brilho de cada um, realizando a

interpolação entre os mesmos com base na influência que cada vizinho promove sobre

o pixel a ser gerado. Cada pixel representado por (r) possui uma intensidade de brilho

próxima ao seu vizinho (n) menos distante.



14

FIGURA 2.8 – Representação de uma imagem ampliada através da Interpolação

Bilinear.

Os passos para a determinação da imagem superamostrada podem ser

visualizados, de maneira geral, no Capítulo 4. O processo de Interpolação Bilinear está

detalhado no capítulo subseqüente, que envolve as técnicas de interpolação mais

usuais.

g(i,j) GS(k,l)

n n n r r r r r r r

n n n r r r r r r r

n n n r r r r r r r

r r r r r r r

r r r r r r r

r r r r r r r

r r r r r r r

(a) Imagem original

(b) Imagem ampliada por Interpolação Bilinear



15

CAPÍTULO 3

RETIFICAÇÃO E RESTAURAÇÃO DE IMAGENS

O objetivo da restauração e retificação de imagens é a correção das

degradações ou distorções que ocorrem no processo de aquisição da cena.

Essas distorções ou degradações que geram a aquisição de imagens de

baixa resolução radiométrica, podem ser causadas, segundo Lillesand & Kiefer (1987),

pela variação na iluminação no momento da aquisição da imagem, devido às

condições ambientais, o local em que o sensor se encontra, além, das características

do mesmo.

Mas, para se aplicar qualquer tipo de técnica para a restauração dessas

imagens é necessário, anteriormente, realizar a retificação das imagens que pertencem

à cena adquirida, para se posicionar uma imagem em relação à outra, ou seja, o

registro de imagens deve ser executado.

3.1. REGISTRO DE IMAGENS

Como descrito no capítulo 2, o registro de imagens compreende uma

transformação geométrica que relaciona cada ponto de uma imagem com as

coordenadas de um sistema de referência qualquer. Esse sistema de referência é, em

última instância, o sistema de coordenadas planas de uma certa projeção cartográfica,

ou ainda, uma outra imagem que fornecerá os pontos de controle para que as outras

que fazem parte da cena, possam ser posicionadas em relação a esta que foi

determinada como a de referência.

Através do esquema demonstrado na figura 3.1 pode-se observar, de

maneira geral, as etapas para se executar o registro de imagens.



16

Imagens que fazem parte da seqüência

pertencentes à cena

Determinação do Sistema de Referência/Imagem de

Referência

Determinação dos pontos de controle (apoio) e dos pontos

observados nas outras imagens

Definir e executar a transformação geométrica que

obtém os parâmetros de transformação entre as

imagens

Executar a transformação, com base nos parâmetros

calculados, para determinar a correspondência de um

determinado ponto na imagem de Referência com as demais

imagens que compõem a cena

Geração da Imagem Retificada em relação a Imagem de

Referência, com base nos passos anteriores

Determinar o nível de brilho de cada ponto encontrado, por

meio de uma técnica de Interpolação adequada para o

problema, levando-se em consideração os seus vizinhos

FIGURA 3.1 – Esquema geral para execução do Registro de Imagens.

A principal etapa do registro de imagens é o processo de matching entre

imagens, que é a determinação da correspondência entre os pontos da imagem de

referência com os de uma outra imagem que pertence à cena, para que haja a

possibilidade de se retificar todas as imagens pertencentes à mesma cena em relação

a um referencial qualquer, que neste caso, será uma das imagens.

Devido à paralaxe existente em uma imagem, por apresentar alguma

forma de relevo (topografia), não se consegue determinar o registro com apenas uma

transformação para toda a cena, pois, dependendo da distância do sensor ao alvo,

este pode apresentar formas diferentes. Mas, no caso de uma região relativamente

plana, topograficamente, é possível determinar o registro aplicando-se uma

transformação de perspectiva, e até mesmo uma Transformação Afim.

Para imagens que representam regiões não planas, é necessário

identificar os pontos, nos quais isso ocorre nas imagens a serem analisadas para a

possibilidade de se efetuar o registro, e também, a correção geométrica deste

deslocamento (Richards, 1986).



17

Com isso, deve-se realizar as transformações em pequenas porções,

gerando-se uma ortoimagem da região analisada para posterior retificação e registro.

Segundo Richards (1986), duas imagens podem ser registradas uma a

outra através do registro de cada uma delas, separadamente, em relação às

coordenadas de controle definidas previamente. Uma possibilidade seria a de escolher

uma imagem como referência (imagem principal) e registrar as outras imagens

(imagens secundárias) em relação à de referência. Nestes casos, na utilização das

técnicas de correção geométrica, as coordenadas (x, y) correspondem às coordenadas

da imagem que será registrada (secundária).

3.2. O PROCESSO PARA O REGISTRO DE IMAGENS (DOMÍNIO DO ESPAÇO)

Fonseca & Manjunath (1996), conceituam registro de imagens como

sendo o processo pelo qual são definidos pontos comuns entre duas ou mais imagens

que compõem uma mesma cena. Por definição, a primeira imagem é chamada imagem

de referência, e a imagem que deve se correlacionar com essa de referência, é

chamada de imagem de busca (secundária). Essa idéia vai ao encontro de uma das

possibilidades de se executar o registro segundo Richards (1986), conforme descrito

no tópico anterior.

O processo, descrito a seguir, define o Registro de Imagens de uma

maneira mais completa, mostrando cada etapa, enquanto que o método anteriormente

relatado no item 3.1, executa, basicamente, um procedimento de matching. Mas

mesmo assim, pode-se detectar pontos comuns entre ambos.

Segundo Fonseca & Manjunath (1996), o método geral para o Registro de

Imagens pode ser decomposto nos seguintes passos:

§ Identificação de Feições (Pontos de Controle):

Identifica um conjunto de feições relevantes nas duas imagens, tais como

bordas, interseções de linhas, contornos que definem regiões, entre outras;

§ Matching de Feições:

Estabelece correspondências entre as feições; assim, cada feição na

imagem de busca (secundária) terá sua correspondência na imagem de

referência (principal). Conseqüentemente, cada feição é identificada através



18

da localização dos pontos que a compõe na imagem, e estes pontos

correspondentes são utilizados e definidos como pontos de controle;

§ Transformação Espacial:

Define uma função de mapeamento para a determinação dos outros

pontos restantes, utilizando-se dos pontos de controle obtidos no passo

anterior.

§ Interpolação (Reamostragem):

Interpola novos pontos, atribuindo o nível de intensidade de brilho à

imagem reamostrada, levando-se em consideração a situação dos pontos

vizinhos.

Em geral, os métodos de registro variam dependendo de sua aplicação.

Esses métodos podem combinar diferentes técnicas para a identificação de feições,

feições de matching e funções de mapeamento. A fase de maior dificuldade na

determinação do registro é a obtenção da correspondência entre dois conjuntos de

feições. Essa tarefa é primordial para a precisão do registro e o maior esforço dos

pesquisadores tem sido gasto no desenvolvimento de técnicas eficientes de matching

de feições, pois a tarefa de desenvolvimento das funções de mapeamento não oferece

muitas dificuldades. O processo de interpolação é padrão, sendo que, alguns métodos

serão demonstrados no decorrer deste trabalho.

3.2.1. IDENTIFICAÇÃO DOS PONTOS DE CONTROLE (MATCHING)

Ainda, segundo Fonseca & Manjunath (1996), essa etapa é realizada por

meio de uma extração de feições e do matching de feições, ou seja, a identificação de

alguns pontos na primeira imagem (principal), que deverão ser encontrados nas outras

imagens (secundárias), na etapa seguinte. Devido aos problemas que podem ocorrer

com as imagens, tais como, presença de ruídos, diferenças de nível de brilho,

posicionamentos e escala, a identificação dos pontos de controle não é uma operação

simples. Na verdade o que se observa na prática é que os sistemas automáticos não

conseguem atender a todas as situações e os sistemas, geralmente, apresentam

alguma solução manual e também semi-automática. Abaixo, são descritas três

maneiras de se identificar pontos para a realização do Matching:



19

a) Identificação Manual

Neste método, um operador define manualmente alguns pontos

correspondentes entre as imagens. As características dos pontos a serem escolhidos,

normalmente, representam lagos, rios, linhas de costa, estradas, ou outra cena

dominante, isto no caso de imagens de longa distância. Em imagens de curta distância,

o operador define pontos que se destacam como característica predominante nas

imagens. Os pontos devem ser bem distribuídos pelas imagens e o número mínimo de

pontos a serem coletados depende do número de parâmetros da função de

transformação a ser utilizada. Esta tarefa é muito tediosa e repetitiva. Além disso,

requer uma aproximação ("pontaria") entre os pontos correspondentes muito precisa, o

que em certos casos, não ocorre devido à inexistência de características explícitas

como descritas acima.

Assim, existe a necessidade de técnicas semi, ou totalmente,

automatizadas que requerem, ou não, a supervisão do usuário. Os métodos de

identificação automática podem ser divididos em técnicas: baseadas na área e

baseadas em feições.

b) Identificação Baseada em Área

Por este método, uma pequena área selecionada na primeira imagem é

comparada estatisticamente com pequenas áreas equivalentes na segunda imagem

(correlação entre imagens). A figura 3.2 mostra duas imagens, e as janelas utilizadas

no processo de correlação.



20

FIGURA 3.2 – Identificação Baseada em Área (Fonte: Fonseca & Manjunath, 1996).

Onde:

Im1: Imagem 1;

Im2: Imagem 2;

R: Imagem de referência;

W: Imagem de pesquisa (busca);

S: Matriz que estará percorrendo a imagem de referência (convolução);

M, N: altura e largura da imagem 1;

M', N': altura e largura da imagem 2;

K, L: altura e largura da janela de referência;

I, J: altura e largura da janela de pesquisa;

J – L, I – K: coordenada do ponto de maior correlação na janela de pesquisa.

A melhor correspondência de uma área representada em uma imagem

em relação à outra ocorre quando Ri,j é máximo.

(i,j)

K

W

Si,j

Im1 Im2

N N'

I - K

M

L

R

M'

J - L

I

J



21

Fonseca & Manjunath (1996), citam também, que os métodos de

correlação podem ser eficientemente implementados no domínio da freqüência,

utilizando a Transformada de Fourier, e ainda, algumas propriedades desta podem ser

usadas para torná-la invariante quanto à translação, rotação e escala. Dentre os

métodos de correlação existentes, pode-se citar: Correlação Cruzada, Função Erro,

Função Quociente, Função Erro Quadrático e Função Covariância Cruzada.

c) Identificação Baseada em Feições

Por este método, a operação é executada em duas etapas: na primeira é

feita uma extração de feições, e na segunda um matching de feições é realizado, com

o objetivo de localizar feições correspondentes nas duas imagens. No domínio do

espaço as feições mais utilizadas são as linhas de bordas, interseções de linhas, mas

outros atributos, tais como, textura e cor, também podem ser utilizados. No domínio da

freqüência a imagem é decomposta e representada por um conjunto de componentes

de freqüência, e a informação da borda pode ser detectada por meio das componentes

de alta freqüência (Fonseca & Manjunath, 1996).

3.3. TRANSFORMAÇÕES

As transformações são operações, freqüentemente utilizadas em

Fotogrametria, o que transformam coordenadas de um determinado sistema de

referência para outro qualquer, com base nos pontos de controle determinados

previamente.

O efeito de uma transformação pode ser uma simples mudança de

posição na imagem, sem alterar seu tamanho e a sua forma, quando se trata de

translações. A mudança no tamanho da imagem e na forma em que se apresenta, está

ligada a um fator de escala que pode ser uniforme ou não, ou seja, se for aplicado o

mesmo fator em todos os eixos a imagem não será deformada, sofrendo apenas uma

alteração de tamanho, caso contrário, a imagem apresentará distorções (Moffitt &

Mikhail, 1980).

Existem várias possibilidades de transformações e algumas delas são

abordadas no decorrer do trabalho.

Na realização do registro tradicional, essas transformações são

determinadas usando os pontos de controle adquiridos do processo de



22

correspondência. Em situações onde o matching de feições é difícil de ser realizado, o

mapeamento do ponto desejado pode ser conseguido através de um processo iterativo

(Brown, 1992). Nesse método, o processo de correlação de feições e a determinação

da transformação utilizada para realizar o mapeamento de um sistema para outro, são

realizados simultaneamente. O processo para a determinação da transformação ótima

entre as imagens será finalizado no momento em que o processo convergir.

Matematicamente, pode-se dizer que dados n pontos de controle em duas

imagens de uma mesma cena, [(Xi, Yi), (xi, yi)], onde i=1,..., n, a transformação

realizará o mapeamento dos pontos entre as imagens, podendo ser definida

genericamente, como em (3.1):

Xi = f(xi,yi) (3.1)

Yi = g(xi,yi)

onde (xi,yi) corresponde às coordenadas do ponto imagem na primeira imagem, e

(Xi,Yi) corresponde às coordenadas do mesmo ponto na segunda imagem, sendo esta,

a imagem que possui os pontos de controle.

A transformação afim bidimensional ortogonal (cinco parâmetros) é

freqüentemente utilizada para definir o mapeamento entre duas imagens, sendo

definida em (3.2) (Andrade, 1998):

Xi = tx + sx. (xi cos θ - yi sen θ) (3.2)

Yi = ty + sy. (xi sen θ + yi cos θ)

Na forma linear, a transformação afim geral (6 parâmetros) no plano se

apresenta conforme (3.3) (Andrade, 1998):

Xi = a1 . xi + b1 . yi + c1 (3.3)

Yi = a2 . xi + b2 . yi + c2

Ou ainda, na forma matricial, conforme a equação (3.4):



23

Xi a1 b1 xi c1

= * + Yi a2 b2 yi c2

A transformação (3.2) é composta de duas operações de escala (sx e sy),

translação (tx, ty) e de uma rotação (θ), sendo desconsiderado o parâmetro de não

ortogonalidade entre os eixos. Já na transformação afim geral no plano (modelo linear

(3.3)), o parâmetro de não ortogonalidade, que é a mudança do ângulo formado pelos

eixos, está presente embora não esteja explicitado. Outros tipos de transformação

também são utilizados para este fim, tais como, a transformação projetiva e a

transformação perspectiva. Observa-se finalmente, que a transformação definida em

(3.2) não serve para correções de distorções não lineares em imagens. Neste caso,

segundo Fonseca & Manjunath (1996), um polinômio de grau correspondente ao nível

de distorção é necessário.

A condição projetiva entre dois planos é determinada pelas equações

lineares fracionárias que são compostas por oito parâmetros de transformação,

conforme (3.5) (adaptadas de Moffitt & Mikhail, 1980).

a1 . xi + b1 . yi + c1 Xi =

a0 . xi + b0 . yi + 1

a2 . xi + b2 . yi + c2 Yi =

a0 . xi + b0 . yi + 1

O modelo linear da equação (3.5) pode ser descrito conforme (3.6).

(3.6)

Conforme sugerem Fonseca & Manjunath (1996), a transformação

polinomial geral pode ser expressa como em (3.7) (adaptadas de Moffitt & Mikhail,

1980).

Xi = ao + a1.xi + a2.yi + a3.xi.yi + a4.xi2 + a5.yi

2 + ... (3.7)

Yi = bo + b1.xi + b2.yi + b3.xi.yi + b4.xi2 + b5.yi

2 + ...

(3.4)

(3.5)

00222

00111

...

...

bYyaYxcbyaxY

bXyaXxcbyaxX

iiiiiii

iiiiiii

−−++=

−−++=



24

Nas equações anteriores:

Xi,Yi: coordenadas no plano objeto ou na imagem de referência;

xi, yi: coordenadas no plano imagem;

a0, a1,..., b0, b1,..., c1, c2: parâmetros de transformação;

Outro modelo matemático que também pode ser utilizado é o composto

pelas equações de colinearidade, pois com elas pode-se mapear um determinado

ponto do espaço objeto em uma imagem.

A colinearidade pode ser definida como a condição que estabelece que a

estação de exposição, o ponto objeto e o ponto-imagem pertencem a uma mesma

linha reta (Wolf, 1983).

Conseqüentemente, as equações de colinearidade são deduzidas com

base na condição de que os pontos O, p e P (respectivamente: centro perspectivo,

ponto imagem e ponto objeto) pertença a uma reta, conforme figura 3.3.



25

FIGURA 3.3 – Condição de colinearidade de O, p e P. oxyz representa o sistema

fotogramétrico; OXYZ um sistema cartesiano local; f é a distância focal; p é o ponto

imagem e P é um ponto do espaço-objeto (Fonte: Andrade, 1998).

Considerando o sistema OXYZ do espaço objeto transladado, não paralelo e

com diferente escala, com respeito ao primeiro (figura 3.3), a relação matemática entre

coordenadas dos dois sistemas oxyz e OXYZ, é dada pela transformação de

similaridade no espaço.

(3.7)

Onde:

Xp, Yp, Zp: coordenada do ponto no espaço objeto (OXYZ);

λ’: é o inverso da escala;

MT: matriz transposta de M, obtida do produto de três matrizes de rotação numa

determinada ordem;

xp, yp, zp: coordenada do ponto imagem do sistema fotográfico (oxyz);

Xc, Yc, Zc: coordenadas do centro perspectivo (OXYZ).

A transformação inversa pode ser escrita como:

f

+

=

c

c

c

p

p

pT

p

p

p

Z

Y

X

z

y

x

M

Z

Y

X

.'.λ



26

−−

−

=

cP

cP

cP

P

P

P

ZZ

YY

XX

M

z

y

x

..λ

(3.8)

Se for usada a seqüência Mz(κ).My(ϕ).Mx(ω) a matriz de rotações resulta em (3.9):

Seus elementos são definidos conforme (3.10):

m11 = cos ϕ. cos χ

m12 = cos ω . sen χ + sen ω. sen ϕ . cos χ

m13 = sen ω . sen χ - cos ω. sen ϕ . cos χ

m21 = -cos ϕ . sen χ (3.10)

m22 = cos ω . cos χ - sen ω. sen ϕ . sen χ

m23 = sen ω . cos χ + cos ω. sen ϕ . sen χ

m31 = sen ϕ

m32 = -sen ω . cos ϕ

m33 = cos ω . cos ϕ

Substituindo os valores de xP, yP e zP dados pela equação (3.8) e

negligenciando o índice p (Lugnani, 1987); lembrando que M é a matriz de rotações e

que zp é a distância focal calibrada ou constante da câmara, tem-se (Andrade, 1998):

(3.11)

m11 m12 m13

M = m21 m22 m23 m31 m32 m33

(3.9)

)()()(

)()()(

)()()(

)()()(

333231

232221

333231

131211

ccc

ccc

ccc

ccc

ZZmYYmXXm

ZZmYYmXXmfy

ZZmYYmXXm

ZZmYYmXXmfx

−+−+−

−+−+−−=

−+−+−

−+−+−−=



27

zmymxm

zmymxmZZYY

zmymxm

zmymxmZZXX

cc

cc

332313

322212

332313

312111

)(

)(

++++

−+=

++++

−+=

Pode-se representar a forma inversa da equação de colinearidade (3.11)

como em (3.12), conforme Andrade (1998):

(3.12)

Na figura 3.4 pode-se observar o mapeamento (em I e II) utilizando as

equações 3.12, sendo que a imagem 2 é a que contém os pontos de controle.

Portanto, qualquer ponto da imagem 1, poderá ser projetado para a imagem 2, assim

como os pontos da imagem 3.

FIGURA 3.4 – Imagem que representa o mapeamento utilizando a equação de

colinearidade inversa.

Na figura 3.5 pode-se observar o mapeamento (em I e II) utilizando a equação

3.11, onde a imagem 2 é a que contém os pontos de controle. Esse mapeamento é

necessário quando se deseja mapear a posição do ponto de controle (imagem 2) nas

demais imagens que formam a cena, como por exemplo, na imagem 1 e na imagem 3,

conforme figura abaixo.

(x,y,z)(x,y,z)

(x,y,z)



28

FIGURA 3.5 – Imagem que representa o mapeamento inverso utilizando a equação de

colinearidade.

3.3. TÉCNICAS DE INTERPOLAÇÃO

Algumas transformações quando aplicadas em uma imagem, por

exemplo, ampliação (zoom), translação, rotação e/ou escala, podem causar efeitos

indesejáveis na imagem, podendo assim, na reamostragem da mesma, apresentar

baixa resolução radiométrica.

Para isso é necessária a interpolação, a qual, dependendo da técnica

utilizada, poderá causar um efeito de suavização na imagem.

A interpolação também é utilizada quando se necessita ajustar uma

imagem sobre a outra, após a aplicação das funções de mapeamento. Isso acontece

quando as grades (imagens) resultantes não são regulares, como mostra a figura 3.6.

A outra possibilidade de se utilizar uma técnica de interpolação, é para a

criação de uma imagem superamostrada, ou seja, uma imagem ampliada em relação a

sua original.

As técnicas de interpolação mais utilizadas são: a técnica do Vizinho Mais

Próximo, a Interpolação Bilinear e a Interpolação Bicúbica. Vários outros métodos

estão disponíveis (tanto no domínio do espaço, quanto no domínio de freqüências, por

meio da utilização da Transformada de Fourier), porém, a relação custo

computacional/qualidade dos resultados torna estes três métodos os mais usuais.

(x,y,z)

(x,y,z)

(x,y,z)



29

FIGURA 3.6 – Reamostragem: (a) Pixels na grade original; (b) Posição dos pixels

transformados sobrepostos na grade original; (c) Ajustamento da grade transformada

sobre a grade original (Fonte: Atkinson et al., 1996).

Na reamostragem por vizinho mais próximo o nível de cinza de um ponto

transformado é igual ao nível de cinza do pixel mais próximo da imagem digital. No

caso da interpolação bilinear, o nível de cinza de um ponto transformado é obtido por

interpolação dos quatro pixels mais próximos. Já a interpolação bicúbica utiliza os

dezesseis pixels mais próximos de um ponto transformado para a interpolação do nível

de cinza.

3.4.1. INTERPOLAÇÃO PELO VIZINHO MAIS PRÓXIMO

Através deste método, a cor de um pixel, durante a aplicação da função

de transformação, é definida como sendo a cor do pixel definido mais próximo. A figura

3.7 mostra a determinação da cor de um pixel por esse método. Esta interpolação

trata-se do método mais simples de ser implementado, e também o mais rápido de ser

executado; porém, dependendo da aplicação o resultado obtido poderá ser o menos

preciso.

A interpolação ocorre com a verificação da menor distância entre os

pixels vizinhos como é ilustrado na figura 3.7.

(a)

(c)

(b)



30

44

2,

2,

2,

2

cigafdhbe

icf

gad

igh

cab

+++=

+++=

+=

+=

+=

+=

FIGURA 3.7 – Interpolação pelo Vizinho Mais Próximo.

3.4.2. INTERPOLAÇÃO UTILIZANDO A MÉDIA

Este método consiste em obter a cor do pixel através de um cálculo de

média, aplicado entre as linhas e as colunas da imagem, conforme ilustrado abaixo

através da figura 3.8 e das equações em (3.13) e (3.14). Trata-se de uma espécie de

interpolação bilinear, mas somente para grades regulares. Como se observa na figura

3.8, os elementos da imagem original são representados pelas letras (a, c, g, i),

enquanto os valores determinados pelas equações (3.13) e (3.14), são representados

pelas letras (b, d, e, f, h).

a b c

d e f

g h i

FIGURA 3.8 – Representação da sub-imagem.

Assim,

(3.13)

(3.14)

A sua implementação além de simples, apresenta bons resultados, mas

só pode ser aplicada para a ampliação de imagens, ou para a retificação onde as

malhas são regulares e com pequenos deslocamentos. Conseqüentemente, para

malhas não regulares, é inadequada para a retificação.

g(i,j) g(i,j+1)

g(i+1,j+1) g(i+1,j)

Matriz Digital

Matriz Interpolada

i'

j'

Nível de brilho calculado



31

{ }{ }),1()'1()1,1(''

),()'1()1,(')'1()','(

jigjjigji

jigjjigjijig

+−++++−++−=

3.4.3. INTERPOLAÇÃO BILINEAR

A interpolação bilinear utiliza-se de três interpolações sobre quatro pontos

vizinhos, conforme a figura 3.9. Sabe-se o nível de cinza dos pontos g(i,j) e g(i,j+1) e

deseja-se encontrar o nível de cinza do ponto g(i,j’), fazendo-se, assim, a primeira

interpolação. Na segunda interpolação usam-se os pontos g(i+1,j) e g(i+1,j+1). A

terceira e última interpolação é calculada através dos pontos encontrados na primeira e

segunda interpolação.

Segundo Richards (1986), o ponto encontrado na imagem corresponde

ao apresentado na grade da figura 3.9. Duas interpolações lineares são desenvolvidas

ao longo das chamadas linhas de varredura ou linhas da imagem (scan lines) para

encontrar o valor de g(i,j’) e g(i+1,j’) como é apresentado na figura 3.9. Estas são

dadas por:

),()'1()1,(')',( jigjjigjjig −++=

),1()'1()1,1(')',1( jigjjigjjig +−+++=+ (3.15)

onde: g é o valor de brilho e (i’,j’) é a posição para a qual a interpolação deve atribuir

um valor de brilho (tom de cinza). A posição é medida com o respectivo (i,j) e assume

na grade o espaçamento de uma unidade em ambas as direções. O passo final é

interpolar linearmente sobre g(i,j’) e g(i+1,j’) e o valor final interpolado pode ser dado

por:

(3.16)

FIGURA 3.9 – Interpolação Bilinear (Fonte: adaptado de Richards,1986).

g(i’,j’) Valor de brilho a ser calculado

g(i,j+1)

g(i,j’)

g(i,j)

g(i+1,j)

g(i+1,j+1)

g(i+1,j’)



32

3.4.4. INTERPOLAÇÃO BICÚBICA

A interpolação bicúbica é outro método de interpolação, mas que exige

um grande processamento computacional, por trabalhar com uma vizinhança de

dezesseis pontos e cinco interpolações. A figura 3.10 mostra como seria a vizinhança

ao usar este tipo de interpolação:

FIGURA 3.10 – Interpolação Bicúbica (Fonte: adaptado de Richards,1986).

Esta interpolação utiliza os dezesseis pixels vizinhos. Quatro polinômios

são calculados em quatro linhas de quatro pixels vizinhos ao ponto da imagem, como é

mostrado na figura 3.10. O quinto polinômio é então calculado para a interpolação de

um valor de brilho para a coordenada de interesse.

O algoritmo abaixo é usado para executar esta interpolação:

g(i,j’) = j’ {j’ (j’ [g(i,j+3) - g(i,j+2) + g(i,j+1) - g(i,j) ]

+ [g(i,j+2) - g(i,j+3) - 2 g(i,j+1) + 2 g(i,j) ] ) (3.17)

+ [g(i,j+2) - g(i,j) ] } + g(i,j+1)

Esta expressão é avaliada por cada uma das quatro linhas descritas na

figura 3.10 para cálculo das quatro interpolações g(i,j’), g(i+1,j’), g(i+2,j’), g(i+3,j’). Estas

são interpoladas verticalmente de acordo com:

g(i’,j’) = i’ {i’ (i’ [g(i+3,j’) - g(i+2,j’) + g(i+1,j’) - g(i,j’) ]

+ [g(i+2,j’) - g(i+3,j’) - 2 g(i+1,j’) + 2 g(i,j’) ] ) (3.18)

+ [g(i+2,j’) - g(i,j’) ] } + g(i+1,j’)

g(i,j)

g(i+3,j+3)

i'

j'

X

X

X

X

• Vizinhança

Polinômio cúbico



33

Esta interpolação pode apresentar como produto, uma imagem com

aspecto suavizado.

3.5. PROCESSOS PARA GERAÇÃO DE IMAGENS DE ALTA RESOLUÇÃO A

PARTIR DE SEQÜENCIAS DE IMAGENS

A geração de imagens de alta resolução com base em uma seqüência

necessita, primeiramente, que as imagens pertencentes à cena estejam retificadas, ou

seja, o registro de imagens deve ter sido executado, e por isso, é considerado como a

etapa primeira neste processo. A partir disso, pode-se criar uma nova imagem com

uma precisão maior e possível de ser utilizada para análises mais precisas.

Ballard & Brown (1992) apresentam e descrevem cada etapa do processo

para se realizar a restauração de imagens com base em seqüências de imagens.

Descreve, inicialmente, as transformações geométricas que podem ser aplicadas para

se determinar os parâmetros de retificação de cada imagem em relação a uma de

referência. O tamanho da imagem a ser transformada também deve ser considerado.

Deve-se realizar a superamostragem das imagens, levando-se em conta o fator

utilizado, ou seja, a imagem de super resolução poderá ter o dobro, ou mais, do

tamanho das imagens adquiridas. Os autores abordam, também o efeito das

transformações de rotação, projetiva e das que utilizam as equações de colinearidade,

discutindo as possíveis deformações que as imagens originais deverão sofrer para

serem registradas e retificadas, e posteriormente, ser executado o processo de fusão

das mesmas.

Existem inúmeros métodos capazes de construir imagens de alta

resolução, que serão discutidos a seguir:

Peleg et al. (1987) destacam que, a partir de imagens de baixa resolução,

é possível produzir uma imagem com resolução melhorada, usando os deslocamentos

conhecidos entre as imagens. Para se gerar uma simulação de uma seqüência de

imagens de baixa resolução, os autores geraram deslocamentos no momento de

aquisição pela câmara fotográfica. A partir disso, as imagens que pertencem à

seqüência a ser analisada foram submostradas utilizando-se a média ponderada de um

bloco (4x4) de 16 pixels. Neste caso, os pixels centrais foram os mais valorizados em

relação às extremidades.



34

O processo para a geração da imagem de melhor resolução, proposto

pelos autores, inicia-se com uma imagem superamostrada, determinada como sendo

uma aproximação inicial. Este processo é iterativo, onde os novos valores para cada

pixel são determinados, nesta imagem, após se verificar o menor erro ocasionado na

diferença entre os níveis de brilho dos pixels das imagens de baixa resolução e os

seus correspondentes na imagem de alta que está sendo estabelecida. Varia-se a

intensidade de brilho dos pixels que estão sendo analisados na imagem super

amostrada, em (-1, 0, +1), realizando-se combinações neste bloco, com o intuito de

estabelecer o brilho gerado pela menor diferença entre as imagens. Ou seja, toma-se o

primeiro pixel do bloco e subtrai-se de uma unidade, mantendo os demais como estão;

verifica-se o erro (diferença ocasionada entre as imagens de baixa em relação à

aproximação inicial); este processo é repetido somando-se uma unidade neste pixel

analisado anteriormente. A combinação que obtiver o menor erro é mantida na imagem

superamostrada.

Peleg e Irani (1991) sugeriram melhorias para o método apresentado por

Peleg et al. (1987). Os autores tomaram o registro de imagens como base para uma

boa determinação de uma imagem de alta resolução. Desenvolveram algoritmos

iterativos para se obter um melhoramento na resolução das imagens com precisão

subpixel, tanto em imagens de baixa resolução em níveis de cinza como nas coloridas.

Com os deslocamentos da imagem e o processo de imageamento conhecidos, pode-

se realizar uma fusão entre as imagens de baixa resolução, desde que pertençam à

mesma seqüência que compõe a cena, usando técnicas de interpolação e gerando-se,

assim, uma imagem de melhor resolução.

Para se obter uma imagem de super resolução ideal, deve-se estabelecer

a correspondência dos pontos nas imagens coletadas. Por isso, as imagens adquiridas

foram subamostradas com o incremento de ruídos, deslocamentos e rotações, para

geração de dados simulados.

O processo para a geração da imagem de super resolução, sugerido por

Peleg & Irani (1991), é descrito por meio das seguintes etapas:

a) Produzir imagens simuladas com os parâmetros de deslocamentos (dx,

dy), do ângulo de rotação (θ) e do ruído (η), pré-estabelecidos,

conhecendo-se, assim, a priori, o registro das imagens;



35

b) Executar a retificação das imagens de baixa resolução, com base na

combinação dos parâmetros identificados em (a), em relação a uma

imagem de referência;

c) Gerar uma primeira aproximação da imagem super amostrada;

d) Definição de uma função erro (diferença entre o valor de brilho do pixel

na imagem de baixa resolução em relação à de alta, a partir da primeira

aproximação);

e) Iterativamente, para cada pixel examinar a aproximação em relação à

imagem resultado. Considerar as diferenças (-1, 0, +1) sobre os níveis de

brilho e avaliar as mudanças em relação às imagens de baixa resolução e

a mudança nos valores determinados pela função erro. A combinação

que minimizar o erro, será a utilizada para se atualizar a imagem de

super resolução, anteriormente determinada como a ideal.

Gross e Ur (1992) desenvolveram uma abordagem para se gerar uma

imagem de melhor resolução, através do conhecimento a priori, dos deslocamentos

existentes nas imagens de baixa resolução que pertençam à cena. Para tanto, com

base em uma imagem específica, gerou-se várias outras imagens subamostradas,

simulando uma seqüência de imagens de baixa resolução com deslocamentos apenas

horizontais (no eixo “x”) e ruídos adicionados (“borramento” através de um filtro passa-

baixa, eliminando as altas freqüências). Toda a abordagem descrita pelos autores está

fundamentada no domínio da freqüência, ou seja, desde a geração das imagens

simuladas até o processo de reconstrução para a geração de uma imagem de super

resolução com base nesta seqüência.

Apesar de abordar um processo que se utiliza das freqüências dos sinais

gerados pela imagem, esse processo possui a mesma idéia do desenvolvido por Peleg

e Irani (1991), pois se utiliza da fusão entre as imagens de baixa resolução através da

interpolação entre as mesmas, por meio da determinação do valor de brilho do novo

pixel na imagem de alta resolução através do menor erro ocasionado após serem

analisados todos os erros gerados pela combinação entre os valores de brilho dos

pixels (-1, 0, +1), além da aplicação de um filtro de deconvolução para eliminar os

borramentos causados anteriormente. Os experimentos foram gerados utilizando-se

imagens simuladas e imagens reais, mas sempre, com os deslocamentos horizontais

conhecidos a priori.



36

Wiman (1992) trabalhou com o aumento da resolução de uma imagem

digital (tons de cinza) através de super amostragem. Desenvolveu um método para

obtenção de uma imagem de alta resolução por meio de imagens de baixa resolução

digitalizadas em scanners. Inicialmente, construiu-se uma imagem simulada, e após,

gerou-se pequenos deslocamentos controlados nessa imagem com o intuito de se

obter uma seqüência a partir da mesma. Os experimentos também foram realizados a

partir de uma fotografia padrão.

Nesta abordagem, o processo de geração da imagem de alta resolução

se baseia em equações que calculam os níveis de cinza dos pixels na imagem gerada

com base nas adquiridas. Em geral, as equações são bastante simples, já que se

baseiam na média aritmética e nos deslocamentos conhecidos (adotado como sendo

de um pixel pelo autor). A imagem resultado é determinada, em um primeiro momento,

possuindo o dobro de linhas e colunas em relação às adquiridas e com seus níveis de

cinza iguais a zero.

Com isso, cada imagem adquirida também é superamostrada

(inicialmente, como a imagem resultado) levando-se em conta a média aritmética entre

os quatro pixels vizinhos (bloco de 2x2 pixels) e os deslocamentos sugeridos no

momento da formação da seqüência de imagens. Com a execução deste processo

obtém-se as imagens registradas e retificadas, além de estarem superamostradas. Na

geração da imagem de super resolução, aplica-se o processo inverso, ou seja, cada

posição na imagem a ser gerada é equivalente à mesma posição nas outras imagens

superamostradas, verificando-se o erro médio quadrático dos resíduos existentes entre

essas imagens. O nível de cinza que produzir o mínimo erro será escolhido como o

nível de cinza ideal. Estes resíduos são determinados com base na imagem de alta

resolução, inicialmente aproximada.

O autor não considerou os resultados como satisfatórios, já que o método

desenvolvido é bastante limitado, pois é executado a partir de uma imagem (fotografia),

gerando-se outras em scanners, de forma totalmente controlada. Wiman (1992) sugere

estudos mais aprofundados no intuito de ampliar este trabalho com a utilização de

métodos de matching para a realização do registro das imagens, podendo-se assim,

utilizá-lo para casos reais.

Hathaway & Meyer (1999), cientistas da NASA’s Marshall Space Flight

(Hunstsville, AL), desenvolveram um software chamado VISAR (Vídeo Image

Stabilization and Registration), utilizado para melhorar a resolução de imagens com o



37

intuito de se realizar análises de imagens científicas, vídeos da área médica, vídeos de

circuitos fechados realizados por câmeras de segurança para identificação de intrusos,

imagens que identificam motoristas infratores, aparelhos eletrônicos, além de uma

série de outras situações que envolvem uma seqüência de imagens. Estas imagens de

uma cena, podem ser geradas por câmaras de vídeo ou fotográficas. Este software,

inicialmente, era de uso restrito aos laboratórios do FBI, sendo posteriormente, liberado

para comercialização nos diversos mercados que podem suportá-lo. O software serve

de apoio para o sistema que captura a cena (seqüência de imagens) possibilitando a

determinação de novos detalhes envolvidos na mesma, levando em consideração a

intensidade de luz existente e a velocidade (evitar o efeito de arrasto - borramentos),

no momento da aquisição. O software gera imagens de alta resolução removendo os

defeitos ocasionados pelos deslocamentos e efeitos de zoom ocorridos durante a

aquisição com base nos frames ou imagens que compõem a cena, resultando na

minimização de ruídos existentes nas imagens.

Algumas imagens geradas por este software podem ser observadas em

www.www1.msfc.nasa.gov/NEWSROOM/new/video ou www.science.nasa.gov.

Baker & Kanade (1999), apresentam uma solução para a geração de

imagens de super resolução, a partir de seqüências de imagens não-planares, não-

rígidas e sujeitas a auto-oclusões, já que, a grande maioria dos trabalhos

desenvolvidos, nessa linha, utiliza imagens planares e rígidas. Os autores, buscaram

melhorar a resolução das imagens, ou partes das mesmas, que envolviam expressões

faciais, pois há grande dificuldade na construção do modelo 3-D da face humana. Com

base no algoritmo do fluxo ótico (algoritmo para a determinação dos parâmetros de

registro e retificação entre imagens), versão de Lucas & Kanade (1981) apud Baker &

Kanade (1999), consegue-se gerar, simultaneamente, os parâmetros para retificação e

registro das imagens, e a de super resolução.

O processo geral para se obter uma imagem de super resolução pode ser

observado na figura 3.11.



38

FIGURA 3.11 – Os quatro passos para geração de imagens de super resolução (Fonte:

adaptada de Baker & Kanade, 1999).

No passo (1) as imagens conhecidas são registradas para encontrar os

pontos correspondentes entre as mesmas; no segundo (2) passo as imagens são

retificadas por uma transformação warp (distorção). A distorção de imagens pode ser

conceituada como um processo onde são aplicadas, sobre a imagem de entrada,

transformações geométricas produzindo, como saída, outra imagem. As

transformações geométricas são operações que definem as relações entre as

coordenadas de pontos em duas imagens. Para corrigir uma imagem, ou seja, realizar

uma transformação, é necessário determinar-se corretamente o relacionamento

espacial e as dimensões de uma imagem. Para isso, estima-se o modelo de distorção

desejado, em geral, por meio de pontos de referência na imagem original, que podem

ser marcados ou identificados automaticamente na imagem transformada (Wolber,

1990). A partir disso, o terceiro passo (3) realiza a fusão das imagens de baixa

resolução, por meio da média entre os pixels correspondentes nas mesmas, para se

determinar a de alta, e no passo (4), que é um processo opcional, pode-se utilizar

filtros de convolução para minimizar o efeito de suavização deixado na imagem

resultante. Normalmente, os trabalhos desenvolvidos julgam que o registro de imagens

é conhecido a priori.

O algoritmo utilizado por Baker & Kanade (1999), minimiza o problema da

não-rigidez que ocorre quando se analisa a face de pessoas por exemplo, pois em uma

única cena esta face pode aparecer de maneira mais “relaxada” em um frame e no

outro não. O algoritmo também permite o registro de imagens. A figura 3.12, mostra de

forma geral, como este algoritmo converte, simultaneamente, uma seqüência de

imagens em uma versão da imagem de super resolução, calculando, o fluxo ótico.



39

FIGURA 3.12 – O processo geral do algoritmo do fluxo ótico na determinação de

imagens de super resolução (Fonte: adaptada de Baker & Kanade, 1999).

Apesar de haver a possibilidade de utilizar um número arbitrário de

imagens, o processo descrito por Baker & Kanade (1999), utiliza sempre cinco imagens

subseqüentes, onde a terceira é a de referência.

A seqüência direta para determinação da imagem de super resolução, por

este algoritmo, é mostrada detalhadamente, na figura 3.13. Este segue as seguintes

etapas:

(1) Todas as imagens adquiridas (originais) pertencentes à cena, são super

amostradas (terão o dobro de linhas e colunas) por meio da interpolação bilinear;

(2) Para cada imagem que compõe a cena, iniciando-se da terceira para a primeira

e continuando da terceira para a última (quinta), iterativamente, são executados os três

passos abaixo (a, b, c), até a imagem de super resolução convergir ou um número fixo

de iterações ser alcançado:

a) Calcular o fluxo ótico para as duas anteriores (primeira e segunda

imagens) e para as duas seguintes (quarta e quinta imagens) em

relação à imagem de referência (terceira);

b) Utilizando os parâmetros determinados pelo fluxo ótico, retificar

(warping) as duas imagens anteriores (primeira e segunda) e as duas

posteriores (quarta e quinta) em relação à de referência (terceira);

c) Re-estimar a imagem de super resolução (terceira), realizando a fusão

das cinco imagens que se encontram no mesmo referencial, por meio

do método da média entre os pixels correspondentes.



40

(3) Desborrar toda a imagem de super resolução gerada, utilizando o filtro de

convolução de Wiener (Pratt, 1991 apud Baker & Kanade, 1999).

FIGURA 3.13 – Esquema detalhado para obter a imagem de super resolução pelo

algoritmo do fluxo ótico (Fonte: adaptada de Baker & Kanade, 1999).

Como trabalhos futuros, Baker & Kanade (1999), sugerem a utilização de

um algoritmo que executa o registro e a fusão das imagens simultaneamente,

denominado de Maximum a Posteriori (MAP) descrito em Hardie et al. (1997) apud

Baker & Kanade (1999). Recomendam também, estudar o relacionamento entre o

algoritmo de super resolução do fluxo ótico e imagens representadas pela “pirâmide”

Laplaciana descrita em Burt & Adelson (1983) apud Baker & Kanade (1999).

Kang et al. (2000), desenvolveram um software que visa gerar imagens

de alta resolução a partir de imagens de baixa resolução. Para isso, buscou-se

determinar o número mínimo de imagens que deveriam ser adquiridas levando-se em

consideração a minimização de custos em relação à aquisição das imagens e

equipamentos utilizados, o tempo de processamento, o mínimo de ruídos gerados e

como resultado final, uma imagem que pode ser interpretada de forma confiável. O

esquema apresentado na figura 3.14 mostra o trabalho desenvolvido, e logo abaixo, a

descrição das etapas.

(3) Filtro



41

FIGURA 3.14 – Esquema do software desenvolvido (Fonte: adaptada de Kang et al.,

2000).

A aquisição das imagens, para a realização dos experimentos, foi realizada com

uma câmera digital (Kodak DC50) de baixo custo, composta de um sensor CCD de 756

x 504 pixels a uma distância de 2,5 m do alvo de interesse. Através do software Aldus

Photostyler S/W, foram geradas várias imagens de dimensão 100 x 100 pixels, com

deslocamento de 1 pixel em relação à outra, para simular uma seqüência de imagens.

O algoritmo implementado é capaz de determinar os parâmetros de

deslocamentos e rotação entre as imagens de baixa resolução através do método de



42

matching baseado em área, por mínimos quadrados. Posteriormente, determina-se o

grau de aumento no tamanho da imagem e o valor do ruído mínimo que se deseja

obter, ou seja, a qualidade da imagem resultado em relação ao erro médio que pode

ocorrer entre a imagem de super resolução determinada e a imagem que foi

identificada no software como a de referência. A etapa para determinação da imagem

de alta resolução é executada iterativamente, até se obter a convergência em relação à

qualidade desejada. Segundo os autores, o resultado foi satisfatório levando-se em

consideração o cuidado na aquisição das imagens.

Joyeux et al. (2001), abordaram o processo de reconstrução de

seqüências de imagens degradadas com ênfase em restauração de filmes antigos em

preto e branco. O objetivo dos autores seria minimizar a quantidade de ruídos que

aparecem em uma cena com base na seqüência de imagens que compõe o filme.

Todo o trabalho foi realizado utilizando-se de processos no domínio de freqüência para

remover ruídos e borramentos encontrados nas imagens, por meio de filtros passa-

baixa e passa-alta, além das séries de Fourier.

Dentre as diferentes abordagens descritas nesta seção, pode-se verificar

que o problema comum encontrado para a geração de imagens de alta resolução

através de seqüências de imagens, está na determinação dos parâmetros para o

registro e retificação. A maioria dos autores citados, optaram pela aquisição controlada

dos dados, e a partir disso, ter os parâmetros conhecidos a priori.

Outra possibilidade observada, é a abordagem utilizando-se do domínio

da freqüência e com a utilização de filtros para a geração desta nova imagem.



43

CAPÍTULO 4

MATERIAIS E MÉTODOS

4.1. MATERIAIS UTILIZADOS NO DESENVOLVIMENTO

Para o desenvolvimento da ferramenta utilizou-se um computador AMD-

K6 II, 450 MHz, com disco rígido de 4.3 GB e 64 MB de memória, sendo o Windows 98

o sistema operacional. O ambiente de desenvolvimento utilizado foi o da Borland C++

Builder versão 4.0, por possibilitar melhores recursos para a manipulação de imagens

e também, por tratar-se de um software visual e na plataforma Windows, o que facilita

a utilização pelo usuário final. A linguagem de programação utilizada foi o C++, pois é a

utilizada pelo ambiente Borland C++ Builder. Foi feito uso também do software Adobe

Photoshop 5.0, por tratar-se de uma ferramenta capaz de manipular imagens

possibilitando a escolha dos métodos desejáveis para realizar os experimentos com a

ferramenta desenvolvida.

O software Microsoft Excel 2000, também foi utilizado para executar a

conversão das coordenadas (em pontos) dos pixels medidos nas imagens, onde a

origem (0,0) se encontra no canto superior esquerdo, para o referencial fotogramétrico

(em milímetros), com a origem (0,0) no centro da imagem, levando-se em

consideração a resolução da câmera (dimensões das imagens capturadas) e o

tamanho do pixel.

As câmaras digitais utilizadas para a coleta das imagens foram:

KODAK DC-40: possui lentes com distância focal fixa de 46,981 mm,

diâmetro das lentes de 7,7 mm e distância hiper focal de 1,2 m. A câmara utiliza o

processo digital para capturar, gravar e processar as imagens. O sistema de lentes

possui 5 elementos ópticos, que transmitem a luz para o CCD. As dimensões do CCD

são de 768 x 512 pixels (6,9 mm x 4,6 mm). Um buffer armazena temporariamente as

imagens digitais, que posteriormente são transferidas para o computador, através de

um cabo interligando o dispositivo de saída da câmara à porta serial do computador;

KODAK DC-210: possui lentes com distância focal variável de 29 ou 58

mm. Também utiliza o processo digital para capturar, gravar e processar as imagens,



44

sendo que estas, permanecem armazenadas em um PC Card (Picture Card), cartão de

imagens, que é equivalente ao cartão PCMCIA. Possui uma alta resolução 1152 x 864

pixels, possuindo também, um monitor LCD para visualização das imagens antes de

serem transferidas para o computador, o que é feito através de um cabo interligando a

câmara à porta serial do computador.

Utilizou-se também, de um aplicativo desenvolvido pelo Prof. Dr. Júlio

Kiyoshi Hasegawa (Unesp/FCT), para determinar os parâmetros da transformação

projetiva, parâmetros estes, necessários para a realização da retificação entre as

imagens que pertenciam à cena analisada. E ainda, o aplicativo que realiza a resseção

espacial, determinando os parâmetros de rotação e deslocamentos que foram usados

para a retificação das imagens, este, desenvolvido pelo Prof. Dr. Antonio Maria Garcia

Tommaselli – Unesp/FCT.

4.2. METODOLOGIA DO TRABALHO

As metodologias utilizadas para a geração das imagens de super

resolução a partir de seqüências de imagens estão descritas nas seções 4.2.1, 4.2.2 e

4.2.3.

Uma visão geral da metodologia empregada para o desenvolvimento do

trabalho pode ser vista na figura 4.1.



45

Aquisição da seqüência de imagens

Medir, manualmente, pontos correspondentes nas imagens que

pertencem à seqüência

Realizar o registro das imagens em relação à de referência

Retificar todas as imagens, com base nos parâmetros adquiridos pelo registro

de imagens

Executar a fusão das imagens retificadas e super amostradas

Exibir imagem de super resolução

Implementadas

FIGURA 4.1 – Visão geral das etapas de geração das imagens.

4.2.1. ETAPAS PARA A GERAÇÃO DAS IMAGENS A PARTIR DE DADOS

SIMULADOS

Para um teste inicial, utilizou-se de técnicas de interpolação para gerar

uma imagem de alta resolução a partir de, apenas, uma imagem de baixa resolução.

Foram geradas seqüências de imagens simuladas, onde o conjunto foi

obtido por meio de translações, executando-se os deslocamentos a partir de uma

imagem adquirida pela câmara Kodak DC-210. Devido a isso, os parâmetros para o

registro e retificação das imagens são conhecidos antecipadamente.

Em um outro conjunto, imagens adquiridas pela câmara Kodak DC-210,

aplicou-se ruídos em todas as imagens da seqüência, por meio do software Adobe

Photoshop 4.0. Os parâmetros de deslocamentos dessas imagens são determinados

conforme descritos na seção 5.2.



46

4.2.2. ETAPAS PARA A GERAÇÃO DAS IMAGENS A PARTIR DE DADOS REAIS

a) Coleta das Imagens:

As imagens foram coletadas pelas câmaras digitais descritas na seção

4.1, introduzindo pequenos deslocamentos no mesmo plano das imagens para

evitar mudanças de escala, e assim, obter seqüências de imagens. Com a

câmara Kodak DC-40, as imagens foram obtidas a uma distância de 2m,

obtendo-se uma escala equivalente a 1:43, com tamanho do pixel na cena de

6mm. Enquanto que com a câmara Kodak DC-210, o primeiro conjunto de

imagens foi obtido a uma distância de aproximadamente 1m, e no segundo

experimento, a uma distância de 2,13m, obtendo-se o pixel de tamanho igual a

2,2mm (no espaço objeto) e escala equivalente a 1:73. Esta coleta pode ser

realizada também, de forma contínua por meio de câmeras de vídeo, mas seria

necessária, a utilização de software específico para a digitalização e separação

dos frames de interesse;

b) Registro e Retificação:

Para se obter o registro e, posteriormente, a retificação das imagens, foi

feita uma medição manual dos pontos correspondentes entre as imagens.

Através do software Adobe Photoshop 5.0, foram medidos vários pontos em

todas as imagens, determinando suas correspondências em relação às demais.

Para tanto, foi usado máximo nível de zoom e anotadas as coordenadas linha e

coluna, com o objetivo de se minimizar o erro de pontaria. Essas coordenadas

(em pixels) foram transferidas para o referencial fotogramétrico (em milímetros)

através de cálculos realizados por meio do software Microsoft Excel 2000, pelas

equações descritas em 4.1.

TamPixelNLinyy

TamPixelNColxx

ifot

ifot

*)2/(

*)2/(

−−=

−=

(4.1)

Onde:

xfot, yfot: coordenada no referencial fotogramétrico;

xi, yi: coordenada imagem (coluna, linha);



47

NCol: número de colunas da imagem adquirida;

Nlin: número de linhas da imagem adquirida;

TamPixel: tamanho do pixel em milímetros na imagem a ser gerada.

Com estes pontos determinados, o próximo passo é determinar os

parâmetros para a realização do registro entre as imagens. Para isso, foram

utilizados os programas de transformação Projetiva e Resseção Espacial já

citados.

A figura 4.2 mostra o fluxograma do programa que utiliza a

Transformação Projetiva para a determinação dos parâmetros para a realização

do Registro das Imagens.

FIGURA 4.2 – Fluxograma do programa de Transformação Projetiva.

A figura 4.3 mostra o fluxograma do programa que realiza a Resseção

Espacial, ou seja, calcula os parâmetros de orientação exterior da câmara,

utilizando o Método dos Mínimos Quadrados e as Equações de Colinearidade, a

partir de valores aproximados para os parâmetros e coordenadas nos espaços

Arquivo de coordenadas dos pontos de "controle" (imagem de referência);

Arquivo de coordenadas observadas.

Determinação dos parâmetros de transformação entre a imagem de referência e a imagem a ser registrada

pelo Método dos Mínimos Quadrados

Cálculo dos resíduos em 'x' e em 'y', referentes às coordenadas medidas e transformadas

Gerar arquivo com os parâmetros de transformação e resíduos

referentes a cada coordenada



48

imagem e objetos de pontos de “controle”, para a determinação dos parâmetros

para o Registro de Imagens.

Arquivo com parâmetros de orientação interior da câmara e parâmetros aproximados de orientação

exterior;Arquivo com as coordenadas dos pontos de "controle"

(X,Y,Z) - imagem de referência;Arquivo com as coordenadas observadas (x,y).

Determinação dos resíduos, referentes às coordenadas medidas e transformadas

Gerar arquivo com todos os parâmetros palculados

Através do Método dos Mínimos Quadrados e do Modelo de Colinearidade, calcular o vetor dos

parâmetros ajustados de rotação (kapa, phi, ômega) e de deslocamentos (Xo,Yo,Zo)

FIGURA 4.3 – Fluxograma do programa de Resseção Espacial.

A execução destes aplicativos necessita da determinação da imagem de

referência, imagem esta que possui os pontos de “controle”, que são

necessários para a correspondência dos pontos nas outras imagens que

compõem a cena, conforme mostram as figuras 4.2 e 4.3.

Após os parâmetros terem sido determinados, fez-se simultaneamente, a

retificação e reamostragem das imagens que pertencem à seqüência em relação

à imagem de referência. Esta retificação foi realizada obtendo-se a

correspondência de cada pixel da imagem de referência super amostrada com a

imagem original de baixa resolução, que inicialmente, possuíam intensidades de

brilho iguais a zero. A figura 4.4 mostra, de forma geral, o processo de

retificação implementado.



49

Imagens da cena

Selecionar as imagens que serão analisadas e a imagem considerada

como a de referência (imagem principal)

Gerar imagem super amostrada em preto (pixels com intensidades de brilho iguais a zero)

Para cada imagem:calcular as coordenadas correspondentes na imagem de baixa resolução,

usando os parâmetros calculados no registro

Para cada pixel da imagem:interpolar bilinearmente o valor de brilho a partir dos vizinhos do pixel projetado e atribuir este valor ao pixel na imagem de super resolução

Imagens retificadas

FIGURA 4.4. Processo de retificação das imagens.

Com base nas equações que possibilitaram o registro das imagens

(transformação projetiva ou modelo de colinearidade), determina-se à

correspondência dos pixels nas imagens de baixa resolução. Como as

coordenadas projetadas na imagem de baixa resolução estão em frações do

pixel, há a necessidade de uma interpolação entre os vizinhos para a

determinação do nível de brilho relativo ao que se deseja determinar na imagem

de super resolução. O método de interpolação bilinear foi o utilizado, levando-se

em consideração a influência de cada pixel em relação ao que deveria ser

gerado.

c) Fusão e Geração da Imagem de Super Resolução:

A etapa final do processo é a fusão dos pixels correspondentes nas

imagens retificadas que pertençam à cena em relação à de referência. Nesta

etapa obtém-se a imagem de super resolução, podendo ser realizada de duas

formas:



50

i. Média entre os valores de brilho dos pixels: é realizada a partir dos pixels

correspondentes determinados pelos processos de registro e retificação,

para a determinação do nível de brilho do pixel na imagem resultado, ou

seja, é realizada a média aritmética dos valores de brilho, que leva em

consideração, a somatória dos níveis de brilho de cada ponto e a

quantidade de imagens que estão sendo analisadas, conforme mostra a

figura 4.5.

FIGURA 4.5 – Fusão pelo Método da Média entre os pixels das imagens que

pertencem à cena.

ii. Processo com minimização de erros: inicialmente realiza-se uma primeira

estimação da imagem de alta resolução, por exemplo, a imagem de

referência superamostrada pela interpolação bilinear, conforme processo

ilustrado na figura 4.6. A partir da imagem de alta resolução aproximada,

projeta-se cada pixel nas imagens de baixa resolução.

Valor



51

Imagem

Verificar quantidade de linhas e colunas a serem percorridas

Determinar as coordenadas do ponto (usando a transformação desejada) que será analisado

para plotagem na imagem superamostrada

Determinar a intensidade de brilho dos pontos vizinhos que

serão levados em consideração para obtenção do brilho do pixel

na nova imagem

Determinar a distância deste pixel em relação ao gerado na

direção de x

Determinar a intensidade de brilho do pixel, levando-se em

consideração a distância que o mesmo se encontra em relação ao seu vizinho na direção de x

Determinar a distância deste pixel em relação ao gerado na

direção de y

Determinar a intensidade de brilho do pixel, levando-se em consideração as distâncias

encontradas e os níveis de brilho de seus vizinhos em relação a

direção de x e y

Plotar a intensidade de brilho ao ponto que está

sendo analisado

Verificar se todos os pontos foram analisados

Não

Imagem GeradaSim

FIGURA 4.6 – Processo para geração de imagens superamostradas através de

Interpolação Bilinear.

O valor projetado será fracionário (ao nível de subpixel) e deve-se

interpolar o valor correspondente em cada imagem de baixa. Com isso, obtém-se a

diferença entre o valor projetado e o valor observado, originando um erro. Calcula-se o

erro médio quadrático (equação 4.2) para o bloco de quatro pixels, considerando-se

todas as imagens da seqüência; varia-se para –1 o valor de brilho do primeiro pixel na

imagem de alta resolução e repete-se a projeção para o cálculo do erro; varia-se para

+1 e repete-se o cálculo. Por meio desse processo, calcula-se os erros para todas as

combinações possíveis de valores de brilho, variando no intervalo (-1, 1). A

combinação que apresentar o menor erro médio quadrático é mantida na imagem de

alta resolução.

O Erro Médio Quadrático é dado pela equação (4.2).

1

2

−= ∑

n

re (4.2)



52

Onde:

E: Erro Médio Quadrático;

r: Resíduo (diferença, em intensidade de brilho, entre o

pixel projetado e o observado);

n: Quantidade de pixels da Imagem.

4.2.3. IMPLEMENTAÇÃO COMPUTACIONAL

A implementação aborda as etapas definidas no item 4.2.2, além de

outros algoritmos desenvolvidos com o intuito de se obter experimentos de forma

controlada em imagens em tons de cinza.

Utilizou-se do conceito de matrizes dinâmicas que é disponibilizado pela

linguagem C, ou seja, as matrizes para armazenamento das imagens são criadas com

tamanhos definidos no momento da execução do sistema, evitando o desperdício de

memória e possibilitando o aumento de performance, no que se refere a

processamento das imagens. Da mesma forma, o ambiente de desenvolvimento C++

Builder, possibilita o uso de formulários (objetos tipo janela MDI – Múltiplas Instâncias

de Janelas) que podem ser criados à medida que o usuário necessite e, por isso, o

limite de imagens que se pode utilizar é definido pela quantidade de memória que o

hardware possui.

A ferramenta desenvolvida disponibiliza a abertura de arquivos de

imagens com extensão bmp (imagem de BitMap) e a gravação dos mesmos, além de

possibilitar a escolha das imagens que se deseja analisar com base no conteúdo

descrito no item anterior. Os processos disponibilizados são:

§ A conversão de imagens coloridas (padrão RGB) para imagens em tons de

cinza, onde cada pixel é decomposto em suas componentes, calculando-se o

nível de intensidade de cinza conforme equação (4.3);

Valor de brilho resultante = 0.299*R + 0.587*G + 0.114*B (4.3)



53

Onde:

R: Componente Red (Vermelha);

G: Componente Green (Verde);

B: Componente Blue (Azul).

§ Diferença entre imagens: gerando uma imagem diferença (níveis de brilho) e

o erro médio quadrático existente entre mesmas;

§ Função de aumento ou diminuição de Brilho;

§ Opção para interpolação utilizando a média, que foi utilizada para aplicar

efeitos de suavização na imagem, com o intuito de realizar experimentos;

§ Funções para a geração de deslocamentos em imagens, gerando-se uma

seqüência simulada, para realização de experimentos com a transformação

afim;

§ Superamostragem das imagens utilizando os métodos da média, do vizinho

mais próximo e da interpolação bilinear;

§ Processos de retificação, utilizando a transformação projetiva ou as

equações de colinearidade, onde a retificação é executada de forma

individualizada, ou seja, aplicada a uma imagem em relação à outra

(referência), gerando uma imagem retificada e superamostrada;

§ Processos para a fusão das imagens retificadas e super amostradas, ou

seja, o usuário pode retificar as imagens individualmente, e fundir apenas as

de interesse;

§ Processos de geração de imagens de super resolução com base nas

metodologias descritas na seção 4.2.1 e 4.2.2, onde o usuário determina os

parâmetros de interesse e dispara o processo que resultará na imagem de

super resolução.

A figura 4.7 apresenta a janela principal da ferramenta e uma seqüência

de imagens já definida.



54

FIGURA 4.7 – Janela principal da ferramenta implementada.



55

CAPÍTULO 5

EXPERIMENTOS E RESULTADOS

O sistema implementado foi testado com dados simulados e com dados

reais. Foram realizados vários experimentos no decorrer do trabalho, para verificar a

melhor seqüência durante a aplicação dos métodos com o intuito de se estabelecer

uma imagem com a melhor resolução. Neste capítulo são apresentados os

experimentos com maior relevância.

5.1 EXPERIMENTOS COM DADOS SIMULADOS

Para o teste inicial da ferramenta foram utilizadas imagens simuladas, ou

seja, o conjunto de imagens foi obtido simulando uma seqüência que compõe uma

determinada cena, com base em uma imagem adquirida (resolução 1152x864 pixels)

pela câmara Kodak DC-210, conforme mostra o processo na figura 5.1. Essa

seqüência foi obtida por meio da ferramenta desenvolvida, utilizando-se de translações

para gerar os deslocamentos desejados.

FIGURA 5.1 – Processo de geração das imagens simuladas para a geração de uma

imagem de alta resolução.

A geração de uma imagem de alta resolução a partir da simulação de

seqüências de imagens, pode ser obtida seguindo-se os passos abaixo descritos:

a) aplicação de deslocamentos na imagem original, ou seja, a imagem é

transladada em x e em y;

Imagem Original

1000

1000

500 500

500

500

Imagem Super-amostrada

1000

1000Simulação Restituição



56

b) utilização do algoritmo de interpolação bicúbica para se obter imagens

subamostradas a partir das imagens transladadas;

c) faz-se o registro, retificação e reamostragem das imagens, para que

se possa gerar uma imagem de alta resolução.

O processo para obtenção das imagens simuladas até a geração da

imagem de alta resolução pode ser observado na figura 5.2.

Imagens originais

Realizar o registro e a retificação das imagens que pertençam a mesma

cena, com base na imagem de referência a ser superamostrada, gerando a fusão entre as imagens

simultâneamente

Definir deslocamentos para cada imagem, em relação a imagem de

original, e subamostrá-las

Imagem super amostrada

Si

mulação

Geração

FIGURA 5.2 – Processo geral, que envolve a simulação de uma seqüência de imagens

e geração da imagem de alta resolução.

A geração dessa imagem de maior resolução é feita através de um

processamento pixel a pixel, com a utilização da interpolação bilinear para determinar o

nível de brilho do pixel correspondente em cada imagem de baixa resolução, obtendo-

se, após isso, a fusão das imagens por meio da média aritmética dos valores de cada

posição em todas as que pertencem à seqüência.

Antes de mostrar os experimentos com uma seqüência de imagens,

serão apresentados os experimentos com ampliação simples (sem seqüência).



57

Foram analisadas três maneiras de se obter a ampliação

(superamostragem) da imagem de resolução de 768x512 pixels, adquirida pela câmara

Kodak DC-40:

§ através da simples replicação (repetição do nível de brilho

determinado pelo método do vizinho mais próximo) do pixel da

imagem original, na imagem a ser ampliada;

§ através da média dos pixels vizinhos (bloco de 2x2) da imagem

original e replicando este valor médio;

§ com a utilização da interpolação bilinear, verificando a influência

dos pixels vizinhos (bloco 2x2).

Obtendo-se assim um novo nível de brilho, o qual é plotado na imagem a

ser ampliada. Os resultados obtidos nos processos de superamostragem simples (sem

fusão de múltiplas imagens) implementados, são mostrados nas figuras 5.3 a 5.11.

FIGURA 5.3 – Ampliação utilizando a replicação. O retângulo que aparece na figura 5.3 é usado para representar a região

a ser analisada com maior cuidado, ou seja, para observar os detalhes, através de

zoom, mostrado na figura 5.4.



58

FIGURA 5.4 – Detalhe da imagem ampliada na figura 5.3.

Na figura 5.3, e principalmente, na 5.4, pode-se observar que o efeito de

serrilhado é muito aparente, pois apenas se replica um pixel quatro vezes, dobrando o

tamanho da imagem. A ferramenta desenvolvida, possibilita a determinação do grau

de aumento que se deseja obter na imagem.

Na figura 5.5, pode-se observar o erro médio quadrático entre a imagem

original e a imagem superamostrada pelo método de interpolação de vizinho mais

próximo, a partir da imagem subamostrada anteriormente.

FIGURA 5.5 – Erro médio quadrático entre a imagem original e a imagem gerada pela

interpolação pelo Vizinho Mais Próximo.

Na figura 5.6, mostra-se o resultado obtido quando o processo utilizado é

a média aritmética entre os quatro pixels vizinhos, com a posterior replicação do valor

estabelecido pela média. Pode-se observar que ocorre um efeito de suavização na

imagem, ou seja, o serrilhado observado na figura 5.3 é minimizado.



59

FIGURA 5.6 – Ampliação utilizando a Média Aritmética entre os pixels.

A figura 5.7, mostra detalhes da região assinalada na figura 5.6, para que

se possa verificar a suavização ocorrida.

FIGURA 5.7 – Detalhe da imagem ampliada na FIGURA 5.6.

A figura 5.8, mostra o erro médio quadrático entre a imagem gerada e a

imagem original, onde se observa que o erro é maior que na imagem gerada pela

replicação de um pixel, conforme a figura 5.5. Isso ocorre, pois no método anterior há

pixels com a mesma intensidade de brilho, enquanto que neste método, o pixel plotado

tem intensidade de nível de brilho igual à média aritmética entre seus vizinhos,

confirmando a suavização observada na figura 5.7.



60

FIGURA 5.8 – Erro médio quadrático gerado pela diferença entre a imagem original e a

imagem superamostrada pelo método da Média Aritmética.

Na figura 5.9, observa-se à imagem ampliada pelo método da

Interpolação Bilinear, onde se verifica que o efeito de serrilhado é bastante minimizado,

realçando as altas freqüências existentes na imagem e com menor suavização se

comparado com o método anterior.

FIGURA 5.9 – Ampliação pela Interpolação Bilinear.

Na figura 5.10, observa-se que é o melhor resultado apresentado, pois

diminui tanto o serrilhado apresentado na figura 5.4 como a suavização na figura 5.7.

Isso ocorre, pois a interpolação bilinear leva em consideração as influências que os

pixels vizinhos exercem sobre o pixel que está sendo analisado para a geração de um

novo nível de brilho.



61

FIGURA 5.10 – Detalhe da imagem ampliada na FIGURA 5.9.

Na figura 5.11, pode-se confirmar a observação descrita acima, pois o

erro médio quadrático é maior do que em relação ao método replicativo e menor que o

método da média.

FIGURA 5.11 – Erro médio quadrático gerado pela diferença entre a imagem original e

a imagem superamostrada pelo método da Interpolação Bilinear.

Os experimentos a seguir, foram realizados para a criação de imagens de

alta resolução a partir de uma seqüência de imagens simuladas.

Por meio destes experimentos, observa-se que ao se aplicar a

interpolação em uma imagem apenas, alguns ruídos existentes são minimizados, mas

nada comparado à criação de uma imagem utilizando várias outras imagens que

pertencem à cena.



62

Experimento 1 – Seqüência com dados simulados:

Neste experimento, utilizou-se de translações para se obter uma

seqüência simulada de imagens, a partir de deslocamentos aplicados à imagem

mostrada na figura 5.12. Conseqüentemente, os parâmetros a serem utilizados pelo

registro e retificação das imagens pertencentes à cena simulada são conhecidos.

FIGURA 5.12 – Imagem utilizada para gerar uma seqüência simulada de imagens a

partir de deslocamentos em x e y.

A partir da imagem mostrada na figura 5.12 com resolução de 1152x864

pixels, adquirida pela câmara Kodak DC210, foram geradas sete imagens com base

nos deslocamentos mostrados na tabela 5.1. Após serem geradas as imagens com os

deslocamentos, essas novas imagens foram subamostradas, ficando com resolução de

576x432 pixels. A “Imagem0”, é a imagem original apenas subamostrada, e por isso

seus parâmetros são iguais a zero, também sendo definida como a imagem de

referência.

Esse experimento foi realizado para se verificar a eficiência do método

utilizado, já que dessa forma, não se têm problemas para a determinação dos

parâmetros de registro das imagens, conhecidos a priori.



63

TABELA 5.1 – Parâmetros de translação definidos para a geração de uma seqüência

simulada de imagens.

Parâmetros de deslocamentos

Imagens dx (pixel) dy (pixel) dx (mm) dy (mm)

Imagem0 0 0 0.000 0.000

Imagem1 1 1 0.033 0.033

Imagem2 1 0 0.033 0.000

Imagem3 0 1 0.000 0.033

Imagem4 -1 -1 -0.033 0.033

Imagem5 -1 0 -0.033 0.000

Imagem6 0 -1 0.000 -0.033

As imagens de super resolução foram então geradas utilizando o modelo

de colinearidade e a transformação projetiva, utilizando-se de dois métodos: método da

média, e método que visa a minimização de erros para a determinação do nível de

brilho ideal para o pixel analisado.

i. Modelo de Colinearidade

No caso de experimentos com dados simulados, a imagem de super

resolução gerada a partir da retificação com o modelo de colinearidade foi

considerada satisfatória, apesar de apresentar uma pequena paralaxe na imagem,

dando a sensação de uma imagem suavizada, como mostra, de forma geral, a

figura 5.13, mais especificamente, a figura 5.13c (detalhes na figura 5.14).



64

FIGURA 5.13 – Resultado da imagem de super resolução, por meio do modelo de

colinearidade, com base na seqüência de imagens simulada.

A figura 5.14, apresenta a ampliação da região em destaque nas imagens

5.13(a), 5.13(b) e 5.13(c), respectivamente. Essa ampliação auxilia na observação dos

detalhes apresentados nas imagens, para se verificar a eficiência do método utilizado.

Observa-se claramente, na figura 5.14(c), a suavização que ocorre em relação à

imagem original (figuras 5.13a e 5.14a). Conseqüentemente, os ruídos e o serrilhado

existentes são minimizados (figuras 5.13b e 5.14b). Esse aparente borramento, que

ocorre na figura 5.14(c), é devido à precisão que o modelo de colinearidade oferece

para a retificação das imagens que compõem a cena, pois o plano imagem é

bidimensional e o modelo é tridimensional, ocorrendo uma certa distorção na imagem

resultante.



65

FIGURA 5.14 – Ampliação das regiões em destaque nas imagens representadas na

figura 5.13.

Na figura 5.15(a), apresenta-se uma imagem de diferenças entre a

imagem original, conforme a figura 5.13(a), e a imagem super amostrada, visualizada

na figura 5.13(c). Esta imagem mostra os pixels que sofreram alteração de valor na



66

imagem resultante (os mais claros na figura 5.15a), e os que não sofreram alterações

(os negros, nível de brilho igual a zero). A figura 5.15(b), mostra o erro médio

quadrático calculado, levando em consideração todos os pixels da imagem resultante.

FIGURA 5.15 – Diferença entre a imagem original e a imagem de super resolução

gerada com base na seqüência de imagens simulada pelo Modelo de Colinearidade.

(a) Diferença entre a imagem original e a gerada

(b) Erro médio quadrático gerado



67

ii. Transformação Projetiva

a. Pela Média

Este método apresentou um melhor resultado em relação ao anterior,

como mostra a figura 5.16, onde na figura 5.16(c), pode-se observar que os detalhes

em destaque apresentam-se de forma mais nítida do que por meio do modelo anterior.

Isto pode ser melhor evidenciado nas figuras 5.17 e 5.18.

FIGURA 5.16 – Resultado da imagem de super resolução, por meio da transformação

projetiva, com base na seqüência de imagens simulada, pelo método da média.

(a) Imagem original (b) Imagem de referência – imagem original subamostrada

(c) Imagem gerada



68

A imagens apresentadas na figura 5.17, são as regiões que estão em

evidência na figura 5.16, sendo respectivamente, 5.17(a), 5.17(b) e 5.17(c).


figura 5.16.



69

Na figura 5.17(c), pode-se observar que há menos suavização do que em

relação ao método anterior, pois a transformação projetiva é mais adequada para se

realizar o registro e a retificação neste tipo de trabalho, pois, apenas se executa uma

transformação bidimensional. Com isso, houve a possibilidade de se restaurar a

imagem nos padrões da imagem original.

Na figura 5.18(a) pode-se visualizar os pixels que foram alterados,

confirmando-se assim, a suavização existente. A figura 5.18(b), mostra o erro médio

quadrático entre a imagem original (5.16a) e a imagem gerada (5.16c), apresentando

um erro menor que o gerado pelo modelo de colinearidade.

FIGURA 5.18 – Imagem de diferenças entre a imagem original e a imagem de super

resolução, gerada por meio da transformação projetiva e pelo método da média.



70

Na figura 5.19(a), observa-se a diferença visual entre as imagens geradas

utilizando o modelo de colinearidade, conforme figura 5.13(c), e a utilizando a

transformação projetiva 5.16(c).

FIGURA 5.19 – Imagem de diferenças entre a imagem gerada pelo modelo de

colinearidade e a gerada por meio da transformação projetiva e pelo método da média.




71

b. Minimização dos Erros

Este método visa obter uma imagem de alta resolução a partir de uma

aproximação inicial da mesma, e das demais imagens que formam uma cena. Para a

geração da aproximação inicial, optou-se pela imagem gerada utilizando-se o método

da média, conforme mostrada na figura 5.16(c).

A imagem mostrada na figura 5.20(c), apresenta uma suavização ainda

maior, pois é verificado o erro médio quadrático ocorrido entre todas as imagens da

seqüência e a imagem tomada como aproximação inicial, variando-se os pixels no

intervalo de –1 a +1, em um bloco de 2x2 pixels. Conseqüentemente, 81 combinações

são realizadas neste bloco, escolhendo-se aquele que apresentar o menor erro,

conforme descrito na metodologia (capítulo 4).

A suavização existente na imagem gerada a partir da imagem definida

como a aproximação inicial (5.16c) se deve, principalmente, pelo registro das imagens

apresentar um pequeno desvio padrão entre as coordenadas dos pontos

correspondentes nas imagens que pertencem à cena. A maior vantagem deste

método, está na grande qualidade de se minimizar ruídos existentes na imagem.

Foi realizado também, um experimento variando os níveis de brilho dos

pixels com os incrementos de -5, 0 e +5, e definindo como combinação ideal, aquela

que apresentar o menor erro médio quadrático. O resultado é mostrado na figura

5.23(c).



72

FIGURA 5.20 – Resultado da imagem de super resolução, obtida por meio da

transformação projetiva e pelo método de minimização dos erros (-1,0,+1), com

base na seqüência de imagens simulada.

Na figura 5.21(c), observa-se claramente, a suavização ocorrida na

imagem gerada, como mostra a figura 5.20(c). Esta comparação se torna ainda mais

evidente quando observada a figura 5.17(c).

(a) Imagem Original (b) Imagem de referência – imagem original subamostrada

(c) Imagem resultante



73

FIGURA 5.21 – Ampliação das regiões em destaque nas imagens apresentadas na

figura 5.20.

(a) Região ampliada na imagem original



74

O erro médio quadrático aumenta em, aproximadamente, uma unidade

em relação ao método da média, conforme mostra a figura 5.22(b). E visualmente,

observa-se, figura 5.22(a), que as diferenças são maiores nas regiões de bordas.


gerada, com base na seqüência de imagens simulada, pelo método de minimização

dos erros (-1,0,+1).





75

A figura 5.23(c), mostra o resultado utilizando-se o método de

minimização dos erros mas, com variação dos níveis dos pixels pelos incrementos (-5,

0, +5). A imagem resultado, teve como aproximação, a imagem gerada pelo método da

média.

FIGURA 5.23 – Resultado da imagem de super resolução, gerada pela transformação

projetiva e com o método de minimização dos erros (-5, 0, +5), com base na

seqüência de imagens simulada.

(a) Imagem original (b) Imagem de referência – imagem original subamostrada




76


figura 5.23.




77

O erro médio quadrático aumentou, conforme figura 5.22(b), em relação à

combinação anterior (figura 5.20c), pois as mudanças ocorridas na imagem resultante

são maiores.

Na figura 5.22(a) observa-se visualmente a diferença entre a imagem

original e a imagem resultante pela aplicação do método minimização dos erros.


gerada pelo método de minimização dos erros (-5,0,+5), com base na seqüência de

imagens simulada.





78

Na figura 5.26(a), observa-se a diferença entre as imagens mostradas

nas figuras 5.20(c) e 5.23(c), geradas pelas combinações (-1, 0, +1) e (-5, 0, +5).

Confirma-se assim, que as alterações mais sensíveis ocorrem onde há maiores

freqüências na imagem.

FIGURA 5.26 – Diferença entre as imagens de super resolução geradas pelos

métodos de minimização dos erros variando entre (-1, 0, +1) e (-5,0,+5), com

base na seqüência de imagens simulada.





79

5.2 EXPERIMENTOS COM DADOS REAIS

Estes experimentos foram realizados com as imagens adquiridas

conforme descrito no capítulo 4. Os processos de Registro e Retificação foram

realizados utilizando os modelos mencionados na Metodologia: Resseção Espacial

(MMQ e Modelo de Colinearidade) e Transformação Projetiva.

Os experimentos foram classificados de acordo com a seqüência de

imagens que foram analisadas e com os modelos utilizados.

No primeiro experimento, utilizou-se imagens adquiridas pela câmara

Kodak DC-210 e adicionou-se, por meio do software Adobe Photoshop 5.0, um filtro

uniforme de ruídos, como mostra a figura 5.27. A figura 5.32 mostra o conjunto de

imagens adquiridas com pequenos deslocamentos na câmara digital Kodak DC40

(756x504 pixels), que pode ser observado no segundo experimento. No terceiro

experimento, a seqüência de imagens analisada é aquela apresentada na figura 5.41,

as quais foram adquiridas, também com deslocamentos, pela câmara digital Kodak

DC210 (1152x864 pixels).

Experimento 1 – Seqüência com dados reais e adição de ruídos

Neste experimento, procurou-se utilizar uma seqüência de imagens

adquiridas pela câmara Kodak DC-210 com resolução de 1152x864 pixels. Os

parâmetros para o registro e retificação das imagens foram determinados com o

programa que utiliza a transformação projetiva. Nas imagens desta seqüência, foram

aplicados ruídos, fazendo com que ocorresse um certo borramento nas mesmas,

gerando-se assim, imagens degradadas. Essas imagens foram degradadas para

simular imagens adquiridas por dispositivos de baixa qualidade, por exemplo, câmaras

de vídeo de circuito fechado.

A figura 5.27, mostra a seqüência de imagens adquiridas, subamostradas

para resolução de 576x432 pixels e degradadas.

Os parâmetros da transformação projetiva para o registro das imagens

são mostrados na tabela 5.6.

Para este experimento utilizou-se apenas a transformação projetiva com

os métodos de fusão de imagens pela média e pela minimização dos erros,

descartando o modelo de colinearidade e a transformação afim, por não modelarem

adequadamente o problema.



80

FIGURA 5.27 – Imagens que compõem uma cena com ruídos.



81

O resultado apresentado na figura 5.28(c), é bastante interessante, pois

mostra que recuperou uma grande quantidade de informações, que na figura 5.28(b)

não são determinadas claramente. Como ocorreu nos resultados mostrados

anteriormente, a suavização é observada, principalmente, nas áreas de baixa

freqüência.

FIGURA 5.28 – Resultado da imagem de super resolução, obtida por meio da

transformação projetiva e pelo método da média, com base na seqüência de imagens

com ruídos.

(a) Imagem original

(a) Imagem original (b) Imagem de referência – imagem original subamostrada com ruídos




82

Há ainda, muita informação que não é restaurada, mas o resultado

apresentado na figura 5.29(c), que é a ampliação de uma pequena parte da imagem

mostrada pela figura 5.28(c), é considerado satisfatório, e a melhora visual da imagem

é observada muito claramente.


FIGURA 5.28.




83

Por meio da figura 5.30(a), observa-se a diferença entre os pixels

atualizados e a imagem original, e a figura 5.30(b) mostra o erro médio quadrático,

entre a imagem original e a imagem gerada. Este erro apresenta um valor bastante

elevado devido ao grande nível de degradação aplicado à seqüência de imagens.


gerada com base na seqüência de imagens com ruídos, pelo método da média.

A figura 5.31, apresenta o resultado obtido com o método de minimização

dos erros aplicado nas imagens, como mostra a figura 5.28.

A combinação foi gerada variando os níveis de cinza nos valores (-5, 0,

+5), e parte da imagem resultante é mostrada na figura 5.31(c). Esta imagem foi

gerada partindo-se da imagem gerada pelo método da média como aproximação

inicial, e por isso, apresenta uma suavização ainda maior que no método anterior.





84

FIGURA 5.31 – Ampliação de parte das imagens original(a), referência(b) e da

imagem de super resolução gerada pelo método de minimização de erros (-5,0,5), com

base na seqüência de imagens com ruídos.

(a) Região ampliada na imagem original (b) Região ampliada na imagem de referência



85

Experimento 2 – Seqüência com dados reais:

A imagem que possui os pontos de “controle” é mostrada na figura

5.32(b) e, por isso, é denominada Imagem de Referência.

Para a realização dos experimentos, as imagens adquiridas foram

subamostradas, ou seja, reduzidas à metade das dimensões da imagem original, para

que se possa observar a eficiência do método utilizado, pois a imagem gerada terá a

mesma resolução geométrica da imagem original, possibilitando a verificação do erro

médio quadrático entre ambas.

FIGURA 5.32 – Seqüência de imagens originais adquiridas com a câmara digital Kodak

DC-40.

i) Modelo de Colinearidade:

Para obtenção do registro e retificação das imagens mostradas em 5.32,

foram medidos, manualmente, 22 pontos em cada imagem levando-se em

consideração suas correspondências. Devido aos erros de medida e à variação

de profundidade existente na imagem, alguns pontos foram descartados,

aceitando-se um total de 12 pontos em cada imagem. A tabela 5.2 mostra os



86

resíduos existentes nas coordenadas medidas em cada imagem pertencente à

seqüência adquirida.

Com base na tabela 5.2, verifica-se que o registro não foi o ideal, pois o

tamanho do pixel adotado foi de 0.033mm e, em algumas coordenadas, obteve-

se um resíduo maior, ocasionando um erro de medida ou de modelagem maior

que um pixel.

TABELA 5.2 – Resíduos entre as coordenadas medidas e as ajustadas pela resseção

espacial.

Imagem1 Imagem3 Imagem4

dx (mm) dy (mm) dx (mm) dy (mm) dx (mm) dy (mm)

-0.056 -0.015 -0.048 0.008 0.012 0.014

-0.023 -0.036 -0.018 0.004 -0.006 -0.034

-0.010 -0.038 -0.016 0.006 0.013 -0.028

-0.007 -0.036 -0.022 -0.050 -0.012 -0.001

-0.051 0.013 -0.009 -0.027 0.018 -0.012

0.013 0.010 -0.005 0.014 -0.011 -0.046

0.027 0.028 0.032 0.004 -0.013 0.035

-0.021 0.008 0.011 0.007 -0.031 0.001

0.004 0.009 0.011 0.025 0.001 -0.002

0.042 0.009 0.007 -0.020 0.009 0.023

0.023 0.005 0.063 0.022 0.031 0.039

0.060 0.043 -0.006 0.008 -0.010 0.011

A Tabela 5.3, mostra os parâmetros de transformação (κ, ϕ, ω, X0, Y0, Z0)

das imagens pertencentes à seqüência em relação à imagem de referência, e o

desvio padrão a posteriori definindo a precisão do registro.

Devido ao tamanho do pixel ser de 0.033mm, os parâmetros para o

registro de imagens geraram um desvio padrão a posteriori, definindo o registro

como aceitável, pois é menor que um pixel. O desvio padrão não é igual a zero

devida à má pontaria na medição dos pontos e à variação de profundidade que

causa a paralaxe.



87

A “imagem 2” não aparece na tabela por ser a imagem de referência, e

portanto, todos os seus parâmetros são iguais a zero.

TABELA 5.3 – Parâmetros ajustados para o registro e retificação das imagens pelo

modelo de colinearidade.

Parâmetros Imagem1 Imagem3 Imagem 4

κκ (rad) 0.000694 -0.026175 -0.024621

ϕϕ (rad) -0.011833 0.000678 0.011440

ωω (rad) 0.038301 -0.008864 0.008044

X0 (mm) -0.567 -0.021 0.329

Y0 (mm) -1.792 -0.228 -1.041

Z0 (mm) 0.129 0.095 0.053

Desvio padrão a

posteriori (mm) 0.0342 0.0279 0.0248

A partir dos parâmetros apresentados na tabela 5.3, executou-se a

retificação das imagens com posterior fusão pela média entre as imagens.

Este modelo não apresentou bons resultados, pois possui uma

característica tridimensional, pois os pontos de controle foram definidos como

sendo as coordenadas medidas na imagem assumida como a de referência.

Essas imagens possuem uma alta variação de profundidade, o que acaba

resultando uma alta paralaxe entre as imagens.

O resultado obtido é mostrado na figura 5.33, onde a imagem 5.33(a) é a

imagem original, a 5.33(b) a imagem de referência e a 5.33(c) é a imagem de

super resolução gerada.

Como pode ser observado na figura 5.33(c), o resultado foi muito pobre.

Isto pode ter sido causado pela má qualidade das medidas nas coordenadas

das imagens para a realização do registro e também, devido ao método de

Resseção Espacial que não apresenta as características que se necessita.

Nesta técnica relaciona-se um referencial bidimensional com um tridimensional

como forma de se obter os parâmetros para o registro, e retorna-se para o

referencial bidimensional que é o da imagem. Isso acaba ocasionando uma

retificação ruim, pois os pontos não estarão na mesma posição que os seus



88

correspondentes e a fusão pela Média gera uma imagem sem condições de se

realizar qualquer análise. Devido à estes problemas, os experimentos a seguir,

não são executados por meio da resseção espacial, sendo apenas pela

transformação projetiva com o método da média e o de minimização dos erros.

Se o registro de imagens não for preciso, não há como obter uma imagem de

super resolução com qualidade para análise de alvos.

FIGURA 5.33 – Resultado obtido pelo modelo de colinearidade e fusão pela média

aritmética dos pixels correspondentes.

(a) Imagem original (b) Imagem de referência –




89

Este resultado também pode ser comparado e analisado pela figura

5.34(a), que apresenta a diferença entre a imagem original e a imagem

gerada, e em 5.34(b) o erro médio quadrático ocasionado. Pode-se

observar que o erro é bastante elevado em relação aos resultados

apresentados nos experimentos anteriores.

FIGURA 5.34 – Diferença entre as imagens original e a resultante, registrada e

retificada pelo modelo de colinearidade.





90

ii) Transformação Projetiva:

Por meio dos 22 pontos medidos anteriormente nas imagens

pertencentes à cena, obteve-se os parâmetros para o registro e retificação das

mesmas usando a transformação projetiva. Dos 22, 12 pontos foram descartados para

se obter um registro mais eficiente, ou seja, com precisão subpixel.

A tabela 5.4, mostra os resíduos entre as coordenadas medidas e as

ajustadas pela transformação projetiva. Como o tamanho ideal do pixel foi definido

como 0.033mm, verifica-se que o registro foi realizado com uma excelente precisão,

apesar da variação existente nas imagens.

TABELA 5.4 – Resíduos entre as coordenadas medidas e as ajustadas pela

transformação projetiva nas imagens adquiridas pela câmara Kodak DC-40.

Imagem1 Imagem3 Imagem4

dx (mm) dy (mm) dx (mm) dy (mm) dx (mm) dy (mm)

-0.0038 0.0028 -0.0115 -0.0024 0.0138 0.0247 -0.0114 -0.0033 0.0028 0.0052 0.0076 -0.0378 0.0080 -0.0026 -0.0130 0.0200 0.0066 -0.0244 -0.0043 -0.0195 -0.0019 -0.0256 -0.0150 0.0038 0.0039 0.0131 -0.0113 -0.0196 0.0194 -0.0071 0.0197 -0.0093 0.0099 0.0034 -0.0008 -0.0330 -0.0109 -0.0004 0.0224 -0.0120 -0.0068 0.0380 -0.0204 -0.0024 -0.0202 -0.0062 -0.0257 0.0081 -0.0084 0.0038 -0.0006 0.0150 -0.0086 -0.0200 0.0252 0.0060 -0.0181 -0.0172 0.0049 0.0153 0.0047 0.0109 0.0211 0.0228 0.0218 0.0325 -0.0022 0.0010 0.0203 0.0167 -0.0172 0.0000

Na tabela 5.5, observa-se os parâmetros de transformação necessários

para a retificação das imagens, e também, o desvio padrão a posteriori, que define a

qualidade do registro de imagens realizado, confirmando o que mostra a tabela 5.4.



91

TABELA 5.5 – Parâmetros de transformação para o registro e retificação das imagens,

determinados pela transformação projetiva.

Parâmetros Imagem1 Imagem3 Imagem4

a1 a[0] 0.996745 0.998451 0.998306

b1 a[1] 0.010612 -0.020214 -0.022669

c1 a[2] -0.044217 -0.063454 -0.207033

a0 a[3] -0.000364 -0.000066 0.000188

b0 a[4] -0.000559 0.000225 -0.000103

b2 a[5] 0.000783 0.027347 0.024924

a2 a[6] 1.001385 0.998602 1.001758

c2 a[7] 0.005150 -0.645935 -0.678882

Desvio padrão a posteriori 0.0109 0.0156 0.0203

§ Pela Média:

Utilizando-se este método, pôde-se observar a geração de uma imagem

de super resolução de boa qualidade, conforme mostra a figura 5.35(c). Este

resultado, pode ser melhor observado na figura 5.36.

Na figura 5.36(a), observa-se, claramente, a suavização ocorrida e a

eliminação de ruídos em relação à imagem mostrada em 5.36(b), que apresenta um

alto grau de ruídos e serrilhado.



92

FIGURA 5.35 – Resultado obtido pela fusão por meio da média dos níveis de brilho das

imagens pertencentes à seqüência, utilizando-se da transformação projetiva.

O resultado pode ser melhor visualizado na figura 5.36, na qual mostra-se

uma ampliação da região em destaque, mostrada na figura 5.35. A suavização ocorre,

principalmente, por haver uma grande variação de profundidade que aparecem como

borrões nas imagens, gerando assim, uma paralaxe em algumas regiões. E ainda,

devido à existência de um pequeno erro no registro de imagens, conforme mostram as

tabelas 5.4 e 5.5.

(a) Imagem original (b) Imagem de referência –




93


FIGURA 5.35.




94

A figura 5.37(a) mostra as diferenças existentes entre a imagem original e

a de super resolução, obtida da fusão pela média e retificação pela transformação

projetiva. Esta figura mostra de forma clara, as regiões de maior paralaxe ocasionadas

pela alta variação nas imagens.

FIGURA 5.37 – Representação visual e numérica da diferença entre as imagens original e

a resultante.



95

§ Pela Minimização dos Erros:

Neste experimento, a aproximação inicial para a imagem de super

resolução foi a imagem original. Por meio da transformação projetiva fez-se o registro e

retificação das demais imagens analisadas, combinando-se os pixels (bloco 2x2) entre

os valores (-5, 0, +5), e verificando-se o erro gerado em relação à aproximação inicial.

A combinação que gerou o menor erro foi utilizada para atualizar a imagem

aproximada, como mostra a figura 5.38(c).

FIGURA 5.38 – Resultado obtido a partir da imagem original pela transformação

projetiva com o método de minimização de erros (-5,0,+5).

(a) Imagem original

(a) Imagem resultante

(b) Imagem de referência – imagem original subamostrada



96


FIGURA 5.38.




97

A figura 5.39, apresenta a ampliação da região destacada na figura 5.38,

para se obter uma melhor análise das imagens em questão. Na figura 5.39(c), observa-

se também, um efeito de suavização, fazendo com que as letras na imagem,

praticamente, desapareçam. Em contrapartida, os ruídos existentes na imagem original

(figura 5.39a) foram minimizados, embora apareçam alguns ruídos aleatórios.

Na figura 5.40(a), verifica-se os pontos que sofreram alterações em

relação à imagem original, sendo que estes, são mais evidentes nas regiões de alta

freqüência da imagem inicial.

A grande diferença entre o método pela média e pela minimização dos

erros pode ser verificada na figura 5.40, observando-se o erro médio quadrático que

esta possui em relação à imagem original, conforme mostra a figura 5.40(b), e

comparando-o com a figura 5.37(b).

Embora o aspecto da imagem seja pior (mais suavizada) o erro médio

quadrático da imagem restaurada em relação à imagem de referência é menor neste

experimento.



98

FIGURA 5.40 – Representação visual e numérica da diferença entre as imagens

original e a resultante.



99

Experimento 3 – Seqüência de imagens com dados reais:

FIGURA 5.41 – Seqüência de imagens originais adquiridas com a câmara digital

Kodak DC-210.

Para a realização dos experimentos, as imagens adquiridas pela câmara

digital Kodak DC210, foram subamostradas, ou seja, reduzidas à metade das



100

dimensões em relação à imagem original, para que se possa observar a eficiência do

método utilizado, pois a imagem gerada terá a mesma resolução geométrica da

imagem original, possibilitando a verificação do erro médio quadrático entre ambas em

relação à resolução radiométrica. A imagem referência é mostrada na figura 5.41(d).

Nas imagens mostradas na figura 5.41, foram medidos 31 pontos,

descartando-se dois, com o máximo de precisão possível, utilizando o software Adobe

Photoshop 5.0 e o máximo de zoom para a determinação da coordenada do pixel, de

modo que os resíduos foram mínimos, todos com precisão subpixel, ou seja, desvio

padrão menor que 0.03mm tanto em “x” quanto em “y”.

A tabela 5.6, mostra os resíduos existentes entre as coordenadas

medidas nas imagens apresentadas na figura 5.41, verificando-se que os mesmos

apresentam uma precisão subpixel no registro, pois estão abaixo do tamanho de um

pixel (0.03mm).



101

TABELA 5.6 – Resíduos entre as coordenadas medidas e as ajustadas pela

transformação projetiva nas imagens adquiridas pela câmara Kodak DC-210.

Imagem 01612 Imagem 01613 Imagem 01614 Imagem 01616 Imagem 1617 Imagem 01618 dx (mm) dy dx (mm) dy dx (mm) dy (mm) dx dy dx dy dx dy

0.0124 -0.0234 0.0057 -0.0196 0.0127 0.0249 -0.0142 -0.0043 0.0122 0.0015 0.0250 0.0071

-0.0225 -0.0319 -0.0099 -0.0227 0.0062 -0.0346 -0.0063 -0.0101 -0.0066 -0.0098 -0.0089 -0.0217

-0.0092 -0.0087 0.0133 -0.0170 0.0134 -0.0266 -0.0034 -0.0217 0.0000 0.0064 -0.0031 -0.0082

0.0326 -0.0139 -0.0210 0.0256 0.0015 0.0157 0.0075 0.0068 0.0170 0.0002 0.0255 0.0013

0.0184 -0.0261 0.0348 -0.0159 0.0141 -0.0119 -0.0029 -0.0048 0.0090 0.0122 -0.0215 0.0001

-0.0258 0.0178 -0.0083 0.0180 -0.0124 0.0138 0.0110 0.0133 -0.0138 0.0053 -0.0189 0.0227

-0.0059 0.0229 -0.0209 0.0108 -0.0185 0.0126 0.0098 0.0197 -0.0174 0.0111 -0.0259 0.0079

0.0028 0.0110 0.0064 0.0141 -0.0031 -0.0007 0.0187 0.0116 -0.0183 -0.0108 0.0071 0.0072

0.0161 0.0090 0.0102 -0.0113 0.0109 -0.0066 0.0209 0.0061 0.0293 -0.0008 0.0045 0.0109

0.0211 -0.0191 0.0073 -0.0129 0.0334 -0.0027 -0.0099 -0.0255 0.0238 -0.0032 0.0193 -0.0266

-0.0173 0.0223 0.0051 0.0280 -0.0050 -0.0063 -0.0009 -0.0067 0.0076 -0.0153 0.0069 0.0134

-0.0250 -0.0031 -0.0124 0.0013 -0.0346 0.0033 0.0011 0.0203 -0.0209 0.0119 -0.0232 -0.0111

-0.0112 0.0054 -0.0033 -0.0069 -0.0163 0.0020 0.0087 -0.0085 -0.0104 -0.0137 -0.0291 -0.0081

-0.0054 0.0121 -0.0110 -0.0134 0.0048 -0.0063 0.0056 0.0086 -0.0110 0.0035 0.0156 -0.0081

0.0058 0.0199 -0.0053 0.0226 0.0022 0.0256 -0.0132 -0.0010 0.0038 0.0089 0.0056 0.0143

0.0288 -0.0041 0.0332 0.0013 0.0308 0.0080 -0.0045 0.0038 0.0263 0.0091 0.0164 0.0100

0.0210 0.0072 0.0119 -0.0212 -0.0019 -0.0198 -0.0026 0.0027 -0.0044 -0.0167 0.0183 -0.0082

0.0041 0.0020 -0.0094 0.0230 -0.0083 0.0135 -0.0034 0.0052 -0.0156 -0.0140 0.0020 -0.0074

0.0058 -0.0078 0.0125 -0.0155 -0.0096 -0.0222 -0.0136 -0.0105 -0.0049 -0.0188 0.0090 -0.0075

0.0080 0.0083 0.0149 -0.0029 -0.0109 0.0049 0.0045 0.0055 0.0102 0.0207 0.0067 0.0068

-0.0064 0.0182 -0.0047 0.0231 0.0072 0.0277 -0.0106 -0.0001 0.0045 0.0153 0.0011 0.0102

-0.0104 -0.0057 -0.0217 -0.0051 -0.0148 -0.0009 -0.0144 0.0066 -0.0278 0.0024 -0.0150 0.0022

-0.0156 0.0032 -0.0130 -0.0031 -0.0138 -0.0104 0.0090 0.0056 0.0013 -0.0041 -0.0159 -0.0167

0.0287 -0.0031 0.0156 0.0065 0.0186 -0.0010 -0.0062 -0.0091 0.0145 -0.0086 0.0115 -0.0019

-0.0206 0.0140 0.0067 0.0017 -0.0031 0.0067 -0.0026 -0.0023 0.0017 0.0075 -0.0134 0.0007

-0.0101 0.0058 -0.0183 0.0139 0.0100 -0.0056 -0.0104 -0.0160 -0.0058 0.0040 -0.0229 0.0164

-0.0133 -0.0103 -0.0141 -0.0008 -0.0238 -0.0034 -0.0095 -0.0148 -0.0053 0.0124 -0.0222 -0.0077



102

Na tabela 5.7, encontram-se os parâmetros de transformação

determinados e o desvio padrão a posteriori obtido. O desvio padrão a posteriori

representa a qualidade do registro em relação às imagens analisadas, e neste caso,

ratifica-se o que mostra a tabela 5.6, ou seja, o registro foi realizado com uma precisão

adequada, em se tratando da realização de correspondência manual.

TABELA 5.7 – Parâmetros ajustados para o registro e retificação das Imagens,

determinados pela transformação projetiva.

Imagens__

Parâmetros

01612 01613 01614 01616 01617 01618

a1 a[0] 0.996917 0.998614 0.996553 1.000949 0.997728 0.993991

b1 a[1] 0.003082 -0.004655 -0.000132 -0.000779 -0.000955 -0.000660

c1 a[2] -1.844855 -1.476753 -1.479139 -0.236624 -1.121644 -1.585430

a0 a[3] 0.001103 0.001119 -0.000134 0.000151 0.000390 0.000177

b0 a[4] -0.000049 -0.000175 -0.000087 -0.000013 -0.000086 -0.000037

b2 a[5] -0.001793 0.005677 0.001164 0.000776 0.001956 0.002475

a2 a[6] 0.998307 0.998767 0.997743 1.000784 0.998243 0.994683

c2 a[7] 0.068523 0.154977 0.039068 0.067753 0.071818 0.072891

Desvio padrão a

Posteriori 0.0163 0.0154 0.0150 0.0115 0.0125 0.0147

Esses parâmetros devem ser fornecidos ao aplicativo desenvolvido para

que o mesmo execute o processo de retificação e reamostragem da imagem analisada

em relação à imagem a ser gerada como de super resolução.

Pode-se observar os resultados obtidos nas figuras 5.42, 5.43 e 5.44.

i) Modelo de Colinearidade:

Neste experimento, não serão mostrados os resultados obtidos com os

parâmetros para o registro e retificação determinados pelas equações de

colinearidade, já que seção anterior, observou-se à ineficiência do modelo para o caso

de imagens planares. Mesmo com a tentativa de se realizar novas medidas das

coordenadas nas imagens da seqüência, buscando-se o mínimo desvio padrão, ou

seja, menor que 0.03mm (tamanho do pixel) entre os pontos medidos não se obteve



103

resultados satisfatórios, confirmando que este modelo é inadequado para o que se

propõe este trabalho.

ii) Transformação Projetiva:

Por meio dessa transformação, obteve-se os parâmetros de registro e

retificação das imagens a serem analisadas. Utilizou-se, também, dos métodos de

fusão pela média entre as imagens e o de minimização de erros.

No processo de minimização de erros, a imagem gerada pelo processo

de fusão que utiliza a média entre as imagens foi utilizada como a aproximação inicial

da imagem a ser gerada como de super resolução. Utilizou-se uma combinação entre

os pixels (bloco 2x2) com incrementos nos valores de (-5, 0, +5).



104

· Pela Média:

FIGURA 5.42 – Resultado obtido pela fusão através da média dos níveis de brilho das

imagens da seqüência registradas e retificadas pela transformação projetiva.

Observando a figura 5.42(c), pode-se considerar que este método retira,

e muito, os ruídos existentes, em relação à imagem original. Isto ocorre, devido ao

registro de imagens estar com uma precisão aceitável. O efeito de suavização ocorre

devido o pequeno erro presente no processo manual de medição das coordenadas.

(a) Imagem original





105


figura 5.42.

A figura 5.43, mostra claramente, a diferença que existe entre as imagens

de super resolução e a imagem original, evidenciando as bordas existentes na imagem

e a suavização aparente. Pode-se observar que a imagem é restaurada com boa

qualidade.




106

A figura 5.44(a), mostra os pixels que sofreram alterações em relação à

imagem original, ou seja, nas regiões que apresentam as altas freqüências.


original e a resultante, por meio da fusão pela média.



107

§ Pela Minimização dos Erros:

FIGURA 5.45 – Resultado obtido a partir da imagem superamostrada pela média,

conforme figura 5.42(c), pelo método de minimização de erros (-5, 0, +5).

Este processo, como demonstrado na figura 5.45, gera uma imagem com

resolução, radiométrica e geométrica, compatível com a imagem original, conforme

figura 5.45(c). Podendo-se visualizar de forma clara pontos que na figura 5.45(b) não

poderiam ser vistos.

(a) Imagem original





108


figura 5.45.

Na figura 5.46(b), verifica-se o processo de suavização obtido por este

método, eliminando os ruídos existentes em relação à imagem original (5.46a).

Observando a figura 5.47(c) e a 5.44(c), chega-se a conclusão que as

imagens geradas são semelhantes. Isto porque a imagem gerada, mostrada na figura

5.45(c), foi gerada com base na imagem 5.42(c), ou seja, essa imagem foi definida

como a aproximação inicial para uma nova imagem de super resolução. E como, a

combinação foi realizada pelos valores (-5, 0, +5), obteve-se uma imagem semelhante.




109


original e a resultante pela minimização de erros (-5, 0, +5).



110

TABELA 5.8 – Síntese das principais características dos experimentos.

Descrição do experimento

Resultado

numérico

(EMQ)

Qualidade da

imagem restaurada

Imagem gerada a partir de uma única pelo Método do Vizinho Mais Próximo

8,9

Muito serrilhado, má definição dos elementos presentes

Imagem gerada a partir de uma única pelo Método da Média Aritmética

15,7 Leve suavização em relação ao método anterior

Imagem gerada a partir de uma única pelo Método da Interpolação Bilinear

11,9

Maior suavização e eliminação dos ruídos, apresentando melhor qualidade

Experimento 1: com uma seqüência de imagens simulada, com retificação realizada pelo Modelo de Colinearidade e fusão pela média entre as imagens

9,9 Pouco borrada, minimização de ruídos

Experimento 2a: com uma seqüência de imagens simulada, com retificação realizada pela Transformação Projetiva e fusão pela média entre as imagens

8,6

Boa definição dos elementos presentes, eliminação de ruídos devido à suavização ocorrida

Experimento 2b: com uma seqüência de imagens simulada, com retificação realizada pela Transformação Projetiva e fusão das imagens pela minimização dos erros (-1, 0, +1)

9,4

Boa definição radiométrica, maior suavização do que o método anterior, eliminando os ruídos existentes

Experimento 2c: com uma seqüência de imagens simulada, com retificação realizada pela Transformação Projetiva e fusão das imagens pela minimização dos erros (-5, 0, +5)

10,7

Maior suavização, acarretando perda de informações devido o borramento gerado

Experimento 1: com uma seqüência de imagens real, com a introdução artificial de ruídos, onde a retificação foi realizada pela Transformação Projetiva e fusão das imagens pela média

53,5

Grande eliminação de ruídos, recuperação de informações, boa definição dos elementos presentes em relação à imagem original



111

Experimento 2: com uma seqüência de imagens real, com a introdução artificial de ruídos, onde a retificação foi realizada pela Transformação Projetiva e fusão das imagens pela minimização dos erros (-5, 0, +5)

15,6

Grande eliminação de ruídos, recuperação de informações, má definição dos elementos presentes em relação a imagem original devida a maior suavização presente

Experimento 1: com uma seqüência de imagens real, com retificação realizada pelo Modelo de Colinearidade e fusão pela média entre as imagens

27,5

Imagem totalmente distorcida, sem definição dos elementos presentes na imagem

Experimento 2a: com uma seqüência de imagens real, retificação realizada pela Transformação Projetiva e fusão das imagens pela média

34,2

Imagem pouco borrada, devido o registro não apresentar boa qualidade

Experimento 2b: com uma seqüência de imagens real, com retificação realizada pela Transformação Projetiva e fusão das imagens pela minimização dos erros (-5, 0, +5)

5,1 Imagem com grande suavização

Experimento 3a: com uma seqüência de imagens real, retificação realizada pela Transformação Projetiva e fusão das imagens pela média

12,2

Imagem com ótima definição radiométrica, eliminação de ruídos

Experimento 3b: com uma seqüência de imagens real, com retificação realizada pela Transformação Projetiva e fusão das imagens pela minimização dos erros (-5, 0, +5)

12,2

Imagem com ótima definição radiométrica, eliminação de ruídos, apresentando, o mesmo resultado que o método anterior



112

CAPÍTULO 6

CONCLUSÃO E CONSIDERAÇÕES FINAIS

Ferramentas que utilizam filtros para melhorar imagens são muito

encontradas no mercado, embora essas apenas apliquem cálculos que fazem com que

a imagem seja modificada, não apresentando resultados esperados, pois pontos

específicos dentro de uma imagem podem se tornar ainda piores com certos filtros. A

ferramenta desenvolvida não aplica filtros, mas analisa mais de uma imagem de um

mesmo local, fazendo com que um determinado pixel que não se apresenta com

qualidade em uma imagem, seja compensado por outro que se localiza em outra

imagem de baixa resolução.

Portanto, como resultado deste trabalho, foi desenvolvida uma ferramenta

que analisa seqüências de imagens de baixa resolução de uma mesma cena e gera

uma imagem de alta resolução, conhecida como uma imagem de super resolução.

Pôde-se observar, que o modelo de Resseção Espacial, com a utilização

das equações de colinearidade, neste caso, não traz resultados satisfatórios,

principalmente, por trabalhar com imagens bidimensionais.

Para que o resultado se torne satisfatório o processo de Registro de

Imagens deve apresentar boa qualidade, ou seja, o resíduo deve ser mínimo.

Da análise dos experimentos realizados, os métodos que utilizam a

transformação projetiva foram os que apresentaram os resultados de melhor qualidade

radiométrica, devido ao registro, para imagens planas, apresentar um desvio padrão

médio menor do que meio pixel. Isto é aceitável para regiões planas. O método de

Minimização de Erros leva em consideração uma aproximação inicial que vai sendo

analisada e melhorada ao longo do processo de geração da imagem de super

resolução, gerando uma sensível suavização nas regiões que representam as altas

freqüências na imagem tomada como sendo a de aproximação inicial.

No momento, esta ferramenta trabalha apenas com imagens em tons de

cinza, e o trabalho poderá ser melhorado incluindo-se funções que possibilitam a

geração de imagens de super resolução coloridas, bastando replicar o procedimento

para os vários canais. Os parâmetros do Registro de Imagens devem ser conhecidos a



113

priori, portanto, pode-se observar a viabilidade de se incorporar métodos que realizem

a correspondência entre os pixels comuns entre as imagens ao nível de subpixel semi

ou totalmente automático, evitando-se os erros de pontaria.

Pode-se verificar também, para a melhoria da ferramenta, a

implementação de uma função erro com base na imagem diferença para conseguir

obter mais informações em relação à imagem a ser gerada. E ainda, a incorporação de

novos modelos de Fotogrametria juntamente com técnicas de Processamento Digital

de Imagens.

Com isso, o trabalho desenvolvido pode ser melhorado e ampliado, pois a

melhoria na resolução de uma imagem pode ser observada claramente, possibilitando

assim, que “diagnósticos” realizados através de seqüências de imagens tenham

resultados mais precisos.



114

REFERÊNCIAS BIBLIOGRÁFICAS

ANDRADE, J. B. Fotogrametria. SBEE; Curitiba – Pr; 1998. 258p.

ATKINSON, K.B. Developments in Close Range Photogrammetry. Essex, England:

Applied Science Publishers LTD. 1980.

BAKER S., KANADE T., Super-Resolution Optical Flow. [s.l.]: CMU-RI-TR-99-36,

1999.

BALLARD, D.H.; BROWN, C.M. Computer Vision. New Jersey, USA: Prentice-Hall,

1992.

BROWN, L. G. A Survey of Image Registration Techniques. Computing Surveys;

24(4); 1992.

FONSECA, L.M. G.; MANJUNATH, B.S. “Registration Techniques for Multisensor

Remotely Sensed Imagery”; Photogrammetric Enginnering & Remote Sensing, Vol.

62, nº 9, September 1996, pp. 1049-1056.

GONZALES, R. C., WOODS, R. E., Digital Image Processing. Ed. Addison-Wesley

Publishing Company, New York: USA, 1993.

GROSS, D.,Ur, A. “Improved Resolution from Subpixel Shifted Pictures”. CVGIP -

Graphical Models and Image Processing; vol. 54, Nº 2, Março, 1992, pp. 181-186.

HATHAWAY, D., MEYER P. “NASA: Video Enhancer For Law Enforcement & More”.

Advanced Imaging: Solutions For The Electronic Imaging Professional; Maio,

1999, pp. 7.

JOYEUX, L., et al. “Reconstruction of degraded image sequences. Application to film

restoration”. Image and Vision Computing; Nº 19, France, 2001, pp. 503-516.



115

KANG, M.J, et al. “The Digital Image Acquisition of High-Resolution by Enhancement

the Multiple Images”. ASPRS-Proceedings - Launching the Geospational

Information Age, Washington, 2000, pdf226.pdf.

LILLESAND, T. M.; KIEFER, R. W. Remote Sensing and Image Interpretation; New

York. John Wiley & Sons. 2ed. 1987.

LUGNANI, J. B. Introdução a Fototriangulação. 1ª ed. Curitiba-Pr, Editora UFPR;

1987. 134p.

MARQUES, O. F., VIEIRA, H. N. Processamento Digital de Imagens. Rio de Janeiro:

Brasport, 1999.

MOFFITT, F. H., MIKHAIL, E. M. Photogrammetry. 3ª ed. vol. II. New York, Harper &

Row Publishers, 1980. 268p.

NINCE, U. S. Sistemas de Televisão e Vídeo. [s.l.]: LTC; 1991.

PELEG, S., IRANI, M., “Improving Resolution by Image Registration.” Graphical

Models and Image Processing. vol. 53, nº 3, 1991, p. 231-239.

PELEG, S., KEREN, D., SCHWEITZER, L. “Improving Image Resolution Using

Subpixel Offsets (Motion)”. Pattern Recognition Letters, 1987, 223-226.

RICHARDS, J. A. Remote Sensing Digital Image Analysis - In

Introduction. Berlin-Heidelberg. Springer-Verlag, 1986.

SWAIN, P. H., DAVIS, S. M. Remote Sensing: The Quantative Approach.

New York. McGraw-Hill. 1978.

TOMMASELLI, A.M.G., Fotogrametria Básica. Unesp/FCT, Presidente Prudente –

SP, 1998.



116

WIMAN, H. Improvement of Digital Resolution by Oversampling. ISPRS

Commision II, Washington, 1992.

WOLBER, G. "Digital Image Warping", IEEE Computer Society Press, 1990.

WOLF, P. R. Elements of Photogrammetry. 2 ed. McGraw-Hill; Singapore,

1983. 628p.



117

BIBLIOGRAFIA CONSULTADA

AGOURIS, P., SCHENK, T. Multiple Image Matching. Departament of Geodetic

Science and Surveying. The Ohio State University, Columbus, Ohio: USA.

ALBERTZ, J.; KREILING, W. Photogrammetrisches Taschenbuch. Karlsruhe,

Germany: Wichmann, 1989.

ANDREWS, H.C., HUNT, B.R. Digital Image Restoration. USA: Prentice-Hall, 1977.

ARTERO, A.O., MENEGUETTE, M.J. “Transformações Espaciais e Técnicas de

Interpolação Aplicadas em Imagens.” Colloquium: Revista Científica da Universidade

do Oeste Paulista, Presidente Prudente – SP: UNOESTE, vol. 1, nº 3, 1996, pp. 43-51.

DANIELSSON, P.E.; HAMMERIN, M. High-Accuracy Rotation of Images. CVGIP:

Graphical Models and Image Processing, Linköping, Sweden, vol. 54, n. 04, Julho,

1992, pp. 340-344.

FALKNER, E. Aerial Mapping: Methods and Applications. Lewis Publishers. 1994.

322p.

FOLEY, J.D. et al. Computer Graphics Principles and Practice. Addison – Wesley

System Programming Series, 1990.

HORN, B. K. P., WELDON, E. J. Direct Methods for Recovering Motion. Int. Journal

Computer Vision 2, Nº 1, 1988, pp. 51-76.

HORNER, J. L. Optical Signal Processing. Academic Press, New York, 1987.

KRAUS, K. Photogrammetry – Fundamentals and Standard Process. Ferd Dummler

Verlag, Bonn, 1993.

MASCARENHAS, N.D.A., VELASCO, F.R.D. Processamento Digital de Imagens. MCT-

INPE, 1989.



118

MERCHANT, D.C. Analytical Photogrammetry – Theory and Practice – Part I. Dept. of

Geodetic Science, The Ohio State University, 1998.

REEVES, et al., Manual of Remote Sensing. Falls Church, USA: American Society of

Photogrammetry, vol. I, 1975.

SCHALKOFF, R.J. Digital Image Processing and Computer Vision. John Wiley &

Sons, Inc. Singapura, 1989.

SEIXAS, J.J. Geometria das Fotografias – Fórmulas Fundamentais. Departamento

de Engenharia Cartográfica, Recife – PE: UFPE, 1978.

TOMMASELLI, A.M.G., CHAPARRO, B. Transformações de Coordenadas. Curso de

Pós Graduação em Ciências Geodésicas, Manuscrito, Curitiba – Pr: UFPr, 1984.

Documents

Geração de Imagens de Melhor Resolução a partir de … · "GERAÇÃO DE IMAGENS DE MELHOR RESOLUÇÃO A PARTIR DE SEQÜÊNCIAS DE IMAGENS" Dissertação apresentada ao Programa