6
Super Resolution Images from Mosaics Leandro Luiz de Almeida 1,2 , Francisco Assis da Silva 1 1 Universidade do Oeste Paulista (Unoeste) Presidente Prudente-SP, Brasil {llalmeida, chico}@unoeste.br Maria Stela V. de Paiva 2 , Lúcio André de Castro Jorge 3 2 Escola de Engenharia Elétrica (EESC-USP) São Carlos-SP, Brasil [email protected] 3 Empresa Brasileira de Pesquisas Agropecuárias Embrapa – São Carlos-SP, Brasil [email protected] Abstract — In order to extract information from images, the resolution and its application must be observed. This resolution depends basically on the physical characteristics of the sensor responsible for capturing these images, i.e. the disposition of the lenses, radiometric resolution, positioning, dimensions of the same, which determines the pixel size acquired by the device, among other technical factors. The acquisition of aerial images is usually linked to a large number of images due to the extent of areas. This leads to the necessity of generating mosaics for better analysis of the area covered, since it provides a complete view of the area flown over. For further details of the region of interest is accomplished the generation of super-resolution images from a sequence acquired with overlapping, i.e. during the generation of the mosaic is possible to determine which images are used during the fusion of the blocks that compose the region to be analyzed and therefore it favors the automatic construction of images of higher resolution from the definition of an area selected as initial reference of this process. Keywords — Super Resolution Images; Image Registration; Image Mosaic I. INTRODUÇÃO O desenvolvimento de técnicas que permitem a geração de imagens de alta resolução a partir de uma sequência de imagens tem sido útil em várias aplicações, como para a identificação de placas de veículos [1] [2], identificação facial de pessoas suspeitas (criminosos, por exemplo) em imagens de circuito fechado [3], na geração de imagens aéreas de alta resolução a partir de imagens de vídeo ou câmera fotográfica, para a determinação de diagnósticos por meio de imagens médicas [4] ou até mesmo a detecção de doenças ainda em estágios iniciais. Na astronomia pode revelar novos astros ou identificá-los melhor por meio de algoritmos aplicados à essas imagens [5] [6], e também, na reconstrução de filmes antigos [7], onde se procura minimizar a quantidade de ruídos e borramentos que aparecem em cada frame projetado. Em todas as aplicações citadas, é essencial que se tenha uma visualização com maior nível de detalhes de uma ou mais áreas específicas de interesse em uma imagem, o que torna essencial a alta resolução. No entanto, imagens de alta resolução nem sempre estão disponíveis, o que motiva a investigação de técnicas de super-resolução. Super-resolução é o processo de obtenção de imagem de alta resolução a partir de uma ou mais imagens de baixa resolução. As imagens digitais, podem não apresentar uma resolução radiométrica (nitidez) e ou geométrica (tamanho) satisfatórias para a análises, seja devido a fatores naturais como excesso de luz, ou até mesmo pelas características do mecanismo que está sendo utilizado para obter essas imagens. É possível que essas imagens de má qualidade sejam reaproveitadas, ou seja, tendo- se uma sequência de imagens de má qualidade, é possível que se obtenha uma com qualidade superior às que estão sendo analisadas. O nível de brilho de cada ponto da imagem de maior nível de resolução é determinado pela fusão dos pontos correspondentes nas outras imagens, todas transformadas (retificadas). Este trabalho apresenta um algoritmo para a construção automática de imagens digitais de alta resolução a partir de mosaicos, que é uma área atual de pesquisa nos campos de fotogrametria, visão computacional, processamento digital de imagens e computação gráfica. Para a geração de imagem de alta resolução a partir de imagens aéreas que compõem uma grande cena, evidenciada em um mosaico, é empregada neste trabalho a correspondência entre as várias imagens contidas no mesmo; onde, uma dessas imagens é definida como a imagem de referência para todo processo de geração. Mosaicos de imagens podem ser utilizados nas mais diversas aplicações [8], até mesmo em imagens biológicas (principalmente para imagens microscópicas) [9], previsão meteorológica [10] e construção de grandes coleções de imagens aéreas e de satélites para controle de extensas áreas de culturas/pastagens/florestas [11]. A geração de imagens de alta resolução com base em uma sequência, necessita primeiramente, que as imagens pertencentes à cena estejam retificadas, ou seja, o registro de imagens deve ter sido realizado. O registro de imagens é o processo de sobreposição de duas ou mais imagens da mesma cena tomadas em momentos diferentes, a partir de diferentes pontos de vista, e ou por diferentes sensores. O processo geometricamente alinha duas imagens, podendo-se criar uma nova imagem com uma precisão maior e possível de ser utilizada para análises mais detalhadas, como pode ser evidenciado em vários trabalhos vinculados a essa linha de pesquisa [12]. As demais seções deste artigo estão organizadas da seguinte forma: na seção II são apresentados os trabalhos relacionados e as técnicas utilizadas, na seção III é descrita a metodologia aplicada e na seção IV encontram-se os resultados e discussões.

Super Resolution Images from Mosaics - CORE · para a geração de imagens de alta resolução de imagens de expressões faciais a partir de sequências de imagens para auxiliar na

Embed Size (px)

Citation preview

Super Resolution Images from Mosaics

Leandro Luiz de Almeida1,2, Francisco Assis da Silva1 1Universidade do Oeste Paulista (Unoeste)

Presidente Prudente-SP, Brasil {llalmeida, chico}@unoeste.br

Maria Stela V. de Paiva2, Lúcio André de Castro Jorge3 2Escola de Engenharia Elétrica (EESC-USP)

São Carlos-SP, Brasil [email protected]

3Empresa Brasileira de Pesquisas Agropecuárias Embrapa – São Carlos-SP, Brasil

[email protected]

Abstract — In order to extract information from images, the resolution and its application must be observed. This resolution depends basically on the physical characteristics of the sensor responsible for capturing these images, i.e. the disposition of the lenses, radiometric resolution, positioning, dimensions of the same, which determines the pixel size acquired by the device, among other technical factors. The acquisition of aerial images is usually linked to a large number of images due to the extent of areas. This leads to the necessity of generating mosaics for better analysis of the area covered, since it provides a complete view of the area flown over. For further details of the region of interest is accomplished the generation of super-resolution images from a sequence acquired with overlapping, i.e. during the generation of the mosaic is possible to determine which images are used during the fusion of the blocks that compose the region to be analyzed and therefore it favors the automatic construction of images of higher resolution from the definition of an area selected as initial reference of this process.

Keywords — Super Resolution Images; Image Registration; Image Mosaic

I. INTRODUÇÃO O desenvolvimento de técnicas que permitem a geração de

imagens de alta resolução a partir de uma sequência de imagens tem sido útil em várias aplicações, como para a identificação de placas de veículos [1] [2], identificação facial de pessoas suspeitas (criminosos, por exemplo) em imagens de circuito fechado [3], na geração de imagens aéreas de alta resolução a partir de imagens de vídeo ou câmera fotográfica, para a determinação de diagnósticos por meio de imagens médicas [4] ou até mesmo a detecção de doenças ainda em estágios iniciais. Na astronomia pode revelar novos astros ou identificá-los melhor por meio de algoritmos aplicados à essas imagens [5] [6], e também, na reconstrução de filmes antigos [7], onde se procura minimizar a quantidade de ruídos e borramentos que aparecem em cada frame projetado. Em todas as aplicações citadas, é essencial que se tenha uma visualização com maior nível de detalhes de uma ou mais áreas específicas de interesse em uma imagem, o que torna essencial a alta resolução. No entanto, imagens de alta resolução nem sempre estão disponíveis, o que motiva a investigação de técnicas de super-resolução. Super-resolução é o processo de obtenção de imagem de alta resolução a partir de uma ou mais imagens de baixa resolução.

As imagens digitais, podem não apresentar uma resolução radiométrica (nitidez) e ou geométrica (tamanho) satisfatórias para a análises, seja devido a fatores naturais como excesso de luz, ou até mesmo pelas características do mecanismo que está sendo utilizado para obter essas imagens. É possível que essas imagens de má qualidade sejam reaproveitadas, ou seja, tendo-se uma sequência de imagens de má qualidade, é possível que se obtenha uma com qualidade superior às que estão sendo analisadas. O nível de brilho de cada ponto da imagem de maior nível de resolução é determinado pela fusão dos pontos correspondentes nas outras imagens, todas transformadas (retificadas).

Este trabalho apresenta um algoritmo para a construção automática de imagens digitais de alta resolução a partir de mosaicos, que é uma área atual de pesquisa nos campos de fotogrametria, visão computacional, processamento digital de imagens e computação gráfica. Para a geração de imagem de alta resolução a partir de imagens aéreas que compõem uma grande cena, evidenciada em um mosaico, é empregada neste trabalho a correspondência entre as várias imagens contidas no mesmo; onde, uma dessas imagens é definida como a imagem de referência para todo processo de geração.

Mosaicos de imagens podem ser utilizados nas mais diversas aplicações [8], até mesmo em imagens biológicas (principalmente para imagens microscópicas) [9], previsão meteorológica [10] e construção de grandes coleções de imagens aéreas e de satélites para controle de extensas áreas de culturas/pastagens/florestas [11].

A geração de imagens de alta resolução com base em uma sequência, necessita primeiramente, que as imagens pertencentes à cena estejam retificadas, ou seja, o registro de imagens deve ter sido realizado. O registro de imagens é o processo de sobreposição de duas ou mais imagens da mesma cena tomadas em momentos diferentes, a partir de diferentes pontos de vista, e ou por diferentes sensores. O processo geometricamente alinha duas imagens, podendo-se criar uma nova imagem com uma precisão maior e possível de ser utilizada para análises mais detalhadas, como pode ser evidenciado em vários trabalhos vinculados a essa linha de pesquisa [12].

As demais seções deste artigo estão organizadas da seguinte forma: na seção II são apresentados os trabalhos relacionados e as técnicas utilizadas, na seção III é descrita a metodologia aplicada e na seção IV encontram-se os resultados e discussões.

II. TRABALHOS RELACIONADOS Tsai e Huang [13] foram os pioneiros na reconstrução de

imagem de alta resolução a partir de uma sequência de frames de imagens de baixa resolução, e baseando-se na translação de movimentos para resolver o problema do registro e da restauração. Alguns anos depois, Stark e Oskui [14] propuseram a reconstrução de imagens de alta resolução usando a formulação da projeção sobre conjuntos convexos (POCS – Projection Onto Convex Sets), a partir de um conjunto de imagens. Hathaway e Meyer [15], cientistas da NASA’s Marshall Space Flight (Hunstsville, AL), desenvolveram um software utilizado para melhorar a resolução de imagens com o intuito de se realizar análises. No trabalho de Baker e Kanade [16] é apresentada uma solução para a geração de imagens de alta resolução de imagens de expressões faciais a partir de sequências de imagens para auxiliar na construção do modelo 3-D da face humana. Joyeux et al. [7], utilizaram filtros passa-baixa e passa-alta, além das séries de Fourier para a reconstrução de sequências de imagens degradadas com ênfase em restauração de filmes antigos em preto e branco, removendo ruídos e borramentos encontrados nas imagens. Freeman et al. [17] utilizaram métodos Bayesianos e redes de Markov. O trabalho de Sezer [3] utilizou o método de projeção em POCS e a análise em componentes principais (PCA – Principal Component Analysis) no problema do reconhecimento de faces em imagens de vídeo. Shrestha e Arai [18] utilizaram técnicas de super-resolução para melhorar a resolução dos sinais do radar de penetração do solo GPR (Ground Penetration Radar). Willett et al. [5] implementaram um método híbrido que utiliza wavelets e métodos baseados na FFT (Fast Fourier Transform) para restaurar imagens de telescópios espaciais. Kennedy et al. [4] desenvolveram um método de super-resolução para melhorar a resolução de imagens médicas obtidas com o uso de scanners clínicos de tomografia por emissão de pósitrons (PET – Positron Emission Tomography). Papa et al. [6] apresentam uma implementação de métodos POCS na restauração de imagens do sensor CCD do satélite CBERS-2.

Diferentemente do processo que já foi adotado há alguns anos para realizar o registro de imagens de forma manual ou de forma controlada, nos tempos atuais são adotadas diversas técnicas para a realização desse processo de forma automática. A busca por uma melhor qualidade no processo de registro de imagens, e com isso alcançar melhores resultados na reconstrução de imagens, fez surgir diversos trabalhos nesse sentido. Alguns desses trabalhos utilizam o algoritmo SIFT [19] como etapa na localização dos pontos chave que são combinados entre as imagens. O trabalho de Tang et al. [9] é destinado ao registro automático em imagens médicas de sequências microscópicas. Os autores propuseram um algoritmo que reduz a complexidade e as dimensões dos descritores SIFT [19], e utilizaram um algoritmo de correspondência bidirecional para eliminar pontos correspondentes repetidos e o algoritmo RANSAC [20] para remover falsas correspondências. O trabalho de Nasir et al. [21] trata o problema de gerar imagens de alta resolução a partir de imagens de baixa resolução em três passos: registro da imagem, fusão da imagem baseada em SVD (Singular Value

Decomposition) e interpolação. Os autores personalizaram uma técnica para registro de imagem usando os algoritmos SIFT [19], Belief Propagation e RANSAC [20].

A. Técnicas Utilizadas para o Registro de Imagens Automatizado Uma fase inicial para a geração de imagens, empregada

neste trabalho, efetua a correspondência entre várias imagens; uma dessas imagens é definida como a imagem de referência a todo processo. A correspondência foi o processo adotado para se realizar o registro de duas imagens, e para isso é preciso identificar a região de sobreposição entre elas, o que é feito encontrando pontos comuns. A realização dessa tarefa de modo totalmente automático é uma tarefa complexa, que tem gerado uma série de pesquisas. A dificuldade inicial é encontrar pontos chave na primeira imagem, que podem ser localizados na segunda imagem. Uma abordagem possível [22] [23] [24] e também utilizada neste trabalho, aplica o algoritmo SIFT [19] para encontrar pontos de interesse nas duas imagens e, em seguida, usa o algoritmo RANSAC [20] para eliminar pontos incompatíveis.

B. Algoritmo SIFT O algoritmo SIFT (Scale Invariant Feature Transform)

consiste em um método muito eficiente para identificar e descrever pontos chave uma imagem, o que é feito através de um mapeamento com diferentes vistas de um objeto ou cena, resultando em um vetor com 128 valores que descrevem cada ponto chave da imagem. As seguintes etapas o descrevem:

Detecção de extremos no espaço-escala: Os pontos chave são detectados aplicando um filtro em cascata que identifica os candidatos, que são invariantes à escala, usando uma função que procura por descritores estáveis ao longo de direrentes escalas. O espaço-escala é definido com a função L(x,y,) na Equação 1, com uma imagem de entrada I(x,y) [25].

L(x,y,) = G(x,y,) * I(x,y) (1) onde * é a convolução em x e y com a Gaussiana G(x,y,) na Equação 2.

222 2/)(22

1),,(

yxeyxG (2)

Para detectar a localização de pontos chave estáveis no espaço-escala, Lowe [26] propôs o uso da função de diferença Gaussiana (DoG) no espaço-escala convoluída com a imagem I(x,y), resultando em D(x,y,), a qual pode ser calculada a partir de duas escalas próximas separadas por um fator multiplicativo constante k, como na Equação 3.

D(x,y,) = (G(x,y,k) – G(x,y,)) * I(x,y) (3) O DoG é uma aproximação da escala normalizadas do

Laplaciano da Gaussiana 22G [26]. O máximo e o mínimo de 22G produz os descritores de imagem mais estáveis.

Detecção de extremos locais: A partir de D(x,y,), Lowe [19] sugere que os máximos e mínimos locais devem ser detectados pela comparação de cada pixel com os seus oito vizinhos na imagem corrente e nove vizinhos nas escalas superior e inferior (26 vizinhos). SIFT garante que os pontos

chave são localizados nas regiões e escalas de variações elevadas, o que torna estes locais estáveis para caracterizar a imagem.

Atribuição de orientação: A escala do ponto chave é usada para selecionar a imagem suavizada pela Gaussiana L, com a escala mais próxima, de modo que toda a computação seja realizada de modo invariante à escala. O gradiente de magnitude m(x,y) é computado com a Equação 4.

22),( yxyxm (4)

onde x = L(x+1, y) L(x1, y) e y = L(x, y+1) L(x, y1). A orientação (x,y) é calculada pela Equação 5.

)/arctan(),( xyyx (5)

Descrição dos pontos chave: Calcular um descritor para cada região da imagem local que é distinta e invariante a variações adicionais, tais como mudanças na iluminação ou ponto de vista 3D. Em [19] é sugerido que a melhor abordagem é determinar as magnitudes e direções dos gradientes ao redor do local ponto chave. Nesta abordagem, a imagem Gaussian na escala do ponto chave é usada.

C. Matching entre duas Imagens Para encontrar a correspondência entre duas imagens, é

possível utilizar os pontos chave detectados com o algoritmo SIFT. Em [19] é provado que a melhor correspondência para cada ponto-chave é encontrada através da identificação de seu vizinho mais próximo, que é definida minimizando a distância Euclidiana para os vetores de características.

Para evitar uma busca exaustiva, em [19] é sugerido o uso de uma estrutura de dados k-d tree, que suporta uma busca binária equilibrada para encontrar o vizinho mais próximo das características e do algoritmo heurística Best-Bin-First (BBF) é utilizado para a pesquisa.

D. RANSAC O algoritmo RANSAC (RANdom SAmple Consensus)

proposto por Fischler e Bolles [20] é um método de estimação robusto projetado para extração dos inliers1 e outliers2 do conjunto de pontos chave detectados pelo algoritmo SIFT. RANSAC é amplamente usado para o reconhecimento de objetos [27], além disso, ele torna possível encontrar as correspondências geometricamente consistentes para resolver o problema de junção de pares de imagens. RANSAC é um estimador robusto, tanto que ele mostra bons resultados, mesmo em condições extremas, ou com algum tipo de outlier.

Como mencionado por Fischler e Bolles [20], ao contrário das técnicas convencionais que utilizam uma grande quantidade de dados para se obter uma solução inicial, e em seguida eliminar os outliers, RANSAC usa apenas um conjunto com um número mínimo de pontos, necessário e

1 inliers: pontos de dados que se ajustam com um determinado modelo

desejado dentro de uma certa tolerância de erro. 2 outliers: pontos de dados que não se ajustam ao modelo correspondente ao

objeto desejado, estão fora de uma certa tolerância de erro.

suficiente, para uma primeira estimativa e continua o processo, aumentando o conjunto de pontos de dados consistentes.

RANSAC calcula o melhor ajuste das correspondências dos descritores SIFT previamente extraídos de duas imagens. Para o problema específico de remoção de outliers para realizar a correspondência de duas imagens, a matriz homográfica M pode ser calculada, em poucas palavras, como segue:

Selecionar um subconjunto aleatório de quatro pontos correspondentes removidos do conjunto total de pontos chave correspondente entre duas imagens (obtidos pelo algoritmo SIFT);

Para cada matriz M calculada, determinar o número de pontos com a distância à linha epipolar ou residual, menor do que um limiar;

Selecione a matriz M, que tem o maior número de pontos com o menor residual que o conjunto máximo definido;

Re-calcule a matriz M considerando todos inliers.

III. METODOLOGIA Nesta seção é descrita a metodologia utilizada no trabalho

para se realizar a geração de imagens de super-resolução a partir de sequências de imagens que formam um mosaico ou que possibilitam a formação de imagens panorâmicas. A implementação dessa metodologia favoreceu o processo de validação dos elementos utilizados para a obtenção da imagem em questão. São descritas quatro etapas importantes para aplicação do processo:

a) Coleta das Imagens: As imagens foram coletadas com o uso de câmeras digitais;

b) Registro e Retificação: Foi utilizado o SIFT para determinação dos pontos correspondentes entre as imagens. Após os parâmetros terem sido determinados, fez-se simultaneamente, a retificação e reamostragem das imagens que pertencem à sequência em relação à imagem de referência. Com base nos parâmetros que possibilitaram o registro das imagens (detectados e extraídos pelo SIFT, e selecionados pelo RANSAC), determinou-se à correspondência entre as imagens de interesse. Como as coordenadas projetadas entre as imagens estão em frações do pixel, há a necessidade de uma interpolação entre os vizinhos para a determinação do nível de brilho relativo ao que se deseja determinar na imagem de super-resolução com base em elementos reais e não apenas um aumento calculado na resolução.

c) Fusão: a etapa de geração do mosaico é realizada a partir da fusão dos pixels correspondentes nas imagens retificadas que pertençam à cena em relação a imagem de referência. Paralelamente a esse processo, foi necessária a construção de estruturas de dados baseadas em listas dinâmicas que se unem formando um modelo similar a uma matriz esparsa. Esse processo resultou no rótulo de cada ponto do mosaico à imagem original da qual o mesmo pertence, para que a geração de uma imagem de

maior resolução com base na sequência original fosse obtida. A implementação realizada permite que estas estruturas de dados sejam expandidas em qualquer direção, deslocando os dados originais e seus índices conforme a inserção necessitar.

d) Super-resolução: a última etapa é obtida pela seleção da área de interesse no mosaico gerado e a partir desse momento uma imagem de super-resolução é gerada com base nos dados vinculados às imagens que pertecem a área desejada. O processo é detalhado durante os experimentos.

IV. RESULTADOS E DISCUSSÕES Esta seção apresenta os experimentos realizados e

validados pela ferramenta com base na metodologia proposta. O sistema implementado foi testado com dados simulados e com dados reais. Foram realizados vários experimentos com

imagens coloridas no decorrer do trabalho, para verificar a melhor sequência durante a aplicação dos métodos com o intuito de se estabelecer uma imagem com a melhor resolução ou super-resolução a partir de sequências de imagens que formam um mosaico de imagens adquiridas, com o intuito de extrair informações detalhadas da região estabelecida. Nas seções A e B são apresentados alguns experimentos que demonstram a eficiência do processo.

A. Experimento 1 – Sequência de Imagens Aéreas Urbana O conjunto de imagens aéreas (300x300 pixels) utilizado é

referente a imagens urbanas com sobreposição, possibilitando assim a construção do mosaico dessas imagens para posterior seleção de uma parte da mesma com o intuito de gerar imagens de melhor resolução a partir da região escolhida. A Fig. 1 mostra o conjunto de imagens analisadas.

Fig. 1. Sequência de imagens urbanas.

A Fig. 2 apresenta o mosaico gerado que também possui uma estrutura de armazenamento dos pontos de sobreposição das imagens que compõem o mosaico.

A Fig. 3 mostra a imagem de super-resolução com o dobro de tamanho da parte selecionada a partir do mosaico e gerada com base em dados reais da imagens que compõem essa área no mosaico. A Fig. 4(a) mostra de maneira extrapolada a resolução radiométrica das imagens originais utilizadas para a geração do mosaico, enquanto que a Fig. 4(b) mostra a resolução extrapolada da imagem de super-resolução obtida. Evidencia-se que o serrilhado existente em 4(b) foi atenuado em virtude da utilização de dados reais de sobreposição existentes comprovando a eficiência do método proposto.

Fig. 2. Imagem do mosaico gerado a partir do conjunto de imagens da Fig. 1.

Fig. 3. Imagem selecionada e extraída após a seleção do trecho escolhido.

Fig. 4. Porções extrapoladas a partir das figuras 2 e 3, respectivamente (a) e (b).

B. Experimento 2 – Sequência de Imagens Aéreas Geral O conjunto de imagens aéreas evidenciado na Fig. 5, é

referente a sequência que envolve área rural e urbana com sobreposição, o que possibilita a construção do mosaico e, consequentemente, a geração de imagens de maior resolução a partir dos dados reais que compõem as imagens da sequência.

A Fig. 6 mostra o mosaico a partir da Fig. 5. E após selecionar uma porção do mosaico com o mouse tem-se a imagem mostrada na Fig. 7. A imagem de super-resolução gerada a partir da imagem de referência vinculada a Fig. 7 é mostrada na Fig. 8, onde os elementos a serem analisados podem ser melhor visualizados, pois há o aumento da resolução geométrica e da resolução radiométrica utilizando-se de dados reais pertencentes a sequência das imagens adquiridas e não apenas uma ampliação calculada.

Fig. 5. Sequência de imagens aéreas para geração do mosaico.

Os resultados apresentados foram significativos, mostrando a relevância do trabalho na geração de imagens de super-resolução com a geração de mosaicos, pois é necessário o conhecimento de quais imagens possuem dados que estão vinculados a área do mosaico que está sendo analisada para

que haja descritores ideais para que o matching tenha resultado satisfatório. Mesmo porque as imagens geradas apresentam grande melhoria no que diz respeito a restauração das mesmas para futura análise de alvos de interesse sem ter o retrabalho de adquirir novas imagens e com resolução maior.

Fig. 6. Mosaico obtido pelas imagens contidas na Fig. 5.

Fig. 8. Imagem de Super-resolução gerada a partir da seleção conforme Fig. 7.

REFERÊNCIAS [1] J. Yuan, S. Du, X. Zhu, “Fast super-resolution for license plate image

reconstruction”, 19th Int Conf on Pattern Recog (ICPR), 2008, pp. 1-4. [2] Y. Tian, K.-H. Yap, and Y. He, “Vehicle license plate super-resolution

using soft learning prior”, Multimedia Tools and Applic, pp. 1-17, 2011. [3] O.G. Sezer, “Super-resolution techniques for face recogni-tion from

video”, Thesis, Sabanci University, Istanbul, Turkiye, 62p. 2003. [4] J.A. Kennedy, O. Israel, A. Frenkel, R. Bar-Shalom, H. Az-hari, “Super-

resolution in PET imaging”, IEEE Trans Medical Img, pp.137-147,2006. [5] R. Willett, I. Jermyn, R. Nowak, J. Zerubia, “Wavelet-based

superresolution in astronomy”. In: XIII Astronomical Data Analysis Software and Systems, vol. 314, 2004.

[6] J.P. Papa, N.D.A. Mascarenhas, L.M.G. Fonseca, K. Bensebaa, “Convex restriction sets for CBERS-2 satellite image restoration”. Int. J. Remote Sensing, pp.443-458, 2008.

[7] L. Joyeux, et al. Reconstruction of degraded image sequences. Application to film restoration. Image and Vision Computing. n. 19, France, 2001, pp. 503-516.

[8] M. Irani, P. Anandan, S. Hsu, “Mosaic based representations of video sequences and their applications”, Proc. of Fifth Int Conf on Computer Vision (ICCV'95), 1995.

[9] C. Tang, Y. Dong, X”. Su, “Automatic registration based on improved SIFT for medical microscopic sequence images. In: 2nd Int Symp on Intell Inf Technology Application. IITA '08. vol. 1. 2008, pp. 580-583.

[10] C. Xing, J. Huang, “An improved mosaic method based on SIFT algorithm for UAV sequence images”, IEEE Int Conf on Computer Design and Applications (ICCDA), p. 414-417, 2010.

[11] J. Liu, Z. Chen, R. Guo, “A Mosaic Method for Aerial Image Sequence by R/C Model”, Int Conf on Computer Science and Software Engineering – IEEE, 2008.

[12] L. Li, N. Geng, “Algorithm for Sequence Image Automatic Mosaic based on SIFT Feature” IEEE – International Confer-ence on Information Engineering. pp. 203 -206, 2010.

[13] R.Y. Tsai, T.S Huang, “Multiframe image restoration and registration”, Advances in Computer Vision and Image Processing. pp. 317–339 1984.

[14] H. Stark, P. Oksui, “High-resolution imge recovery from image-plane arrays using convex projections” J. Optical Society of America, vol.6, n. 11, pp. 1715–1726, 1989.

[15] D. Hathaway, P. Meyer, “NASA: Video Enhancer For Law Enforcement & More” Adv Imaging: Sol for the Electronic Imaging Prof, 1999.

[16] S. Baker, T. Kanade, “Super-Resolution Optical Flow”, CMU-RI-TR-99-36, 1999.

[17] W.T. Freeman, T.R. Jones, E.C. Paztor, “Example-based super-resolution”, MERL (2001).

[18] M.S. Shrestha, I. Arai, “Signal Processing of Ground Penetrating Radas Using Spectral Estimation Techniques to Estimate the Position of Buried Target”, EURASIP Journal Applied Signal Proc. pp. 1198-1209, 2003.

[19] D.G. Lowe, “Distinctive image features from scale-invariant keypoints”. Int Journal of Computer Vision, Vol. 60, No. 2, pp. 91–110, 2004.

[20] M.A. Fischler, R.C. Bolles, “Random Sample Con-sensus: A Paradigm for Model Fitting with Applications to Im-age Analysis and Automated Cartography”, Comm. of the ACM, Vol 24, pp. 381–395, 1981.

[21] H. Nasir, V. Stankovic, S. Marshall, “Singular value decomposi-tion based fusion for super-resolution image reconstruction”, Int Conf on Signal and Image Proc Applications (ICSIPA), 2011 IEEE, pp. 393-398.

[22] Z. Dakun, L. Zhaoxin, J. Guiyuan, “A feature-based al-gorithm for image mosaics with moving objects, IEEE Int Conf on Intelligent Computing and Int Systems (ICIS), p. 26-29, 2010.

[23] P.V. Lukashevich, B.A. Zalesky, S.V. Ablameyko, “Medical Image Registration Based on SURF Detector” Pattern Recognition and Image Analysis, v. 21, n. 3, p. 519–521, 2011.

[24] X. Fang, B. Luo, H. Zhao, J. Tang, S. Zhai, “New multi-resolution image stitching with local and global alignment”, IET Computer Vision, vol. 4, n. 4, p. 231-246, 2010.

[25] T. Lindeberg, “Scale-space theory: A basic tool for ana-lyzing structures at different scales”, Journal of Applied Statistics, 21:224 270, 1994.

[26] D.G. Lowe, “Object recognition from local scale-invariant features”. In: Int Conf on Computer Vision, Corfu, Greece, pp. 1150–1157, 1999.

[27] A. Collet, D. Berenson, S.S. Srinivasa, D. Ferguson, “Object recognition and full pose registration from a single image for robotic manipulation”, In: IEEE Int Conf Robotics and Automation, ICRA'09, pp. 48–55, 2009.

Fig. 7: Região selecionada na Fig. 6 para geração da imagem de super-resolução.