Avaliação de Interpoladores para Super-Resolução de Vídeos

Ana Carolina Correia Rézio Hélio Pedrini

Instituto de Computação - Universidade Estadual de Campinas

Campinas, SP, Brasil, 13084-971

Resumo

Atualmente, há uma crescente demanda por imagens de

alta resolução em diversos domínios de conhecimento, como

sensoriamento remoto, medicina, automação industrial, mi-

croscopia, entre outras. Imagens de alta resolução forne-

cem detalhes que são importantes para as tarefas de aná-

lise e visualização dos dados presentes nas imagens. Entre-

tanto, devido ainda ao custo elevado dos sensores de alta

precisão e às limitações existentes para redução do tama-

nho dos pixels das imagens encontradas no próprio sensor,

as imagens de alta resolução têm sido adquiridas a partir

de métodos de super-resolução. Alguns métodos de super-

resolução utilizam técnicas de reamostragem. Este trabalho

apresenta uma análise comparativa entre diferentes interpo-

ladores para super-resolução de vídeos a partir de avaliação

qualitativa e quantitativa.

1. Introdução

Em muitas aplicações, a análise de imagens realizada em

várias áreas tem associado um problema em comum. Algu-

mas imagens sofrem um processo de degradação de sua qua-

lidade (imagens em baixa resolução) devido a alguns fatores

como aberrações das lentes, focalização incorreta, desloca-

mento do sensor durante a aquisição, deslocamento do ob-

jeto, deficiência ou excesso de iluminação [4]. Estes fatores

dificultam a segmentação de regiões e a visualização precisa

de detalhes presentes nas imagens. Em algumas aplicações,

envolvendo principalmente as áreas de monitoramento, me-

dicina, geologia e astronomia, o uso de imagens de alta reso-

lução espacial é imprescindível [13].

Algumas técnicas possibilitam aumentar a resolução es-

pacial de um sistema de imagem, as quais recebem o nome

de super-resolução (SR). Atualmente, a SR é um tópico de

pesquisa de interesse crescente nas áreas de visão computa-

cional, análise e processamento de imagens e sensoriamente

remoto. Ela permite superar as limitações inerentes aos sis-

temas de imagem no que se refere à resolução espacial e au-

mentar o desempenho de inúmeras aplicações de processa-

mento digital de imagens. Seu objetivo é melhorar a resolu-

ção espacial e, com isso, não apenas deixar uma visão mais

agradável ao observador, mas também melhorar a precisão

na análise e na interpretação das imagens, preservando as in-

formações originais sem acrescentar artefatos à imagem re-

sultante [3].

A SR normalmente utiliza um conjunto de observações de

imagens em baixa resolução ou de quadros numa sequência

de vídeo para gerar uma ou várias imagens em alta resolu-

ção. As técnicas de SR para uma única imagem são baseadas

na utilização de informação sobre o comportamento espacial

das imagens de alta resolução. Conforme Schultz e Steven-

son [10], essas técnicas, muitas vezes conhecidas como me-

lhoramento ou realce de imagens, utilizam modelos para pro-

dução de imagens de objetos com bordas bem nítidas.

As técnicas de SR que utilizam um conjunto de imagens

para recuperar detalhes das imagens em alta resolução as-

sumem que as imagens capturadas de baixa resolução (LR,

do inglês Low Resolution) têm grande similaridade entre si.

As informações que as diferenciam são mínimas, o que pos-

sibilita gerar nova informação para a recuperação dos deta-

lhes da imagem em alta resolução (HR, do inglês High Re-

solution) [7, 18]. Entretanto, a utilização de uma sequência

de imagens com movimento pode trazer algumas dificulda-

des. Isto ocorre devido aos erros que podem ser gerados na

estimativa de movimento ou aos objetos que aparecem em

uma imagem e desaparecem em outras. Nesses casos, para

que se possa aproveitar a informação do movimento de sub-

pixel, é necessário que o algoritmo utilizado para a super-

resolução seja robusto aos erros gerados na representação do

movimento [18].

Em muitas aplicações, sequências de imagens são de

baixa qualidade devido à falta de precisão de alguns senso-

res e às limitações existentes para redução do tamanho do pi-

xel causadas pelos ruídos inerentes ao próprio sensor. Além

disso, podem existir manchas (regiões de borramento) de

movimento que introduzem degradação significativa na ima-

gem [1]. Essas imagens de baixa qualidade dificultam o pro-

cesso de análise.

Em câmeras de vigilância utilizadas em ciência forense,

por exemplo, as imagens utilizadas para identificar crimino-

sos podem ter sido capturadas com baixa qualidade, o que

04-07 de Julho - FCT/UNESP - P. Prudente VI Workshop de Visão Computacional

126

dificulta o processo de interpretação das imagens. Com isso,

torna-se necessário o desenvolvimento de técnicas para au-

mentar a nitidez dos detalhes na imagem. Na medicina, al-

gumas imagens utilizadas para diagnosticar um paciente po-

dem apresentar ruídos ou regiões de borramento que dificul-

tam a realização de um diagnóstico preciso.

Este trabalho apresenta uma análise comparativa entre di-

ferentes métodos de interpolação para super-resolução de ví-

deos baseada na projeção em conjuntos convexos (POCS, do

inglês Projection Onto Convex Sets) [11, 12, 13]. A interpo-

lação é utilizada para produzir a grade de alta resolução no

algoritmo POCS. Amostras de vídeo são avaliadas qualita-

tiva e quantitativamente.

O texto está organizado como segue. A seção 2 descreve

trabalhos relacionados ao problema de super-resolução em

imagens e vídeos. A seção 3 apresenta a metodologia pro-

posta neste trabalho. Resultados experimentais são descritos

na seção 4 e as conclusões do trabalho são apresentadas na

seção 5.

2. Trabalhos Relacionados

A seguir são apresentados os resumos de algumas técni-

cas utilizadas em trabalhos relacionados à super-resolução.

Estes trabalhos foram classificados em métodos de super-

resolução aplicados em imagens e super-resolução aplicados

em vídeos.

2.1. Super-resolução em imagens

As implementações apresentadas em [18] são baseadas no

método de otimização do Gradiente Conjugado (GC) Não-

Linear, um método significativamente mais rápido do que o

método de Gradiente Descendente utilizado na maioria dos

trabalhos. A proposta foi implementada para três situações

distintas, nas quais duas delas são aplicadas em imagens:

• super-resolução de única imagem: algoritmos que utili-

zam uma única imagem em baixa resolução para pro-

duzir uma imagem em alta resolução. Com esta aborda-

gem, a imagem pode ser ampliada e as distorções cau-

sadas pela aquisição podem ser reduzidas, gerando uma

imagem com qualidade maior do que a imagem gerada

pela simples interpolação;

• super-resolução tradicional robusta: algoritmos, como

os apresentados em [7], que utilizam as informações

provenientes de várias imagens de uma mesma região

em baixa resolução para recuperar os detalhes e produ-

zir uma imagem em alta resolução.

Almeida e Tommaselli [4] utilizam uma sequência de ima-

gens da cena para melhorar a resolução de uma imagem. As

imagens são registradas para então serem retificadas em re-

lação a uma imagem de referência. Após a retificação, todas

as imagens reamostradas da sequência estão em um mesmo

sistema de coordenadas e resolução espacial aumentada, en-

tão executa-se o processo de fusão, gerando uma única ima-

gem. Este processo pode ser realizado por várias abordagens,

como o método da média aritmética entre os níveis de bri-

lho dos pixels e o método de minimização dos erros, a partir

de uma imagem de alta resolução inicial aproximada. Com

base nos resultados, observa-se que o método de minimiza-

ção de erros gera uma sensível suavização nas regiões de alta

frequência, como as bordas.

O algoritmo de super-resolução apresentado em [9]

baseia-se em amostras de treinamento para estimar deta-

lhes em altas frequências nas imagens reamostradas. Este

algoritmo é uma adaptação do método proposto por Free-

man et al. [6] para operar com a componente de luminância

Y do espaço de cores YUV e estimar as altas frequên-

cias perdidas no processo de reamostragem das imagens.

Os resultados são comparados com a abordagem que uti-

liza o espaço de cores RGB. O algoritmo proposto apre-

sentou vantagens devido à redução da dimensionalidade do

conjunto de amostras de treinamento, consequentemente, di-

minuindo o tempo computacional da aplicação.

O método de super-resolução utilizado em [13] é baseado

no método das projeções em conjuntos convexos (POCS),

modificado para utilizar um interpolador sinc, ao invés dos

interpoladores tradicionalmente utilizados, tais como vizinho

mais próximo, bilinear e convolução cúbica. A interpolação

sinc é utilizada para produzir a grade de alta resolução no al-

goritmo POCS. Este método utiliza a imagem de baixa reso-

lução para produzir, através de deslocamentos subpixels nas

linhas e colunas, uma outra imagem. O deslocamento tem

como objetivo minimizar os efeitos de aliasing e possibili-

tar a recuperação de novas informações para a imagem de

alta resolução. O método proposto apresenta adequada super-

resolução das imagens preservando a informação na maior

parte dos casos.

O método proposto em [2] aborda o problema de super-

resolução de uma única imagem. Dada uma imagem de baixa

resolução como entrada, o método a recupera em alta re-

solução usando um conjunto de modelos de treinamento.

Essa formulação assemelha-se a outros métodos baseados em

aprendizagem, no entanto, o método apresentado foi inspi-

rado no LLE (do inglês Locally Linear Embedding).

Patti e Altunbasak [7] propõem dois tipos de melhorias

nos métodos de reconstrução por super-resolução baseados

no POCS. Primeiro, a discretização do modelo de formação

de imagens contínuas é melhorada para explicitamente per-

mitir o uso de métodos de interpolação de alta ordem. Se-

gundo, os conjuntos de restrição são modificados para redu-

zir a quantidade de bordas presentes na imagem de alta reso-

lução estimada.

04-07 de Julho - FCT/UNESP - P. Prudente VI Workshop de Visão Computacional

127

2.2. Super-resolução em vídeos

Além das duas situações em que foi aplicado o método

baseado na otimização de Gradiente Conjugado (GC) Não-

Linear, proposto em [18] e descrito na seção 2.1, há uma im-

plementação para super-resolução em vídeos, em que toda

a sequência de imagens é utilizada para gerar outra sequên-

cia com resolução superior.

Silva [3] apresenta uma técnica de super-resolução não-

Bayesiana, inspirada em Freeman et al. [6], que utiliza

quadros-chaves em sequências de vídeo de resolução mista.

Na resolução mista, alguns quadros, chamados quadros-

chaves, possuem resolução normal e os outros possuem re-

solução reduzida e precisam ser super-resolvidos. Na técnica

descrita, a informação apresentada nos quadros-chaves é pro-

cessada para super-resolver os quadros não-chaves que foram

previamente subamostrados, desconsiderando treinamentos,

distribuições de probabilidade e envio de informações adici-

onais do codificador ao decodificador.

Elad e Feuer [5] apresentam o problema de reconstrução

de sequência de imagens de super-resolução a partir de uma

sequência de baixa resolução. Dois algoritmos iterativos são

apresentados como proposta para a solução deste problema,

o R-SD (Steepest Descent) e o R-LMS (Least Mean Squa-

res). Estes algoritmos assumem que as manchas (ou regiões

de borramento), a baixa resolução digital, a sequência de mo-

vimentos e os ruídos característicos são conhecidos.

Devido à baixa qualidade e à degradação significativa das

imagens, um desafio interessante é fundir muitas imagens em

uma de alta qualidade. Este foi o método proposto por Bascle

et al. [1]. Primeiro, um objeto de interesse é rastreado atra-

vés da sequência de imagens. Depois, a degradação das ima-

gens é modelada em termo de pixels amostrados, manchas de

desfoco (ou regiões de borramento) e de movimento. A mag-

nitude e a direção das regiões de movimento são estimadas

pelo monitoramento dos deslocamentos. Finalmente, a ima-

gem em alta resolução sem mancha é reconstruída.

Schultz e Stevenson [10] descrevem uma técnica para usar

informações temporais e espaciais em uma sequência de ima-

gens para criar um quadro único de vídeo de alta resolução.

A abordagem propõe um modelo de observação com base na

subamostragem de movimento compensado.

3. Método de Super-Resolução

A super-resolução tem como objetivo obter uma imagem

de melhor resolução espacial a partir de uma ou mais ima-

gens de menor resolução espacial. O método apresentado

neste artigo é baseado no algoritmo de projeções de con-

juntos convexos (POCS) [11, 12]. POCS é um método ite-

rativo que restringe a solução a conjuntos convexos fecha-

dos. O método é relativamente simples e utiliza modelo de

observação no domínio espacial. Deslocamentos efetuados

nas linhas e colunas da imagem original permitem a reamos-

tragem ou interpolação de pontos na nova grade criada. Há

vários métodos de interpolação disponíveis na literatura [8],

podendo-se destacar a interpolação pelo vizinho mais pró-

ximo, bilinear, bicúbica, spline e sinc.

O objetivo deste trabalho é realizar uma análise compa-

rativa entre diferentes métodos de interpolação, analisando-

se o impacto desses métodos no resultado final do algoritmo

POCS. A grade de alta resolução neste algoritmo é produ-

zida a partir dos interpoladores adotados.

O interpolador pelo vizinho mais próximo apresenta um

bom desempenho quanto à preservação do contraste e asse-

gura que o valor reamostrado seja um dos valores originais.

Este é um método simples e computacionalmente rápido em

relação aos outros métodos. Sua desvantagem consiste em

gerar distorções em detalhes finos e o efeito de serrilhado em

bordas retas da imagem.

O interpolador bilinear utiliza uma média ponderada de

distância dos quatro pixels vizinhos mais próximos para de-

terminar a intensidade do valor de cada pixel na imagem re-

sultante. Esta imagem apresenta suavização nas bordas e dis-

torção de fase, o que caracteriza um efeito de borramento.

As interpolações bicúbica e spline apresentam um número

de vizinhos maior do que o número de vizinhos da interpola-

ção bilinear a fim de obter uma estimativa mais suave do ní-

vel de cinza. A imagem resultante apresenta suavização das

bordas não tão acentuada, minimização da distorção das bor-

das retas e preservação dos detalhes finos da imagem.

A interpolação sinc é um método acurado para representar

sinais com um decaimento monotônico do espectro de suas

amostras [17]. Nele, um sinal contínuo a(x) é restaurado a

partir de suas amostras an que são tomadas com um intervalo

de amostragem ∆x pela interpolação com a função sinc.

3.1. Medidas para avaliação

Embora não exista um padrão definido para medidas de

qualidade em processamento de imagens, algumas métri-

cas podem ser empregadas na avaliação dos experimentos,

sendo divididas em objetivas e subjetivas. Para que seja pos-

sível realizar a avaliação da qualidade, utiliza-se uma ima-

gem de referência. No entanto, não existe uma imagem LR

do mesmo sensor com a mesma resolução espacial da ima-

gem HR no correspondente intervalo espectral da imagem

LR. Para realizar a avaliação, a imagem HR obtida no pro-

cesso de super-resolução por um interpolador específico é

comparada com a imagem LR reamostrada pelo mesmo in-

terpolador utilizado nesse processo. A comparação entre es-

sas duas imagens permitirá avaliar o impacto do interpolador

no resultado da super-resolução.

A avaliação visual da qualidade apresenta um caráter sub-

jetivo e permite analisar o resultado geral em relação à pre-

04-07 de Julho - FCT/UNESP - P. Prudente VI Workshop de Visão Computacional

128

servação das bordas e da informação espectral da imagem SR

em relação à LR.

A avaliação quantitativa é realizada a partir das seguin-

tes medidas estatísticas: coeficiente de correlação (CC), des-

vio médio (DM), diferença da variância (DV), desvio padrão

da imagem diferença (SDD), índice de medida universal da

qualidade (IQI), raiz do erro médio quadrático (RMSE) e ín-

dice de similaridade estrutural (SSIM).

3.1.1. Coeficiente de Correlação. O coeficiente de corre-

lação (CC) mensura a relação de dependência estatística en-

tre duas variáveis. Ele também tem como característica mos-

trar o grau de similaridade das pequenas estruturas na ima-

gem. Os valores do coeficiente situam-se no intervalo [-1:1]

e é definido como

CC =CLR HR

σLRσHR

(1)

em que σLR e σHR são os valores de desvio padrão das ima-

gens LR e HR, respectivamente. O valor CLR HR é a covari-

ância entre as imagens LR e HR, tal que seu valor é determi-

nado pela equação

σLR HR =1

MN

M−1∑

x=0

N−1∑

y=0

(HR(x, y) − µHR) .

(LR(x, y) − µLR)

(2)

em que µLR é a média da imagem LR e µHR é a média da

imagem HR; N e M são as dimensões das imagens; LR(x,y)

e HR(x,y) são valores para os pixels das imagens LR e HR,

respectivamente, na coordenada (x, y).A análise de correlação entre as imagens é um critério que

será utilizado para estimar a qualidade da informação espec-

tral da imagem de alta resolução HR em relação à da imagem

de baixa resolução LR. O valor ideal é 1.

3.1.2. Desvio Médio. O desvio médio (DM) corresponde à

diferença entre as médias das imagens LR e HR, expresso

como

DM =µLR − µHR

µLR

(3)

em que µLR é a média da imagem LR e µHR é a média da

imagem HR. O valor ideal é zero.

3.1.3. Diferença da Variância. A diferença da variância

(DV), expressa na equação 4, corresponde à relação entre va-

riâncias das imagens LR e HR. Ela indica a quantidade de in-

formação adicionada ou perdida durante o cálculo da super-

resolução (SR). Um valor positivo indica perda de informa-

ção e um valor negativo indica que alguma informação foi

adicionada. Na SR, seu valor ideal corresponde a um valor

negativo próximo de zero.

DV =σ2

LR − σ2

HR

σ2

LR

(4)

em que σ2

LR e σ2

R são as variâncias das imagens LR e HR, res-

pectivamente.

3.1.4. Desvio Padrão da Imagem Diferença. O desvio pa-

drão da imagem diferença (SDD), dada pela equação 5, é a

relação entre a diferença dos valores de desvio padrão das

imagens LR e HR e a média da imagem LR. Segundo [14],

a medida indica o nível de erro nos pixels da imagem resul-

tante. Seu valor ideal é zero.

SDD =σLR − σHR

µLR

(5)

3.1.5. Índice de Medida Universal da Qualidade. O ín-

dice de medida universal da qualidade (IQI), proposto por

Wang e Bovik [15], leva em conta três fatores, perda de cor-

relação, distorção de luminância e distorção de contraste. O

IQI é definido como

IQI =σLR HR

σLRσHR

.2µLRµHR

(µLR)2 + (µLR)2.2σLRσHR

σ2

LRσ2

HR

(6)

em que σLR HR é a covariância das imagens LR e HR.

3.1.6. Raiz do Erro Médio Quadrático. A raiz do erro

médio quadrático (RMSE) indica o grau de similaridade en-

tre as imagens LR e HR, dada pela raiz quadrada da soma

do quadrado das diferenças de cada ponto das imagens LR e

HR. O valor ideal é zero. O RMSE pode ser definido como

RMSE =√

DM2 + SDD2 (7)

3.1.7. Índice de Similaridade Estrutural. O índice de si-

milaridade estrutural (SSIM), proposto por [16], indica a si-

milaridade entre duas imagens. Este método leva em conta a

imagem de referência com a qual a imagem resultante será

comparada. O SSIM mede a qualidade comparando-se as

correlações locais em luminância, contraste e estrutura entre

a imagem de referência e a imagem a ser avaliada. O SSIM é

dado por

SSIM = l(x, y) c(x, y) s(x, y) =(2µLRµHR + C1)

(µ2

LR + µ2

HR + C1)(2σLRσHR + C2)

(σ2

LR + σ2

HR + C2)

(σLR HR + C3)

(σLRσHR + C3)

(8)

em que l(x, y) é a luminância local da imagem, c(x, y) é o

contraste, s(x, y) é a correlação estrutural. As constantes C1

e C2 são utilizadas para estabilizar a equação quando (µ2

LR +µ2

HR) e (σ2

LRσ2

HR) estão próximos de zero. Como sugerido por

Wang et al. [16], utilizou-se C1 = 0, 01, C2 = 0, 03 e C3 =C2/2.

4. Resultados Experimentais

Algumas técnicas de interpolação foram utilizadas para

realizar a avaliação da qualidade dos resultados da super-

resolução. O objetivo desta avaliação é mensurar, por inter-

médio de métricas qualitativas e quantitativas, o desempenho

04-07 de Julho - FCT/UNESP - P. Prudente VI Workshop de Visão Computacional

129

dos algoritmos de interpolação utilizados quanto a sua quali-

dade espacial e espectral.

Avaliar a qualidade da imagem de SR em relação à ima-

gem de referência não é uma tarefa simples, pois esta não

foi obtida pelos mesmos processos que a primeira. O resul-

tado desejado é o aumento da resolução espacial, sem acres-

centar falsos alvos e preservar a informação espectral na ima-

gem HR [13].

O método proposto foi aplicado em várias amos-

tras de vídeos. Resultados experimentais para três amos-

tras utilizando-se cinco métodos diferentes de interpola-

ção são apresentados. A amostra 1 e a amostra 2 consistem

em uma sequência de 12 imagens (quadros) de 512 × 512 pi-

xels, enquanto a amostra 3 consiste em uma sequência de

20 imagens de 256 × 256 pixels. As figuras 1, 2 e 3 ilus-

tram os resultados da super-resolução para o quadro 10 da

amostra 1, quadro 2 da amostra 2 e quadro 19 da amos-

tra 3, respectivamente.

A avaliação visual dos resultados obtidos não identifica

modificações significativas na imagem, como distorções nas

bordas e detalhes finos. Os resultados também foram ava-

liados pelas medidas estatísticas descritas na seção 3.1 e

são apresentados na tabela 1. Os valores das medidas cor-

respondem às médias obtidas para os quadros das sequên-

cias de imagens de cada amostra. A análise quantitativa en-

tre as imagens subamostradas e super-resolvidas demonstram

a eficâcia dos interpoladores utilizados no método de super-

resolução. Em particular, os interpoladores spline, bicúbica e

bilinear obtiveram melhor desempenho.

5. Conclusões

Técnicas de super-resolução consistem em aumentar a re-

solução espacial de imagens ou vídeos, já que o custo dos

sensores de alta precisão em aplicações comerciais é normal-

mente elevado.

Este artigo apresentou uma análise comparativa entre di-

ferentes técnicas de interpolação e seu impacto na super-

resolução de vídeos. Cada quadro do vídeo é super-resolvido

utilizando-se o método de POCS, em que a grade de alta re-

solução é gerada pelos interpolação vizinho mais próximo,

bilinear, bicúbica, spline e sinc.

6. Agradecimentos

Os autores são gratos ao INCT/MACC, FAPESP e ao

CNPq pelo apoio financeiro.

Referências

[1] B. Bascle, A. Blake, and A. Zisserman. Motion Deblurring

and Super-resolution from an Image Sequence. In Fourth

European Conference on Computer Vision, pages 573–582.

Springer-Verlag, 1996.

[2] H. Chang, D.-Y. Yeung, and Y. Xiong. Super-Resolution th-

rough Neighbor Embedding. In Proceedings IEEE Computer

Society Conference on Computer Vision and Pattern Recogni-

tion CVPR 2004, pages 275–282, 2004.

[3] F. B. da Silva. Super-Resolução Utilizando Quadros Chaves

em Sequências de Vídeo de Resolução Mista. Dissertação de

Mestrado, Universidade de Brasília, 2009.

[4] L. L. de Almeida and A. M. G. Tommaselli. Melhoramento

da Resolução a partir de Sequências de Imagens. Boletim de

Ciências Geodésicas, 9(2):163–178, Julho-Dezembro 2003.

[5] M. Elad and A. Feuer. Super-Resolution Reconstruction of

Image Sequences. IEEE Transactions on Pattern Analysis and

Machine Intelligence, 21(9):817–834, Setembro 1999.

[6] W. Freeman, T. Jones, and E. Pasztor. Example-based Super-

Resolution. IEEE Computer Graphics and Appications,

22(2):56–65, Março 2002.

[7] A. J. Patti and Y. Altunbasak. Artifact Reduction for Set Theo-

retic Super Resolution Image Reconstruction with Edge Adap-

tive Constraints and Higher-order Interpolants. IEEE Transac-

tions on Image Processing, 10(1):179–186, Janeiro 2001.

[8] H. Pedrini and W. Schwartz. Análise de Imagens Digitais:

Princípios, Algoritmos e Aplicações. Editora Thomson, 2007.

[9] C. Rubert, L. Fonseca, and L. Velho. Super-Resolução de Ima-

gens de Sensores Remotos Usando a Transformada de Cor

YUV para Estimação das Altas Frequências. In IV Workshop

dos Cursos de Computação Aplicada, São José dos Campos-

SP, 2004. Instituto Nacional de Pesquisas Espaciais.

[10] R. R. Schultz and R. L. Stevenson. Extraction of High-

Resolution Frames from Video Sequences. IEEE Transacti-

ons on Image Processing, 5(6):996–1011, Junho 1996.

[11] H. Stark. Theory of Convex Projections and its Application

to Image Restoration. In IEEE International Symposium on

Circuits and Systems, pages 963–964, 1988.

[12] H. Stark and P. Oksui. High-Resolution Image Recovery from

Image-Plane Arrays using Convex Projections. Journal of Op-

tical Society of America, 6(11):1715–1726, 1989.

[13] M. A. B. G. Telles Junior and A. N. de Castro Santa Rosa.

Super-Resolução de Imagens CBERS 2. In XIII Simpó-

sio Brasileiro de Sensoriamento Remoto, pages 1197–1204,

Florianópolis-SC, 2007.

[14] L. Wald, T. Ranchin, and M. Mangolini. Fusion of Satellite

Images of Different Spatial Resolutions: Assessing the Qua-

lity of Resulting Images. Photogrammetric Engineering &

Remote Sensing, 63:691–699, 1997.

[15] Z. Wang and A. Bovik. A Universal Image Quality Index.

IEEE Signal Processing Letters, 9(3):81–84, Março 2002.

[16] Z. Wang, A. Bovik, H. Sheikh, and E. Simoncelli. Image Qua-

lity Assessment: From Error Visibility to Structural Simila-

rity. IEEE Transactions on Image Processing, 13(4):600–612,

Abril 2004.

[17] L. Yaroslavsky. Signal Sinc-Interpolation: A Fast Computer

Algorithm. Bioimaging, 4:255–231, 1996.

[18] M. V. W. Zibetti and J. Mayer. Super-Resolução Aplicada em

Sensoriamento Remoto. In XIII Simpósio Brasileiro de Senso-

riamento Remoto, pages 6407–6414, Florianópolis-SC, 2007.

04-07 de Julho - FCT/UNESP - P. Prudente VI Workshop de Visão Computacional

130

Original Bilinear Bicúbica Vizinho mais próximo Spline Sinc

Figura 1. Quadro 10 da sequência da imagens da Amostra 1.

Original Bilinear Bicúbica Vizinho mais próximo Spline Sinc

Figura 2. Quadro 2 da sequência da imagens da Amostra 2.

Original Bilinear Bicúbica Vizinho mais próximo Spline Sinc

Figura 3. Quadro 19 da sequência da imagens da Amostra 3.

Vídeos Interpoladores CC Bias DV SDD IQI RMSE SSIM

Amostra 1

Bilinear 1,0000 0,0002 -0,0022 -0,0017 1,0000 0,0017 1,0000Bicúbica 1,0000 0,0002 -0,0010 -0,0008 1,0000 0,0008 1,0000Vizinho mais próximo 0,9995 0,0002 -0,0059 -0,0050 0,9995 0,0050 0,9995Spline 1,0000 0,0002 -0,0010 -0,0008 1,0000 0,0008 1,0000Sinc 0,9923 0,0002 -0,0038 -0,0032 0,9923 0,0032 0,9923

Amostra 2

Bilinear 0,9951 0,0016 -0,0603 -0,0290 0,9947 0,0291 0,9947Bicúbica 0,9968 0,0016 -0,0465 -0,0227 0,9965 0,0227 0,9965Vizinho mais próximo 0,9909 0,0016 -0,0530 -0,0259 0,9906 0,0259 0,9906Spline 0,9973 0,0016 -0,0436 -0,0213 0,9971 0,0213 0,9971Sinc 0,9215 0,0016 -0,0480 -0,0234 0,9213 0,0235 0,9213

Amostra 3

Bilinear 0,9668 -0,0064 -0,2040 -0,1899 0,9626 0,1900 0,9626Bicúbica 0,9718 -0,0064 -0,1688 -0,1683 0,9685 0,1684 0,9685Vizinho mais próximo 0,9564 -0,0064 -0,1675 -0,1606 0,9535 0,1607 0,9535Spline 0,9745 -0,0064 -0,1690 -0,1609 0,9715 0,1610 0,9715Sinc 0,8096 -0,0064 -0,1582 -0,1501 0,8074 0,1503 0,8075

Tabela 1. Resultados obtidos para três amostras utilizando-se cada interpolador.

04-07 de Julho - FCT/UNESP - P. Prudente VI Workshop de Visão Computacional

131