.'

111Workshop de VisãoComputacional22 a 24 de Outubro de 2007

UNESP - IBILCE - São José do Rio Preto

WVC' 2007ANAIS

UNESP - Campus de São José do Rio PretoDepartamento de Ciência de Computação e Estatística

2007

DUAf.

unesp"Jundurzesp-JAPESP"IEEE

COHSt);.TORiA, e SlSTOOS

~ootoro.~"U'~lI'"

ISBN: 978-85-61152-00-0

111Workshop de Visão Computacional22 a 24 de outubro de 2007UNESP - São José do Rio Preto

·. t'

WVC'2007 - 111Workshop de Visão ComputacionaI, 22 a 24 de Outubro de 2007, São José do Rio Preto, SP.

Seleção Automática de Componentes de Cor para Segmentação de Imagens

Henrique de Souza RuizEngenharia Elétrica, Universidade de São PauloDepartamento de Engenharia Elétrica, EESC-USP

Av Trabalhador São-carlense, 400 - 13566-590 - São Carlos, SP, Brasilhenriquesruiz@Superig. com. br

Lúcio André de Castro JorgeEmbrapa Instrumentação Agropecuária

Rua 15 de Novembro, 1452, CP. 741,13560-970, São Carlos, SP-Brasil/ucio@cnpdia.embrapa.br

Ednaldo José Ferre iraEmbrapa Instrumentação Agropecuária

Rua 15 de Novembro, 1452, c.P. 741, 13560-970, São Carlos, SP - Brasilednaldo@cnpdia. embrapa. br

Adilson GonzagaDepartamento de Engenharia Elétrica, EESC-USP

Av Trabalhador São-carlense, 400 - 13566-590 - São Carlos, SP, Brasilagonzaga@sc.usp.br

Abstract

The choice of a color model is of great importance formany compu ter vision algorithms. As there are manycolor models available, the inherent dijJiculty is how toautomatically select a single color model 01',

altematively, a subset of color components for producingthe best result for a particular task. To achieve propercolors components selection, in this paper, it is proposedlhe use of lhe wrapper method, a data mining approach,10 obtain repeatability and distinctiveness in colorsegmentation processo The result yields good featurediscrimination. The method was verified experimenlallywith 108 images from Amsterdam Library of ObjectsImages (ALO!) and 10 aerial images for differentphotometric conditions. Further, it is shown that the colarcomponent selection scheme provides a proper balancebetween color invariance (repeatability) anddiscritninative power (distinctiveness).

1. Introdução

A seleção de características em uma imagem é degrande importância para sistemas de visão computacional.Uma grande quantidade de informações presentes em umaimagem, como por exemplo, a cor, a textura e a forma,podem ser ou não relevantes para o processo desegmentação. A cor é uma das características mais óbviase importantes da percepção, sendo um atributo desensação visual, devido à interação de três componentes:fontes de luz, objeto e o sistema de visão [1].

Trabalhar com imagens coloridas, implica em escolhero sistema de cores mais adequado ou uma combinação dosmesmos. O uso de diversos modelos de cores é uma tarefacomplexa para os algoritmos de visão computacional, poiso espaço de cor pode ser interpretado e modelado dediferentes formas. Nestes casos, combinar os espaços decores ou os canais de cores ou mesmo achar a melhorcombinação desses espaços para uma determinadaaplicação é um grande desafio. É possível que diversosespaços de cores sejam bons candidatos no processo desegmentação ou classificação, pois podem possuirpropriedades similares, como por exemplo, os canais V eG que trazem informações sobre intensidade da cor verde.

18

.'

WVC'2007 - 111Workshop de Visão Computacional, 22 a 24 de Outubro de 2007, São José do Rio Preto, sr.

Neste artigo, o principal objetivo foi selecionar ascomponentes mais significativas dentre 4 modelos decores adotados para segrnentação de imagens coloridascom diferentes condições foto métricas.

A escolha das componentes de cores é de extremaimportância, pois a grande dificuldade é selecionarautomaticamente um subconjunto ótimo de componentesde cores e suas características mais representativas,produzindo o melhor resultado para determinadaaplicação, o que é conseguido através do balançoadequado entre cores invariantes (repetibilidade) evariantes (poder discriminatório) [2].

Baseando-se na noção de separabilidade de classes, foiproposto um método para selecionar um subconjunto decomponentes de cores visando alcançar a melhor seleçãode características dos modelos envolvidos neste trabalho,utilizando ferramentas descritas em [3], [4] e [5].

2. Conjunto de ImagensPara se obter a seleção das componentes de cor foram

definidos, inicialmente, dois conjuntos de imagens: oprimeiro com imagens artificiais obtidas em condiçõescontroladas; e o segundo com imagens de uma aplicaçãoreal.

O primeiro conjunto é formado por 108 imagens detamanho 192x 144 pixels do objeto 25 da biblioteca deimagens da Universidade de Amsterdã (AmsterdarnLibrary of Objects lmages) (ALOl) [6]. Essas imagensforam capturadas em diversas condições de iluminação,rotação e temperatura de cor. Exemplos podem serobservados na Figura 1:

Figura I: Objeto 25apresentando variações nailuminação e rotação.

da Biblioteca ALOJ,temperatura de cor,

O segundo conjunto é formado por JO imagens aéreasde 372x248 pixels que foram adquiridas a 100 metros dealtura em diferentes posições e condições de iluminação.Na Figura 2 são apresentadas imagens de fazendas decitrus utilizadas na aplicação real.

Figura 2: Imagens aéreas de fazendas de citrus.

3. Seleção de componentes de corA qualidade da classificação e segrnentação das

imagens, induzida por um algoritmo de aprendizado demáquina (AM) depende da relevância das característicasconsideradas no conjunto de padrões de treinamento,chamado de vetor de características (VC). A relevânciadas características é fundamental para o algoritmo de AMno aprendizado de conceitos. Quanto maior a quantidadede características que não permitem a discriminação dasclasses, maior a necessidade de exemplos de treinamentopara alcançar uma dada acurácia [7].

Os métodos de seleção dc características têm a missãode encontrar uma combinação adequada de característicasrelevantes para o aprendizado de um conceito. Váriasrazões justificam e motivam a aplicação da seleção decaracterísticas. A primeira razão é que alguns algoritmosde A M computacionalmente viáveis não trabalhamadequadamente na presença de um grande número decaracterísticas, principalmente se houver característicasirrelevantes. Isso significa que a seleção pode aumentar aacurácia dos classificadores gerados por esses algoritmos.Outra razão é que a seleção pode auxiliar na compreensãodos dados. A terceira razão é que a seleção pode ajudar areduzir os custos envolvidos na coleta de dados de algunsdomínios.

A abordagem de seleção utilizada neste trabalho,conhecida como Wrapper [4], é apresentada na Figura 3.O método Wrapper é reconhecido como uma alternativade seleção de características em problemas deaprendizado supervisionado e é caracterizadofundamentalmente por empregar os algoritmos de AMpara avaliar os subconjuntos de característicasselecionados durante o processo de busca. Embora oelevado número de características faça a abordagemWrapper apresentar elevado custo computacional,principalmente se a busca for exaustiva, a seleção decaracterísticas relevantes para o algoritmo de aprendizadoneste tipo de abordagem, supera o de outras técnicas deseleção e, por essa razão, é o foco deste trabalho.

19

~.WVC'2007 - III Workshop de Visão Cornputacional, 22 a 24 de Outubro de 2007, São José do Rio Preto, SP.

Neste trabalho, o método Wrapper foi irnplementadousando pacotes da ferramenta Weka. O Weka é umacoleção de ferramentas de pré-processamento de dados eaprendizagem de máquina. Ela foi desenvolvida nauniversidade de Waikato, Nova Zelândia, em Java sobtermos de licença do GNU General Public Licence [3].

Conjunto do Toste

Figura 3: Método Wrapper para seleção desubconjunto de características [4).

A proposta desse artigo foi avaliar o desempenho desegmeruação após a seleção de características por meio dométodo Wrapper com algoritmo C4.5 e busca exaustiva[3], assim como, identi ficar o melhor subconjunto decomponentes de cor dos modelos envolvidos, gerandolimiares ótimos para a classificação das classes através deárvores de decisão. O algoritmo C4.5 implementa umclassificador simbólico como estrutura de árvore, ondecada nó interno indica o teste em um atributo, cada ramorepresenta um resultado do teste, e os nós terminaisrepresentam classes ou distribuições das classes [8).

4. Processo de segmentação das imagens nosexperimentos

Neste artigo, foram utilizados 4 modelos de cores,RGB, I-ISV, C[E L*a*b* e It12[3 [14). Os modelos HSV,CIE L*a*b* e 't '213, foram obtidos a partir detransformações do modelo RGB.

Esses modelos, tipicamente encontrados na literatura,contêm algumas propriedades variantes e invariantes noque diz respeito às condições fotornétricas. Ascomponentes de cor RGB, CIE L*, e SV são sensíveis àssombras, iluminação e brilho, ou seja, possuem um grandepoder discriminatório. Já as componentes ClE a*b* e Hsão invariantes às sombras e intensidade da iluminação,possuindo grande capacidade de repetibilidade [9]. Para ométodo proposto deve haver um balanço entre o poderdiscriminatório e a repetibilidade.

Foram realizados três experimentos, descritos a seguir.O primeiro experimento foi conduzido com 4 imagens

do objeto 25 da biblioteca de imagens da Universidade doAmsterdã (ALOI) (6). Este objeto é uma bola com ascores vermelho, azul, verde, amarelo e um fundo escuro,

em diferentes condições de iluminação, rotação etemperatura de cor.

Para a execução do método Wrapper, foi necessáriocapturar amostras dos padrões de cada classe presente nasimagens. As classes foram definidas por regiões r de coresdiferentes, ou seja, vermelho, azul, verde, amarelo e ofundo. Foram capturadas 5 amostras de tamanho 3x3 decada região, procurando contemplar as diversas condiçõesde iluminação e brilho na seleção, como mostrado naFigura 4.

Figura 4: Seleção das amostras para uma classe verdesobre a imagem.

Para cada região r da imagem, foi tomada umaamostra do padrão de tamanho IxJ '.' Para cada uma dascomponentes de cor calculou-se a média, variância eentropia das amostras r(i, j), para i= J .. .1, j= J .. .J, comomostrado nas equações (I), (2) e (3). A entropia foideterminada pelo histograma h(k) onde v(h(k)) são asocorrências dos valores e k é o nível de cinza em cadaregião ra.i), considerando cada componente uma novaimagem em tons de cinza.

1 Iv! N

Média = --. - LI'>U,})MN i=t j-t (1)

1 M N

Variáncia = -- L 2)r(i, j) - Média;;)2MN ;=1 j=1 . (2)

255

Ent rop ia = Lh(k) * 1'(11(11.));=0 (3)

Depois de extraídos os valores daentro pia, o vetor de característicasconforme na seqüência:

média, variância eVC foi arranjado

20

.'

WVC'2007 - 111Workshop de Visão Compuracional, 22 a 24 de Outubro de 2007, São José do Rio Preto, SP.

VC [MédiaR, MédiaG, MédiaB, VariânciaR,VariânciaG, VariânciaB, EntropiaR, EntropiaG,EntropiaB, MédiaL, Médiaa, Médiab, VariânciaL,Variânciaa, Variânciab, EntropiaL, Entropiaa, Entropiab,Médiall, Médial2, MédiaI3, Variânciall, Variâncial2,Variâncial3, EntropiaI I, Entropial2, Entropial3, MédiaH,MédiaS, MédiaV, VariânciaH, VariânciaS, VariânciaV,EntropiaH, EntropiaS, EntropiaVJ.

Após a criação do vetor de características VC, ométodo Wrapper com a busca exaustiva foi aplicado paraselecionar o melhor subconjunto de características. Paraavaliar o desempenho do subconjunto selecionado, asimagens de teste foram segmentadas utilizando ascomponentes selecionadas pelo Wrapper e a árvoregerada pelo algoritmo C4.5.

O segundo experimento foi realizado com um conjuntode imagens aéreas de fazendas de citrus, com o objetivode identificar e gerenciar a qualidade da área cultivada. Asegmentação dessas imagens poderá ser usada paraidentificar diferenças relativas ao vigor da cultura, áspragas, às doenças e ao nível de desenvolvimento daplanta. Esse tipo de aplicação é particularmenteinteressante porque não é possível controlar a luz, assombras e os reflexos do sol das imagens obtidas. Comona primeira experiência, os padrões de teste das amostrasda região foram extraídos, porém usando seleções detamanho diferentes, como mostrado na Figura 5. Asclasses selecionadas como padrão no teste, sào: árvore decitrus, solo descoberto e ervas daninhas ou invasoras.

Figura 5: Seleção de amostras de tamanhos diferentespara o treinamento dos padrões: árvore de citrus, solodescoberto e ervas daninhas ou invasoras.

Como no primeiro experimento, para cada região r daimagem, é tomada uma amostra do padrão de cor detamanho (I,J). Para cada uma destas componentes de corcalcula-se a média, variância e entropia das amostras r(i,j), para i= 1.. ./, j= 1 ...J, como mostrado nas equações (I),(2) e (3). Novamente, o vetor VC foi arranjado para atarefa de seleção de características, conforme oexperimento anterior.

Finalmente, um experimento foi realizado visando acomparação dos métodos propostos neste trabalho com asegmentação das imagens por redes neurais. As mesmas

amostras do treinamento da primeira e da segundaexperiência foram aplicadas para o treinamento de umarede neural MLP (Perceptron de Múltiplas Camadas)treinada pelo algoritmo Backpropagation [IOJ, utilizandosomente as médias RGB como vetor de características.Depois de treinada a rede neural, a segmentação foiaplicada a cada pixel, considerando sua vizinhança. Ovalor médio para cada pixel foi calculado por meio deuma máscara 3x3 sobre a imagem e apresentado à rede,cuja saída determina a classe que o pixel pertence.

5. Resultados e DiscussõesO método Wrapper foi testado nos conjuntos de

imagens apresentadas, em diversas condições deiluminação, rotação e temperatura de cor.

Iniciando pelo Wrapper com o algoritmo C4.5 porbusca exaustiva, as imagens do objeto ALOl 25 foramprocessadas a partir das 12 médias das componentes decores utilizadas neste trabalho. Os objetos apresentados naFigura I, apresentam variação da temperatura de cor,reflexos pela iluminação e mudança do ponto deobservação devido à rotação do objeto.

As médias das componentes selecionadas pelosmétodos descritos na seção 3, foram 13, H, L e V dosmodelos de cores. Em uma segunda etapa, adicionou-se avariância e a entropia correspondente às componentesselecionadas 13, H, L e V. Em todo o processo foiutilizada a validação cruzada em 10 desdobramentos (10-fold-cross-validation) nas amostras de treinamento,resultando em uma taxa de acertos de 99.62%. A árvorede decisão gerada é apresentada na Figura 6 e osresul tados da segrnentação podem ser observados naFigura 7.

A pesar das novas características adicionadas(variâncias e entropias), foi obtido o mesmo subconjuntodas médias das componentes de cores 13, H, L e V, econseqüentemente a mesma árvore da decisão. Conformeesperado, devido às características das imagens, asvariâncias e as entropias não contribuíram para umamelhor classificação.

<: 12725

- ...•

Média 13_>127.25

Média H. 'Média rj,

<: 127.5625 >127.5625 >50.4375

Média L.. L

.Mécta V:j- ·'--1

IVerde

'Média 13.

<: 142.5 >142.5<:110.625 >110.625 <:33.125 >33.125

I, ,I

Vermelho Amarelo Vermelho Azul Prelo Amare'o

Figura 6: Árvore da decisão para o objeto 25 daBiblioteca de imagens ALO!.

21

\VVC'2007 - III Workshop de Visão Computacional, 22 a 24 de Outubro de 2007, São José do Rio Preto, SP.

Figura 7: Imagens originais do objeto 25 daBiblioteca ALO! e os resultados da segmentação dasimagens baseadas no método Wrapper com buscaexaustiva.

Outros grupos de imagens com cores similares aoobjeto ALOl 25 foram testados, usando a mesma árvoreda decisão gerada. Duas das imagens foram obtidas daBiblioteca ALO! e outra de uma base de imagens departidas de futebol. O desempenho do algoritrno pode serobservado na Figura 8.

Figura 8: Imagens que não foram treinadas,utilizando a árvore de decisão mostrada na figura 6,apresentaram bom desempenho na segrnentação.

No segundo experimento foi aplicada a metodologiaproposta às imagens aéreas de citrus. O método Wrapperfoi utilizado também em duas etapas, ou seja, somentecom as médias em primeira instância e, posteriormente,adicionando-se as variâncias e entropias correspondentesàs componentes selecionadas. A precisão em validaçãocruzada foi de 99.52% de acertos, sendo as componentesselecionadas, as médias de a e de G, e a entropia de B,como mostrado na Figura 9. Os resultados dasegmentação com a árvore da decisão (Figura 9) sãomostrados na Figura J O.

Média a

<= 125.3469,' >125.3469

:Média G 1Ve<melho

>123.39

-.. - -~-<= 123.3~

Enuopia B

<=5.6244 >5.6244

Azul V",de

Figura 9: Árvore de Decisão para as imagens aéreas.

Figura I O: Imagens aéreas e os resultados dasegmentação das imagens baseadas no método Wrappercom busca exaustiva.

Os resultados foram avaliados visualmente apenasobservando-se as imagens e os respectivos segmentos.Nas imagens artificiais é fácil verificar onde asegmentação foi adequada ou não. Nas imagens aéreas, adificuldade visual discrirninatória é maior. Porém, de umaforma geral os resultados foram satisfatórios. Paracomparação, foi implementada uma rede neural MLP(Perceptron de Múltiplas Camadas) com o algoritrnoBackpropagation. Os mesmos conjuntos de treinamentoutilizados no Wrapper foram usados para treinar a redeneural, porém, foram utilizadas apenas as componentes demédias RGB. Os resultados para os objetos ALO! 25 e asimagens aéreas podem ser observados nas Figuras I J e12. A rede neural foi treinada com os valores médios deRGB, apresentando um erro médio de 0.1% para oconjunto de treinamento. É possível verificar que osresultados mostraram problemas para segmentar o solo eas ervas daninhas. A idéia aqui foi avaliar um sistema desegmentação apenas com as componentes RG B uma vezque os outros sistemas de cor são derivados deste eapresentam alguma redundância. Observa-se umdesempenho adequado na segmentação do objeto ALO!25, mostrando que mesmo sob diferentes condições deiluminação, temperatura de cor e pontos de vista, épossível segmentá-Ias com poucas componentes de cor.No entanto, em imagens mais complexas, como asimagens aéreas de citrus, a textura é um fator importante enecessário para a discriminação das classes, além dascomponentes invariantes. É nesse aspecto que a seleçãodas componentes de cores proporcionada pela abordagemWrapper se destaca, apresentando melhor desempenhomesmo com algoritmos de classificação mais simples(C4.5) comparado aos modelos tradicionais de redesneurais.

Figura 11: Segmentação das imagens das bolas usandouma Rede Neural MLP com valores médios de RGB.

22

WVC'2007 - III \Vorkshop de Visão Computacional, 22 a 24 de Outubro de 2007, São José do Rio Preto, SP.

Figura 12: Segmentação das imagens aéreas de citrususando uma Rede Neural MLP COm valores médios deRGB.

Convém ressaltar a existência de redundância entrealgumas das componentes dos diferentes modelos de coresenvolvidos neste trabalho, ainda que a combinação destaspossa melhorar a precisão dos algoritmos de AM. Noentanto, este trabalho mostra que a seleção adequada deum subconjunlo de componentes contribui para umequilíbrio entre a capacidade de repetibilidade e poderdiscrirninatório, o que é desejável na segrnentação deimagens aéreas.

6. ConclusõesNeste trabalho, o método Wrapper foi proposto e

aplicado de modo a selecionar um subconjunto ótimo decomponentes de modelos de cores para umadiscriminatória e robusta segmentação de imagens. Foiverificado experimentalmente que o método Wrapperusando uma busca exaustiva na seleção do subconjunto decaracterísticas com Árvore de Decisão pelo algoritmoC4.5, representa uma abordagem com bons resultados desegmentação. A seleção do subconjunto de componentesde cor efetuada permitiu o balanço apropriado entrercpetibilidade e o poder discriminatório.

Em Visão Cornputacional existe um crescenteinteresse na seleção de características, onde váriasquestões ainda permanecem abertas. Os métodos deMineração de Dados para a seleção de características têmsido propostos com algum sucesso. Muitos exemplosdestas aproximações são focalizados em clusterizaçãonumérica, não havendo nenhuma evidência teórica ouexperimental relacionada a seu comportamento emimagens coloridas. Este é um dos primeiros trabalhosneste sentido. As experiências conduzi das em uma grandevariedade de imagens tanto artificiais quanto reais,mostraram que o método proposto é aplicável e comresultados significativos na segmentação de imagenscoloridas em diferentes condições de iluminação.

Referências[I] Faiechild, M. D. Color Appearance Models. Ed.

Addison-Wesley. p. 410-421,1998.[2] Stokman, H and Givers, T. Selection and fusion of

color models for image feature detection. IEEETrans. On Pattern analysis and Machine Intelligence.Vol. 29, n.3, march 2007.

[3] Witten, I.H.; Frank, E. Data Mining - PracticalMachine Learning Tools and Techniques with Java.Morgan Kaufmann Publishes, (WEKA).

[4] Kohavi, R.; John, G. H. Wrappers for feature subsetselection. Artificial /ntelligence. 97(1-2):273-324,1997.

[5] Kohavi, R.; Sornmerfield, D. Feature subset selectionusing lhe wropper model. Overjitting and dynamicsearch space topology. In: The First InternationalConference on Knowledge Discovery and DataMining. Pág. 192-197,1995.

[6] http://staff.science.uva.nl/-aloi/[7] Langley, P.; Iba, W. Averoge-case analysis of a

nearest neighbor algorithm. In: International JointConference on Artificial Intelligence. Charnbery,1993.

[8] Rezende, S. O.; Pugliesi, J. B.; Melanda, E. A.; DePaula, M. F., "Mineração de Dados", In: SistemasInteligentes: Fundamentos e Aplicações, 58 Barueri,SP, Brasil, Rezende, S. O. (coord.), Editora ManoleLtda., Capo 12, pp. 307-336,2003.

[9] Gevers, T. Color in image search engines. Univcrsiryof Amsterdan. Principles of Visual InformationRetrieval, Spring- Verlag, London, 2001.

[10] Rurnelhart, D.; Hinton, G; Williams, R. L. LearningInternal Representations by Error Propagation. In:Parallel Distributed Processing - Vol. I.MIT Press,Cambridge. 1986.

23