Reconhecimento de objetos utilizando Classificador HaarTulio Colmanetti : tupc10@das.ufsc.br Joo Santanna : joaosantanna@das.ufsc.br

Introduo O Reconhecimento de objetos em viso computacional a tarefa de encontrar/reconhecer um determinado objeto em uma sequncia de imagens ou vdeo. Segundo um survey sobre o estado da arte em viso computacional (Olague, 2007) existem varias tcnicas para abordar os problemas de viso computacional: Redes Neurais Arvores de classificao Algoritmos genticos

No geral, o objetivo de cada tcnica obter preciso e velocidade nos resultados

Roteiro Introduo Classificador Haar (Haar Classifier) Perfis Haar (Haar-Like Features) AdaBoost Cascata de Classificadores

Evoluo e Aplicaes Estudo de Caso Concluses

Introduo

reas principais da viso Computacional (Olague 2007)

Introduo Classificador Haar : Algoritmo apresentado em 2001 por Viola e Jones O objetivo do algoritmo era servir de base para construir um framework de deteco de objetos extremamente rpido e robusto. No trabalho original o algoritmo era utilizado para reconhecimento de rostos em imagens. Classificador Haar : AdaBoost + Perfis Haar

Perfis Haar (Haar-Like Features) Padres ou perfis geomtricos que so utilizados nas subjanelas de deteco. Consistem em regies retangulares adjacentes. Recebem esse nome devido sua semelhana com as ondulaes Haar.

Conjunto original de perfis Haar. Fonte: (Viola e Jones, 2001)

Perfis Haar (Haar-Like Features) O valor do perfil Haar dado pela equao abaixo:

Dessa forma, so fcil e rapidamente computadas pela tcnica da integral da imagem. Calculado f(x), um classificador fraco h(x) definido como:

Onde x uma sub-janela, do sinal da inequao.

um threshold e p indica a direo

AdaBoost Deriva de Adaptive Boosting (em portugus, estmulo adaptvel). um algoritmo de Aprendizagem de Mquina inventado por Yoav Freund e Robert Schapire (Freund e Schapire, 1995). A idia em utilizar o AdaBoost construir um classificador forte usando um conjunto de treinamento e um algoritmo de aprendizado fraco. Um classificador fraco com erro mnimo selecionado pelo algoritmo de aprendizado a cada iterao.

AdaBoost Ao final, monta-se uma combinao linear de classificadores fracos obtidos durante todas as iteraes, conforme a equao abaixo:

Cascata de Classificadores Dispondo as combinaes de classificadores fracos gerados pelo AdaBoost em cascata, obtm-se um classificador forte, tambm conhecido como Classificador Haar:

Classificadores em cascata. Fonte:(Qing, Georganas et al., 2007)

Classificador Haar O primeiro classificador elimina muitas sub-janelas negativas e passa muitas sub-janelas positivas com muito pouco processamento computacional, mas ainda com alta taxa de falsos positivos.

Classificadores em cascata. Fonte:(Qing, Georganas et al., 2007)

Classificador Haar Camadas posteriores eliminam sub-janelas negativas adicionais que passaram, contudo cada uma dessas etapas requer um pouco mais de processamento que a anterior.

Classificadores em cascata. Fonte:(Qing, Georganas et al., 2007)

Classificador Haar Aps vrios estgios de processamento, o nmero de sub-janelas falsas positivas reduzido drasticamente at um nvel aceitvel pelo projetista.

Classificadores em cascata. Fonte:(Qing, Georganas et al., 2007)

Classificador Haar Apesar de rpido, sua eficincia depende muito do numero de exemplos que forem processados na fase de treinamento e de quantos nveis existirem na cascata.

Evoluo Lienhart (2002): cria um novo conjunto de perfis Haar rotacionados para melhorar a porcentagem de falsos alarmes, que consiste em apontar erroneamente um objeto em uma imagem. O estudo foi feito para deteco rostos e conseguiu diminuir o numero de falsos positivos em 10%, alm de apresentar novos mtodos de psprocessamento que ajudam a diminuir os falsos alarmes em 12,5% .Padro Estendido

Padro original

Evoluo Mita, Kaneko et al. (2005): os autores propem um novo recurso, chamado perfil Haar conjunto, para a deteco de faces em imagens. Baseado na co-ocorrncia de mltiplos perfis Haar. Ela capta as semelhanas estruturais dentro da classe face e faz com que seja possvel construir um classificador mais eficiente. O novo mtodo reduz o erro em 37% (falsos positivos) e cria um detector que 2,6 vezes mais rpido que o detector original de Viola e Jones.

Evoluo Hiromoto, Sugano et al.( 2009): prope a criao de uma arquitetura de hardware para deteco de objetos baseado no algoritmo classificador Haar. A ideia aproveitar o paralelismo neste algoritmo de deteco e propor um modelo de execuo parcialmente paralelo adequado para a implementao de hardware. Este modelo de execuo paralela explora a estrutura de cascata de classificadores, em que classificadores localizados prximo ao incio da cascata so usados mais frequentemente do que os classificadores subsequentes.

Evoluo O projeto ento atribui mais recursos a esses classificadores para a execuo em paralelo do que os classificadores subsequentes da cascata. Foi implementado em um FPGA Virtex-5 para demonstrar que ele consegue, em tempo real, deteco de objetos a 30 fps em vdeo VGA, o dobro da taxa obtida pelo projeto original de Viola e Jones.

Aplicaes Negri, Clady et al (2008): cria uma soluo para deteco de veculos em movimento. Trs tcnicas so comparadas: os filtros retangulares (perfis Haar), os histogramas de gradiente orientado (HOG), e sua combinao em um mtodo hbrido. Testes mostram que a fuso combina as vantagens dos outros dois detectores: O classificador Haar elimina "facilmente" exemplos negativos nas camadas iniciais da cascata. Nas camadas mais posteriores, os classificadores discriminativos geram uma fronteira de deciso fina removendo os exemplos negativos perto do modelo do veculo.

Aplicaes A taxa de deteco de cerca de 94%

Fonte: (Negri, Clady et al, 2008)

Aplicaes Yuan (Yuan, Shan et al., 2011): Tambm prope uma soluo hbrida utilizando classificador Haar e histogramas de gradiente orientado (HOG) para deteco de pedestres. Os testes feitos demonstraram que o mtodo combinado pode manter a preciso de caractersticas HOG e aumentar a velocidade de deteco, ao mesmo tempo. A velocidade de deteco pode chegar a 10 frames por segundo na resoluo de vdeo de 320 240. O estudo tambm apontou que o mtodo hibrido melhor do que esses dois classificadores independentes.

Aplicaes

Fonte: (Yuan, Shan et al., 2011)

Aplicaes Qing, Georganas et al., (2007): soluo utilizando o classificador Haar para detectar em tempo real uma classe de gestos em linguagem de sinais.

Fonte: (Qing, Georganas et al., 2007)

Aplicaes Ding, Stepinski et al., (2010): soluo para deteco de crateras de impacto em imagens planetrias. O estudo prope uma soluo de um detector automtico para esse tipo de imagem utilizando em um primeiro estgio a morfologia matemtica para identificar as regies de uma imagem que tem potencial para conter crateras. No segundo estgio essas regies so submetidas ao classificador Haar j previamente treinado. O algoritmo avaliado em uma grande imagem de teste de 37.500 x 56.250 m2 de Marte.

Aplicaes Os testes demonstram que esta ferramenta suficientemente robusta e prtica para a cincia planetria, tanto em termos de preciso na deteco quanto de eficincia.

Fonte: (Ding, Stepinski et al., 2010)

Estudo de Caso Treinamento de um classificador Haar capaz de reconhecer padres presentes no trfego de automveis, no caso a placa de trnsito brasileira R-6b (Estacionamento Regulamentado). Visando um possvel uso em um sistema embarcado de tempo real para veculos autnomos (sem motorista).

Fonte: http://aimore.net/placas/geral.html

Estudo de Caso Treinamento: Durao: 1 dia, 5 horas e 40 minutos em um Intel Core i5 2.40 GHz com 4 GB de memria RAM Amostras positivas: 4500 Amostras negativas: 7000 Resoluo das amostras: 320x240 Tamanho da sub-janela inicial: 20x20 Estgios em cascata desejados: 18 Estgios em cascata obtidos: 4 8 classificadores fracos no total, ou seja, utiliza 8 perfis Haar

Estudo de Caso Teste: Amostras: 500 Resoluo das amostras: 320x240 Taxa de rudo de inclinao sob os trs eixos (em torno de 28.6 graus) e variao de intensidade dos pixels (em torno de 23.5%) Fator de escala: diversos

Estudo de CasoFator de Escala Acertos Perdidos (Falso Falsos (Falso Negativo) Positivo) Tempo Consumido [s]

1.1 1.2 1.3 1.4

86.4% 64% 49.2% 38.6%

13.6% 36% 50.8% 61.4%

24.4% 1.8% 15.6% 15.8%

18.761 1.538 9.854 1.071

Estudo de CasoCanto superioresquerdo com fator de escala 1.1; canto superior-direito com fator de escala 1.2; canto inferioresquerdo com fator de escala 1.3 e canto inferior-direito com fator de escala 1.4. Fonte: http://i21www.ira.uk a.de/image_sequen ces/

Demonstrao Temos um video demonstrativo da aplicao de viso computacional com o classificador j treinado usando o kit do OPEN CV. Voc encontra o video de demonstrao no endereo: http://vimeo.com/35235093

Concluses Nota-se que existe uma certa relao de custo entre o fator de escala adotado e a identificao de objetos pelo classificador. Baixos fatores de escala permitem uma maior taxa de identificaes positivas, contudo aumentam a taxa de falsos positivos e o tempo de processamento necessrio, como no caso do fator de escala 1.1. Elevados fatores de escala demandam um menor tempo de processamento e reduzem a taxa de falsos positivos, porm geram uma taxa menor de identificaes positivas, e um maior nmero de falsos negativos, como no caso dos fatores de escala 1.3 e 1.4. O fator de escala 1.2 apresentou a melhor relao custobenefcio, com uma acuricidade de 64%.

Concluses Quanto robustez, o classificador treinado mostrou-se capaz de identificar objetos apesar de certas variaes no tamanho, inclinao e intensidade dos pixels. O classificador treinado tambm possui certa capacidade de generalizao, sendo capaz de identificar alguns objetos desejados apesar de variaes no parametrizadas, como imagens coloridas. Sob as condies especificadas no caso em estudo, os resultados obtidos mostraram-se bem favorveis quanto ao tempo de processamento por frame (em torno de 9ms), o que de forma geral seria suficiente para garantir os requisitos de aplicaes em tempo real.

Referncias Bibliogrficas BRADSKI, G.; KAEHLER, A. Learning OpenCV. 1. Sebastopol: OReilly Media,, 2008. CONSTANTINE P. PAPAGEORGIOU; MICHAEL OREN; POGGIO, T. A General Framework for Object Detection. Sixth International Conference on Computer Vision (ICCV'98: pp.555 p. 1998. DING, W. et al. Automatic detection of craters in planetary images: an embedded framework using feature selection and boosting. Proceedings of the 19th ACM international conference on Information and knowledge management. Toronto, ON, Canada: ACM: 749-758 p. 2010. FREUND, Y.; SCHAPIRE, R. E. A decision-theoretic generalization of on-line learning and an application to boosting. Second European Conference on Computational Learning Theory 1995. LIENHART, R.; MAYDT, J. An extended set of Haar-like features for rapid object detection. Image Processing. 2002. Proceedings. 2002 International Conference on, 2002. 2002. p.I-900-I-903 vol.1.

Referncias Bibliogrficas HAO, K.; WANG, Y.; DING, Y. Recognition of Robot Logo Based on Haar-Like Features. Measuring Technology and Mechatronics Automation (ICMTMA), 2010 International Conference on, 2010. 13-14 March 2010. p.992-995. HIROMOTO, M.; SUGANO, H.; MIYAMOTO, R. Partially Parallel Architecture for AdaBoost-Based Detection With Haar-Like Features. Circuits and Systems for Video Technology, IEEE Transactions on, v. 19, n. 1, p. 41-52, 2009. ISSN 10518215. LIENHART, R.; MAYDT, J. An extended set of Haar-like features for rapid object detection. Image Processing. 2002. Proceedings. 2002 International Conference on, 2002. 2002. p.I-900-I-903 vol.1. MITA, T.; KANEKO, T.; HORI, O. Joint Haar-like features for face detection. Computer Vision, 2005. ICCV 2005. Tenth IEEE International Conference on, 2005. 17-21 Oct. 2005. p.1619-1626 Vol. 2. NEGRI, P. et al. A cascade of boosted generative and discriminative classifiers for vehicle detection. EURASIP J. Adv. Signal Process, v. 2008, p. 112, 2008. ISSN 1110-8657.

Referncias Bibliogrficas OLAGUE, G. Evolutionary Computer Vision : a Survey on the State-ofthe-Art. 2007. QING, C.; GEORGANAS, N. D.; PETRIU, E. M. Real-time Vision-based Hand Gesture Recognition Using Haar-like Features. Instrumentation and Measurement Technology Conference Proceedings, 2007. IMTC 2007. IEEE, 2007. 1-3 May 2007. p.1-6. VIOLA, P.; JONES, M. Rapid Object Detection using a Boosted Cascade of Simple Features. CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 2001 2001. YUAN, X.; SHAN, X.; SU, L. A Combined Pedestrian Detection Method Based on Haar-Like Features and HOG Features. Intelligent Systems and Applications (ISA), 2011 3rd International Workshop on, 2011. 2829 May 2011. p.1-4.