Dissertação realizada sob a orientação do Professor Doutor Professor António Paulo Gomes Mendes Moreira E do Professor Doutor Professor Paulo José Cerqueira

Dissertação realizada sob a orientação do Professor Doutor Professor António Paulo Gomes Mendes Moreira

E do Professor Doutor Professor Paulo José Cerqueira Gomes da Costa

Porto, Março 2008

Dissertação submetida para a obtenção do grau de Mestrado Integrado em Engenharia Electrotécnica e de

Computadores pela

Faculdade de Engenharia da Universidade do Porto

PEDRO MIGUEL FERREIRA DE CARVALHO

(E-mail: [email protected])

DETECÇÃO DE DEFEITOS NA COLOCAÇÃO DO RÓTULO EM

GARRAFAS DE CERVEJA(URL: http://paginas.fe.up.pt/~ee02196)

RESUMO

INTRODUÇÃO

PROJECTO DO SISTEMA

VISÃO

ALGORITMO DE IDENTIFICAÇÃO DO CÓDIGO DE BARRAS E

SEU POSICIONAMENTO

ALGORITMO DE RECONHECIMENTO DE CARACTERES (OCR)

APLICAÇÃO DE CONTROLO

CONCLUSÕES

REFERÊNCIAS

Detecção de Defeitos na Colocação do Rótulo em Garrafas de Cerveja (http://paginas.fe.up.pt/~ee02196)

INTRODUÇÃODESCRIÇÃO DO PROBLEMA

Desenvolvido de um sistema rápido e de baixo custo, para detecção de defeitos na colocação dos rótulos em garrafas de cerveja.

O sistema deveria ser capaz de em tempo real (menos de 60 ms):

Identificar o código de barras do rótulo;

Verificar do correcto posicionamento do rótulo, detectando

desvios horizontais e verticais;

Verificar a impressão da data de validade e do lote de

produção;


INTRODUÇÃO PROJECTO DO SISTEMA VISÃO IDENTIFICAÇÃO DO CÓDIGO DE BARRAS E DO SEU POSICIONAMENTO RECONHECIMENTO DE CARACTERES (OCR) APLICAÇÃO DE CONTROLO

CONCLUSÃO REFERÊNCIAS

ARQUITECTURA DO SISTEMA

PROJECTO DO SISTEMA

Sistema modular com 2 câmaras




PROJECTO DO SISTEMA

SET-UP DO SISTEMA

Plataforma de Desenvolvimento das Aplicações

• Kylix3 sobre distribuição Linux Mandriva

2006

• Servidor de base dados Firebird.

Estrutura Mecânica (14 garrafas/segundo)

Estrutura Electrónica

Câmara FireWire

• Modelo DMK31BF03 da ImagingSource

(preto e branco com sinal de trigger)

Mecanismo de Iluminação

• Estroboscópio

Sensor de detecção de garrafa

• Sensor fotoeléctrico da Omron E3F2




PROJECTO DO SISTEMA

MECANISMO DE ILUMINAÇÃO E DE SINCRONISMOTrigger: O momento de exposição é determinado pela entrada de

trigger. A exposição começa 4.8μs depois de ocorrer um pulso de

trigger. Uma vez mais o tempo de exposição pode ser ajustado, por

software, dentro de uma gama 100μs to 30s. O tempo de leitura da

imagem é recíproco ao frame rate da câmara.




CALIBRAÇÃO DOS PARÂMETROS DE TRANSFORMAÇÃO

VISÃO

Parâmetros de calibração da câmara:

Rotação da câmara em relação ao sistema de coordenadas do mundo

(rotX, rotY, rotZ)

Distância focal equivalente (EqDist)

Pontos usados na calibração:




VISÃO

O valor de EqDist funciona como um factor de escala:




VISÃO

TRANSFORMAÇÃO DAS COORDENADAS DE IMAGEM EM COORDENADAS DO MUNDOuvz2xy:




VISÃO

Efeito de perspectiva projecção

TRANSFORMAÇÃO DAS COORDENADAS DO MUNDO EM COORDENADAS DA IMAGEMxyz2uv:




IDENTIFICAÇÃO DO CÓDIGO DE BARRAS E SEU POSICIONAMENTOTIPOS DE CÓDIGOS DE BARRAS UTILIZADOS

EAN8

EAN13

Características:

Os dígitos são representados por 7 bits constituídos

por 2 barras e 2 espaços. Nenhuma barra ou espaço

pode ser maior que 4 bits.

Todos os dígitos da Left-Hand começam com um 0

(espaço branco) enquanto que os da Righ-Hand

começam sempre com 1 (barra preta).

Dados relevantes:

» têm sempre o mesmo número de transições

» têm sempre o mesmo número de bits




IDENTIFICAÇÃO DO CÓDIGO DE BARRAS E SEU POSICIONAMENTOPROCESSAMENTO DE IMAGEM

A classificação dos pontos de interesse ao longo da linha consiste em percorrer todos os pixeis e classificando-os em três níveis (ou dois niveis).

Várias linhas de pesquisa com diferentes

parâmetros de reconhecimento.

Combinação da informação resultante das

diversa linhas de pesquisa




IDENTIFICAÇÃO DO CÓDIGO DE BARRAS E SEU POSICIONAMENTOValor Threshold dinâmico:

Diferente para cada linha de pesquisa

Diferente ao longo da linha de pesquisa




IDENTIFICAÇÃO DO CÓDIGO DE BARRAS E SEU POSICIONAMENTOLOCALIZAÇÃO DO CÓDIGO DE BARRAS

Identificação do preâmbulo inicial (número de pixeis brancos consecutivos)

Detectar o número de transições até se encontrar o preâmbulo final.

Verificar de que tipo de códigos de barras foi identificado.




IDENTIFICAÇÃO DO CÓDIGO DE BARRAS E SEU POSICIONAMENTO

Associar a cada barra preta ou espaço em branco o número de bits que representam

Determinar os dígitos que compõem o código de barras recorrendo às tabelas de codificação

Verificar o Checksum Digit

DESCODIFICAÇÃO DO CÓDIGO BARRAS

Para obtenção do posicionamento da linha: Assumido que o código de barras se encontra na vertical Usada a relação entre o tamanho real do código de barras e seu tamanho na imagem.




IDENTIFICAÇÃO DO CÓDIGO DE BARRAS E SEU POSICIONAMENTOFUSÃO DA INFORMAÇÃO PROVENIENTE DAS DIVERSAS SCANLINES

Posicionamento do código de barras: O posicionamento (x,y,z) é dado pelo posicionamento da linha de topo e é relativo ao canto

superior esquerdo

Inclinação, dadas pelas 2 linhas centrais, é calculada achando a projecção no plano yz do plano que contém a origem e as linhas centrais.

Ângulo com que a câmara vê o código de barras é calculado achando a projecção no plano xy da intersecção do plano que contém a linha de topo e a origem e o plano que contém a linha de base e a origem.




IDENTIFICAÇÃO DO CÓDIGO DE BARRAS E SEU POSICIONAMENTORESULTADOS




RECONHECIMENTO DE CARACTERES (OCR)

PROCESSAMENTO DE IMAGEM

MÉTODO TEMPLATE-MATCHING

A classificação dos pontos de interesse da imagem é realizada de forma Binária.





LOCALIZAÇÃO DA ÁREA DE IMPRESSÃO DA VALIDADE E DO LOTE DE PRODUÇÃO Detecção de transições horizontais na imagem juntamente com informação relativa ao tamanho da

linha de lote de produção e da linha de validade.

Agrupamento das linhas:

Não podem estar afastadas mais do

que o tamanho de 2 linhas

Ser possível serem atravessadas

pela mesma linha vertical





RECONHECIMENTO DE CARACTERES

SEGMENTAÇÃO DE CARACTERES





Funcionalidades: Diversos níveis de utilizadores com níveis de permissão diferentes

Visualizar informação sobre que alarme ocorreu, sua causa e possível resolução

Configuração dos parâmetros dos diferentes alarmes

Capacidade de introdução de novos produtos (sistema de base dados)

Visualizar a informação sobre um rótulo

Sinóptico

Manter histórico dos alarmes




ORDEM DE PRODUÇÃO


Informação sobre o rótulo:





ALARMES





ARMAZENAMENTO DA INFORMAÇÃO

Base de Dados (Firebird):

Informação sobre os alarmes:




CONCLUSÕES

Podemos concluir deste trabalho que:

Foram atingidos todos objectivos propostos. O sistema apresentado é bastante rápido e muito

mais barato do que qualquer solução existente no mercado.

Os ensaios laboratoriais obtiveram resultados positivos, o que permitiu a passagem imediata à

fase de implementação do sistema na linha de montagem da Unicer.

× Em ambiente industrial, surgiram os primeiros problemas, um dos módulos não pôde ser

implementado e o outro módulo ainda se encontra em fase de instalação e de testes.




CONCLUSÕES

Sugestões de futuras implementações:

! Encontrar solução para a colocação da câmara para identificação do lote de produção e da

validade;

! Interligação a aplicação de controlo com a máquina rotuladora e assim poder utilizar o sistema

de rejeição automático que esta possui;

! Interligação a aplicação controlo com o software de planeamento e gestão de produção

existente na Unicer e, deste modo, conseguir automatizar alguns processos, como a introdução

manual de novos produtos na base dados.




REFERÊNCIAS

ADELMANN, ROBERT, MARC LANGHEINRICH & CHRISTIAN FLÖRKEMEIER (2006). Toolkit for Bar Code Recognition and Resolving on Camera Phones – Jump Starting the Internet of Things. Institute for Pervasive Computing, ETH Zurich.

ALI, F. & T. PAVLIDIS (1977). Syntactic recognition of handwritten numerals. IEEE Trans. Syst., Man, Cybern., vol. 7, pp. 537-541.

BATISTA, G. & K. M. KULKARNI (1988). A high accuracy algorithm for recognition of handwritten numerals. Pattern Recognition, vol. 21, no. 4, pp. 287-291.

BATISTA, JORGE, JORGE DIAS, HÉLDER ARAÚJO & A. TRAÇA DE ALMEIDA (1993). Monoplanar Camera Calibration for Off-the-Shelf TV Cameras and Lenses. Iterative Multi-step Approach. 5th Portuguese Conference on Pattern Recognition, pp. 53/62.

BORKOWSKI, MACIEJ (2007). 2D to 3D Conversion with Direct Geometrical Search and Approximation Spaces. A Dissertation submitted to the Faculty of Graduate Studies, in Partial Fulfilment of the Requirements for the degree of Doctor of Philosophy in Electrical and Computer Engineering.

CHAI, DOUGLAS & FLORIAN HOCK (2005). Locating and Decoding EAN-13 Barcodes from Images Captured by Digital Cameras. Addendum to Proceedings ICIS2005.

HUANG, J. S. & K. CHUANG (1986). Heuristic approach to handwritten numeral recognition. Pattern Recognition. vol. 19, no. 1, pp. 15-19.

JEFFREY ADAIR (2006). Locating, Tracking, and Interpreting Ean-13 Bar Code Waveforms in a Two-Dimensional Video Stream. Hiram College.

KWAN, C. C., L. PANG, & C. Y. SUEN (1979). A comparative study of some recognition algorithms in character recognition. In Proc. Int. Conf on Cybernetics and Society (Denver), pp. 530-535.




REFERÊNCIAS

LENZ, REIMAR K. & ROGER Y. TSAI (1988). Techniques for Calibration of the Scale Factor and Image Center for High Accuracy 3-D Machine Vision Metrology. IEEE transactions on pattern analysis and machine intelligence, vol. 10, no. 5, pp 713-720.

MUNIZ, RUBEN, LUIS JUNCO, & ADOLFO OTERO (1999). A robust software barcode reader using the Hough transform. In Proceedings of the 1999 International Conference on Information Intelligence and Systems, pp. 313–319.

OHBUCHI, EISAKU, HIROSHI HANAIZUMI & LIM AH HOCK (2004). Barcode Readers using the Camera Device in Mobile Phones. In CW, pp. 260–265. IEEE Computer Society.

PAVLIDIS, T., J. SWARTZ & Y. P. WANG (1990). Fundamentals of bar code information theory. Computer, vol. 23, no. 4, pp. 74-86.

SHRIDHAR, M. & A. BADRELDIN (1986). Recognition of isolated and simply connected handwritten numerals. Pattern Recognition, vol. 19, no. 1, pp. 1-12.

SUEN, C. Y. (1982a). Distinctive features in the automatic recognition of handprinted characters. Signal Processing, vol. 4, pp. 193-207.

SUEN, C. Y. (1982b). The role of multi-directional loci and clustering in reliable recognition of characters. In Proc. 6th Int. Conf. Pattern Recog., pp. 1020-1022.

TSAI, R.Y. (1986). An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision. IEEE Conf. on Computer Vision and Pattern Recognition, pp. 364-374.

TSAI, R. Y. (1987). A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses. IEEE Journal of Robotics and Automation, RA-3(4), pp. 323-344.

WU, J. J., R. E. RINK, T. M. CAELLI & V. G. GOURISHANKAR (1988). Recovery of 3-D Location and Motion of a Rigid Object Through Camera Image (An Extended Kalman Filter Approach). International Journal of Computer Vision 3:3, pp. 773-394.




Porto, Março 2008

PEDRO MIGUEL FERREIRA DE CARVALHO

(E-mail: [email protected] -- URL: http://paginas.fe.up.pt/~ee02196)

OBRIGADO, PELA ATENÇÃO

FIM

Documents

Dissertação realizada sob a orientação do Professor Doutor Professor António Paulo Gomes Mendes Moreira E do Professor Doutor Professor Paulo José Cerqueira