31
Multimídia Richiely Batista de Moura Paiva. Vinícius Bulhões. Vinícius Nunes

Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Embed Size (px)

Citation preview

Page 1: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Multimídia

Richiely Batista de Moura Paiva.

Vinícius Bulhões.

Vinícius Nunes

Page 2: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Sistema de Reconhecimento

OCR

Reconhecendo e extraindo

características em placas de carros

Page 3: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Sumário

1.

1. Proposta

2. Revisão Bibliográfica

3. Métodos utilizados

4. Exemplo e demonstração da proposta

Page 4: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Proposta

Sistema de Reconhecimento OCR

Reconhecimento de caracteres de uma origem, seja uma

imagem, foto ou uma placa de carro.

Ferramentas:

● OpenCV e Tesseract

Page 5: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Proposta

Desafios

● Entendimento da API Tesseract

● Tratamento de imagens

○ Métodos necessários para o desenvolvimento.

■ Localizar o texto na

imagem;

■ Isolar o texto do

‘background’;

■ Alinhar o texto extraído;

■ Retirar os ruídos e coisas

indesejáveis;

■ Aquisição do texto final. ● Obter texto editável

Page 6: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Artigos relacionados BASSIL, Y., ALWANI, M. OCR Post-Processing Error Correction algorithm

using Google’s Online Spelling Suggestion. LACSC – Lebanese

Association for Computational Sciences january 2012.

ALVES, W. A. L. et al. Uma abordagem para localização e reconhecimento

de placas de licenciamento veicular por meio de operadores

morfológicos e busca por template. Exacta, São Paulo, v. 9, n. 3, p. 355-

362, 2011.

CONCI, A., HISS MONTEIRO, L. Reconhecimento de Placas de Veículos

por Imagem.

FARUK, A., MANJUMDER, N., BASU, S., NASIPURI, M. Design of an Optical

Character Recognition System for Camerabased Handheld Devices. IJCSI

International Journal of Computer Science Issues, july 2011

Page 7: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

OCR Post-Processing Error Correction

algorithm using Google’s Online Spelling

Suggestion

• Demonstração do OCR sobre um

documento qualquer;

• Digitalização;

• Reconhecimento das características

• Extração do texto;

• Correção de erros com o mecanismo de

sugestão do Google.

Page 8: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

OCR Post-Processing Error Correction

algorithm using Google’s Online Spelling

Suggestion

• Alguns erros de reconhecimento

• OCR pode confundir uma letra ‘S’ com o

número ‘5’ ou o ‘B’ com o número ‘8’.

• Correção baseada no contexto e dicionário

(abrange todas as palavras do vocabulário

específico).

Page 9: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

OCR Post-Processing Error Correction

algorithm using Google’s Online Spelling

Suggestion

Page 10: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Uma Abordagem para Localização e Reconhecimento

de Placas de Licenciamento Veicular por meio de

Operadores Morfológicos e Busca por Template

• Localização e reconhecimento da placa

na imagem.

• Encontrar a posição da placa;

Operações com a largura e altura dos

caracteres.

Geometria da fonte - distância dos caracteres.

• Template matching;

Comparação com placas previamente

catalogadas.

• Característica extraída.

Page 11: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Reconhecimento de Placas de Veículos por

Imagem

• Abordagem de técnicas de tratamento e

transformações da imagem.

• Binarização - treshold;

• Dilatação;

• Erosão;

• Segmentação;

Page 12: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Design of an Optical Character Recognition

System for Camerabased Handheld Devices

• Motivação principal: digitalização de

imagens, principalmente documentos;

• Segmentação feita a partir da linha do

texto;

• Como reconhecer os caracteres?

Page 13: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Design of an Optical Character Recognition

System for Camerabased Handheld Devices

Page 14: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Entendimento dos métodos

Page 15: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Métodos necessários para a

resolução do problema ●

● Binarização

● Segmentação

● Template matching

● Reconhecimento de caracteres

Page 16: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Binarização

● A intensidade da imagem passa a ter apenas dois

níveis distintos, para que possamos separar o objeto do

fundo da imagem. Esse método pode ser descrito

através da aplicação da função s = T(r).

● A função T(r) compara o sinal de entrada com um valor

de threshold (T), escolhido como referência para a

separação dos níveis de cinza. O sinal de saída,

apresentado é obtido pela relação:

s = {1 para r > T ou 0 para r < T}.

Page 17: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Segmentação

● A segmentação é o processo de dividir uma imagem

em regiões, ou objetos. Em outras palavras, a

segmentação simples consistem em localizar objetos e

formas em imagens.

● O uso desta técnica em nossa proposta será para

podermos reconhecer na imagem aonde estão os

caracteres.

Page 18: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Template matching

● Através de um padrão, conseguir indentificá-lo, caso

ele apareca, em alguma imagem qualquer.

● Será usado para dizer qual caractere foi encontrado,

comparando o caractere segmentado da imagem

analisada com algum banco de padrões, para que o

mesmo possa ser reconhecido.

○ Cuidado na hora de reconhecer caracteres e

números. A letra ‘S’ pode ser confundida com o

número ‘5’ ou a letra ‘O’ pode ser confundida com o

número ‘0’.

Page 19: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Reconhecimento de caractere

● O reconhecimento de caracteres é a técnica do OCR.

Permite converter imagens com texto em documentos

de texto usando algoritmos de computação

automatizados. As imagens podem ser processadas

individualmente (arquivos .jpg, .png e .gif) ou em

documentos PDF com várias páginas (.pdf).

Page 20: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Tratamento da imagem

Page 21: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

● Texto encontrado na imagem

● Separação com o background

● Segmentação e binarização

Tratamento da imagem

Page 22: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

• Isolamento da região que contem a placa

• Extração do texto contido na placa

Processos Realizados

Page 23: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

• Isolamento da região que contem a placa Original:

TopHat:

Processos Realizados

Page 24: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

• Isolamento da região que contem a placa Binarização :

Fechamento EE horizontal linear:

Processos Realizados

Page 25: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

• Isolamento da região que contem a placa Abertura altura máxima e minima :

Abertura Largura máxima e minima:

Processos Realizados

Page 26: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

• Isolamento da região que contem a placa Dilatação e remoção de possíveis ruídos :

Seleção placa:

Processos Realizados

Page 27: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

• Isolamento da região que contem a placa Recorte da placa:

Processos Realizados

Page 28: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

• Extração do texto contido na placa Binarização

Erosão

Processos Realizados

Page 29: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

• Extração do texto contido na placa Dilatação

Smooth

Processos Realizados

Page 30: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Demonstração

Page 31: Sistema de Reconhecimento de Placas de Carro (Brasil) - Visão Computacional/OCR/Tesseract

Sistema de Reconhecimento de placas com

OCR

Alunos:

Richiely Batista

Vinícius Bulhões

Vinícius Nunes