Pesquisa em LIBRAS

Dr. Guido Lemos de Souza Filho

Felipe Herminio Lemos

Danilo Assis NobreLaboratório de Aplicações de Vídeo Digital

Departamento de Informática

Universidade Federal da Paraíba

“LibrasTV: Geração Automática da

Janela de LIBRAS no SBTVD”

Introdução

• No contexto da TV, a utilização de língua de sinais nos dias de hoje, ainda é limitada aos dispositivos manuais:

– Janela com um intérprete acompanhando o vídeo do programa

Introdução

• Essa solução possui alguns problemas:

– Necessita de um intérprete 24/7

– Tem altos custos operacionais

• Geração e produção (câmera, estúdio, etc);

– Pode ser incômodos para ouvintes e deficientes auditivos:

• Não é possível desabilitar a janela;

• O tamanho da janela é limitado e não pode ser modificado;

Introdução

• Para contornar esses problemas uma solução seria:

– Gerar a janela de LIBRAS de forma automática

– Combinando...

• Tradução automática (Português->LIBRAS) – LIBRAS possui uma gramática própria;

– Ex: “O livro foi pego por mim” (Em Português)

“ LIVRO PEGAR” (LIBRAS)

• Computação Gráfica: – Representação dos sinais por um Avatar-3D;

Objetivos

• O objetivo do projeto, é utilizar as características da TVpara gerar a janela de LIBRAS de forma automática

– Possibilidade de habilitar/desabilitar a janela de LIBRAS;

– Redimensionar e reposicionar a janela;

LibrasTV

Gerador de LIBRAS

• Responsável por gerar um fluxo elementar (elementary stream - ES) de LIBRAS a partir do texto no closed caption (CC);

• Requer um passo anterior de tradução (texto em Português para gramática de LIBRAS);

Protocolo de Codificação

• Dois tipos de mensagens

– LibrasControlMessage e LibrasDataMessage;

– Encapsuladas em Seções Privadas

• APIs para manipulação de pacotes PES no Ginga

– Sinalização do ES na tabela PMT do serviço

Dicionário de LIBRAS

• Armazena uma representação visual dos sinais;

• Cada sinal é representado por um arquivo de vídeo (representado através de um avatar-3D)

Sinal Animação

amanhã

estudar

medicina

Dicionário de LIBRAS• Primeiros passos:

– Entender a linguagem LIBRAS e identificar seus parâmetros (QUEREMAS)

• Configuração das Mãos

• Orientação

• Ponto de Articulação

• Tipo de Movimento

• Expressão Facial

– Modelar uma linguagem expressiva que represente um sinal em LIBRAS

– Implementar um PARSER que analise a estrutura gramatical de um documento que represente um sinal em LIBRAS e que permita a manipulação dos dados contidos no mesmo

WikiLIBRAS

• Para construir o dicionário, a idéia e construir um sistema Web Colaborativo denominado WikiLIBRAS;

Configurações de Mão Pontos de Articulação

WikiLIBRAS

Tipos de Movimento Expressões Faciais

WikiLIBRASConfigurações das Mãos

WikiLIBRASPontos de Articulação

• Subdivididos em Cabeça, Tronco, Braços, Mão e Perna

Tipos de Movimento

• Contorno ou Forma Geométrica:

• Retilínio, helicoidal, semi-circular, sinuoso, angular, pontual;

• Interação: Alternado, de aproximação, de separação, de inserção, cruzando;

• Contato: de ligação, de agarrar, de deslizamento, de toque, de esfregar, de riscar, de escovar ou de pincelar;

WikiLIBRASTipos de Movimento

• Torcedura de pulso: rotação, com refreamento;

• Dobramento de pulso: para cima, para baixo;

• Interno da mãos: abertura, fechamento, cuvarmento e drobramento (simultâneo/gradativo)

Expressões Faciais

• Sobrancelha franzida, Olhos arregalados, Lance olhos, Sobrancelha levantada, Bochecha inflada, Bochecha contraída, Lábios contraídos, Língua, Bochecha direita inflada, Testa franzida

GINGA LibrasTV App

• Testes no Openginga – Implementação de código aberto do middleware Ginga

– http://dev.openginga.org

Conclusões• A geração automática da janela de LIBRAS é uma

importante inovação na TV Digital

– Torna viável a geração da janela de LIBRAS 24 h/dia;

– Reduz os custos de geração da janela;

– Possibilita habilitar/desabilitar, redimensionar e reposicionar a janela de LIBRAS;

• Criação de um sistema colaborativo WikiLibras

– Criação de um banco robusto de sinais

– Interação com toda a comunidade interessada