Pesquisa em LIBRAS
Dr. Guido Lemos de Souza Filho
Felipe Herminio Lemos
Danilo Assis NobreLaboratório de Aplicações de Vídeo Digital
Departamento de Informática
Universidade Federal da Paraíba
“LibrasTV: Geração Automática da
Janela de LIBRAS no SBTVD”
Introdução
• No contexto da TV, a utilização de língua de sinais nos dias de hoje, ainda é limitada aos dispositivos manuais:
– Janela com um intérprete acompanhando o vídeo do programa
Introdução
• Essa solução possui alguns problemas:
– Necessita de um intérprete 24/7
– Tem altos custos operacionais
• Geração e produção (câmera, estúdio, etc);
– Pode ser incômodos para ouvintes e deficientes auditivos:
• Não é possível desabilitar a janela;
• O tamanho da janela é limitado e não pode ser modificado;
Introdução
• Para contornar esses problemas uma solução seria:
– Gerar a janela de LIBRAS de forma automática
– Combinando...
• Tradução automática (Português->LIBRAS) – LIBRAS possui uma gramática própria;
– Ex: “O livro foi pego por mim” (Em Português)
“ LIVRO PEGAR” (LIBRAS)
• Computação Gráfica: – Representação dos sinais por um Avatar-3D;
Objetivos
• O objetivo do projeto, é utilizar as características da TVpara gerar a janela de LIBRAS de forma automática
– Possibilidade de habilitar/desabilitar a janela de LIBRAS;
– Redimensionar e reposicionar a janela;
LibrasTV
Gerador de LIBRAS
• Responsável por gerar um fluxo elementar (elementary stream - ES) de LIBRAS a partir do texto no closed caption (CC);
• Requer um passo anterior de tradução (texto em Português para gramática de LIBRAS);
Protocolo de Codificação
• Dois tipos de mensagens
– LibrasControlMessage e LibrasDataMessage;
– Encapsuladas em Seções Privadas
• APIs para manipulação de pacotes PES no Ginga
– Sinalização do ES na tabela PMT do serviço
Dicionário de LIBRAS
• Armazena uma representação visual dos sinais;
• Cada sinal é representado por um arquivo de vídeo (representado através de um avatar-3D)
Sinal Animação
amanhã
estudar
medicina
Dicionário de LIBRAS• Primeiros passos:
– Entender a linguagem LIBRAS e identificar seus parâmetros (QUEREMAS)
• Configuração das Mãos
• Orientação
• Ponto de Articulação
• Tipo de Movimento
• Expressão Facial
– Modelar uma linguagem expressiva que represente um sinal em LIBRAS
– Implementar um PARSER que analise a estrutura gramatical de um documento que represente um sinal em LIBRAS e que permita a manipulação dos dados contidos no mesmo
WikiLIBRAS
• Para construir o dicionário, a idéia e construir um sistema Web Colaborativo denominado WikiLIBRAS;
Configurações de Mão Pontos de Articulação
WikiLIBRAS
Tipos de Movimento Expressões Faciais
WikiLIBRASConfigurações das Mãos
WikiLIBRASPontos de Articulação
• Subdivididos em Cabeça, Tronco, Braços, Mão e Perna
Tipos de Movimento
• Contorno ou Forma Geométrica:
• Retilínio, helicoidal, semi-circular, sinuoso, angular, pontual;
• Interação: Alternado, de aproximação, de separação, de inserção, cruzando;
• Contato: de ligação, de agarrar, de deslizamento, de toque, de esfregar, de riscar, de escovar ou de pincelar;
WikiLIBRASTipos de Movimento
• Torcedura de pulso: rotação, com refreamento;
• Dobramento de pulso: para cima, para baixo;
• Interno da mãos: abertura, fechamento, cuvarmento e drobramento (simultâneo/gradativo)
Expressões Faciais
• Sobrancelha franzida, Olhos arregalados, Lance olhos, Sobrancelha levantada, Bochecha inflada, Bochecha contraída, Lábios contraídos, Língua, Bochecha direita inflada, Testa franzida
GINGA LibrasTV App
• Testes no Openginga – Implementação de código aberto do middleware Ginga
– http://dev.openginga.org
Conclusões• A geração automática da janela de LIBRAS é uma
importante inovação na TV Digital
– Torna viável a geração da janela de LIBRAS 24 h/dia;
– Reduz os custos de geração da janela;
– Possibilita habilitar/desabilitar, redimensionar e reposicionar a janela de LIBRAS;
• Criação de um sistema colaborativo WikiLibras
– Criação de um banco robusto de sinais
– Interação com toda a comunidade interessada