1 Aplicações e investigação de base – Desafios multidisciplinares

António TeixeiraDep. Electrónica Telec. Informática, Universidade de

AveiroIEETA

& SIG - IL

2Nossa visão Centrada nos

Humanos (antropomórfica) Dos Humanos

Dados, teorias Modelos

Para os Humanos sistemas

Interdisciplinar Para Português

essencialmente

Humanos

Síntese de Voz

DadosTeorias

Patologias

Sistemas(robôs, computadores

Inspira

Medições

usam...

ajudam

3

I - Aplicações Interfaces Humano-Computador

Aplicações na área da Saúde

4Desafio

É crítico para a área ter exemplos de aplicações actuais e futuras que atraiam investimentos, empresas, alunos e o público em geral

Exemplos de áreas de aplicação em que considero ser relevante apostar: Saúde Interfaces Humano-Máquina / Acesso Universal

Incluindo Robótica

5

“Ubiquitous computing - access to all information for anyone, anywhere, at any time - relies on speech for those whose eyes or hands are directed to other tasks (such as driving ...) or for those who cannot read or type (such as children, the blind, or the disabled).”

Nass & Brave, in Wired for Speech

6Porquê Fala/Voz ? A nossa forma natural de comunicar

Interesse crescente em estender o seu uso a interacção com máquinas

O HAL era fluente … em Inglês !!! Mãos e visão livre

Permite interacção a alguma distância Pode ser usada mesmo sem contacto visual

Não é necessário aprender a “linguagem” de interacção

Permite acesso remoto através do telefone

7

Robôs de Serviço – Robôs Pessoais A próxima geração precisa de ser:

Animada Respondendo a alterações no ambiente

Acessível Ex: Ser capaz de explicar as suas intenções Em muitos casos implicará o uso de interfaces

usando fala Adaptável

A diferentes utilizadores e ambientes Implica aquisição de conhecimento sobre ambiente,

utilizadores e tarefas

8O robô Carl Objectivo:

Desenvolver um robô capaz de aprender através da interacção com interlocutores humanos

1.1 m de altura ~10 anos Pioneer 2-DX

Da Activemedia Computador portátil Array de microfones 2 câmaras, sonares ...

Infelizmente fala Inglês !

9Outras aplicações A Fala deve desempenhar um papel principal nas

“Tecnologias Assistivas” (Assistive Technologies) Ver DSAI 2009 “position paper” Exemplos:

Domótica para tetraplégicos Comunicação Alternativa para Paralisia Cerebral

A integração de tecnologias de fala nas interfaces em geral deve ser promovida Interfaces Multimodais

10

Ciências da Fala e da Audição

Aplicações em Audiologia

Terapia da Fala

11Desafio(s)

Análise instrumental e quantitativa da voz Criação de novos instrumentos de intervenção

e avaliação Novas tecnologias para sistemas aumentativos

Como Geração de Linguagem Natural para interface com sistemas de síntese

Inclusão na formação profissionais desta área de conhecimentos sobre Processamento de Fala

12

Exemplo: SSW para Português

Staggered Spondaic Word Test (SSW) Teste dicótico Desenvolvido por Jorge Humberto

Martins, MCFA, 2007

13

II - Estudos sobre o Português

Fonética ExperimentalUso intensivo de tecnologias

Muito ainda para investigar …

14Desafio Ter informação detalhada sobre a produção do

Português Usar medição o mais directa possível Contemplar os aspectos temporais e de

sincronização Muito pouco contemplados!

Áreas prioritárias: Nasalidade Laterais Vibrantes Produções “patológicas”

fenda palatina, problemas auditivos, doenças neurológicas …

15

Exemplo:Ressonância Magnética

[i] [e] [E]

[i] [e] [E]

16

Exemplo 2:Coarticulação nas Laterais

Lateral [l] Lateral [L]

17Outro Desafio

Reduzir ou eliminar a necessidade de gravação de voz de um humano para a criação de sistemas de conversão texto-fala (TTS)

18Texto -> Gestos -> Voz

Proc. Linguístico(acento, sílaba ...

Modelo Gestual

Sintetizador(articulatório)

“Task dynamics”

Base dadosGestos

Info sincronização

mínimo

(m-i1_) (n-i0_)(m-u_)

Movimento articuladores

Pauta gestual

19

Exemplo de Síntese (com

SAPWindows)

20

Para além da LinguísticaEmoção

Identidade

21Desafio

Voz transmite informação linguística mas também emoção, identidade, dialecto …

Necessidade da inclusão de reconhecimento e expressão de emoções pela voz em sistemas de interacção Humano-computador

22

Primeiro problema: falta de dados

Não existência de um corpus de voz emocional disponível para o Português

Dificuldade de obter amostras de voz emocional espontânea

23Resultados recentes para PE

Raiva diferindo da Neutra no 4 parâmetros analisados

Desespero também diferindo nos 4 parâmetros, mas menores diferenças

Tristeza essencialmente diferente nas irregularidades

Medo similar a desespero e com HNR próximo da Neutra

Alegria, uma emoção positiva, apenas diferindo da neutra pelos valores de f0

Angerf0mean

jit

shim

HNR

Dispairf0mean

jit

shim

HNR

Sadnessf0mean

jit

shim

HNR

Fearf0mean

jit

shim

HNR

Neutralf0mean

jit

shim

HNR

Joyf0mean

jit

shim

HNR

Shimmer

HNR

NeutraMedo

Raiva

Jitter

F0 média

Desesp Tristeza

Alegria

24

III - A família da nossa língua

ISCA Special Interest Group on the Iberian Languages SIG-IL

25Objectivos SIG-IL Fórum de discussão de investigação e aplicações na

área das tecnologias da fala; Promoção a adequada referência pela comunidade

internacional a trabalhos publicados pelos seus membros;

Organizar/apoiar conferências, escolas e workshops;

Divulgar publicações relacionadas com as línguas Ibéricas

Promover a colaboração entre a indústria e academia

Promover o uso de tecnologias da fala na edução

26

SIG-IL ISCA Special Interest Group on the Iberian Languages

Primeira Direcção (Board) Nestor Yoma, Rubén San-Segundo, Andréia Rauber,

Plínio Barbosa,

Direcção actual A. Teixeira (PT), Juan Nolasco Flores (MX), Aldebaro

Klautau (BR), Rubén San-Segundo (SP)

Possibilidade de ter massa critica ?

27Membros do SIG-IL Brasil Portugal Espanha Cuba Chile Argentina

Alemanha EUA Japão Países Baixos Reino Unido

28Ideias e próximo evento Ter repositório de teses, artigos Ter revista com impacto

Parabéns para a recém lançada linguaMatica

Ter projectos conjuntos Um pouco de publicidade

29

Principais desafiosPrefiro usar desafios aos habituais “Problemas”

30Desafios Arranjar formas de superar a não continuidade de

financiamento

Conseguir o reconhecimento efectivo por parte das diversas entidades da grande relevância do Português

Ir diminuindo a incompreensão para as grandes especificidades da investigação nesta área Exemplos:

Dificuldades de comparar resultados por inexistência de conjuntos de teste;

Publicações ISI

31

Obrigado pela atenção!