1

Aplicações e investigação de base – Desafios multidisciplinares

António TeixeiraDep. Electrónica Telec. Informática, Universidade de

AveiroIEETA

& SIG - IL

2

Nossa visão Centrada nos

Humanos (antropomórfica) Dos Humanos

Dados, teorias Modelos

Para os Humanos sistemas

Interdisciplinar Para Português

essencialmente

Humanos

Síntese de Voz

Dados

Teorias

Patologias

Sistemas(robôs, computadores

Inspira

Medições

usam...

ajudam

3

I - Aplicações

Interfaces Humano-Computador

Aplicações na área da Saúde

4

Desafio

É crítico para a área ter exemplos de aplicações actuais e futuras que atraiam investimentos, empresas, alunos e o público em geral

Exemplos de áreas de aplicação em que considero ser relevante apostar: Saúde Interfaces Humano-Máquina / Acesso Universal

Incluindo Robótica

5

“Ubiquitous computing - access to all information for anyone, anywhere, at any time - relies on speech for those whose eyes or hands are directed to other tasks (such as driving ...) or for those who cannot read or type (such as children, the blind, or the disabled).”

Nass & Brave, in Wired for Speech

6

Porquê Fala/Voz ? A nossa forma natural de comunicar

Interesse crescente em estender o seu uso a interacção com máquinas

O HAL era fluente … em Inglês !!! Mãos e visão livre

Permite interacção a alguma distância Pode ser usada mesmo sem contacto visual

Não é necessário aprender a “linguagem” de interacção

Permite acesso remoto através do telefone

7

Robôs de Serviço – Robôs Pessoais

A próxima geração precisa de ser: Animada

Respondendo a alterações no ambiente Acessível

Ex: Ser capaz de explicar as suas intenções Em muitos casos implicará o uso de interfaces

usando fala Adaptável

A diferentes utilizadores e ambientes Implica aquisição de conhecimento sobre ambiente,

utilizadores e tarefas

8

O robô Carl Objectivo:

Desenvolver um robô capaz de aprender através da interacção com interlocutores humanos

1.1 m de altura ~10 anos Pioneer 2-DX

Da Activemedia Computador portátil Array de microfones 2 câmaras, sonares ...

Infelizmente fala Inglês !

9

Outras aplicações A Fala deve desempenhar um papel principal

nas “Tecnologias Assistivas” (Assistive Technologies) Ver DSAI 2009 “position paper” Exemplos:

Domótica para tetraplégicos Comunicação Alternativa para Paralisia Cerebral

A integração de tecnologias de fala nas interfaces em geral deve ser promovida Interfaces Multimodais

10

Ciências da Fala e da Audição

Aplicações em Audiologia

Terapia da Fala

11

Desafio(s)

Análise instrumental e quantitativa da voz Criação de novos instrumentos de

intervenção e avaliação Novas tecnologias para sistemas

aumentativos Como Geração de Linguagem Natural para

interface com sistemas de síntese Inclusão na formação profissionais desta área

de conhecimentos sobre Processamento de Fala

12

Exemplo: SSW para Português

Staggered Spondaic Word Test (SSW) Teste dicótico Desenvolvido por Jorge Humberto

Martins, MCFA, 2007

13

II - Estudos sobre o Português

Fonética ExperimentalUso intensivo de tecnologias

Muito ainda para investigar …

14

Desafio Ter informação detalhada sobre a produção do

Português Usar medição o mais directa possível Contemplar os aspectos temporais e de

sincronização Muito pouco contemplados!

Áreas prioritárias: Nasalidade Laterais Vibrantes Produções “patológicas”

fenda palatina, problemas auditivos, doenças neurológicas …

15

Exemplo:Ressonância Magnética

[i] [e] [E]

[i] [e] [E]

16

Exemplo 2:Coarticulação nas Laterais

Lateral [l] Lateral [L]

17

Outro Desafio

Reduzir ou eliminar a necessidade de gravação de voz de um humano para a criação de sistemas de conversão texto-fala (TTS)

18

Texto -> Gestos -> Voz

Proc. Linguístico(acento, sílaba ...

Modelo Gestual

Sintetizador(articulatório)

“Task dynamics”

Base dadosGestos

Info sincronização

mínimo

(m-i1_) (n-i0_)(m-u_)

Movimento articuladores

Pauta gestual

19

Exemplo de Síntese (com

SAPWindows)

20

Para além da Linguística

Emoção

Identidade

21

Desafio

Voz transmite informação linguística mas também emoção, identidade, dialecto …

Necessidade da inclusão de reconhecimento e expressão de emoções pela voz em sistemas de interacção Humano-computador

22

Primeiro problema: falta de dados

Não existência de um corpus de voz emocional disponível para o Português

Dificuldade de obter amostras de voz emocional espontânea

23

Resultados recentes para PE Raiva diferindo da Neutra no

4 parâmetros analisados Desespero também diferindo

nos 4 parâmetros, mas menores diferenças

Tristeza essencialmente diferente nas irregularidades

Medo similar a desespero e com HNR próximo da Neutra

Alegria, uma emoção positiva, apenas diferindo da neutra pelos valores de f0

Angerf0mean

jit

shim

HNR

Dispairf0mean

jit

shim

HNR

Sadnessf0mean

jit

shim

HNR

Fear

f0mean

jit

shim

HNR

Neutral

f0mean

jit

shim

HNR

Joy

f0mean

jit

shim

HNR

Shimmer

HNR

NeutraMedo

Raiva

Jitter

F0 média

Desesp Tristeza

Alegria

24

III - A família da nossa língua

ISCA Special Interest Group on the Iberian Languages SIG-IL

25

Objectivos SIG-IL Fórum de discussão de investigação e aplicações

na área das tecnologias da fala; Promoção a adequada referência pela comunidade

internacional a trabalhos publicados pelos seus membros;

Organizar/apoiar conferências, escolas e workshops;

Divulgar publicações relacionadas com as línguas Ibéricas

Promover a colaboração entre a indústria e academia

Promover o uso de tecnologias da fala na edução

26

SIG-IL ISCA Special Interest Group on the Iberian Languages

Primeira Direcção (Board) Nestor Yoma, Rubén San-Segundo, Andréia Rauber,

Plínio Barbosa,

Direcção actual A. Teixeira (PT), Juan Nolasco Flores (MX), Aldebaro

Klautau (BR), Rubén San-Segundo (SP)

Possibilidade de ter massa critica ?

27

Membros do SIG-IL Brasil Portugal Espanha Cuba Chile Argentina

Alemanha EUA Japão Países Baixos Reino Unido

28

Ideias e próximo evento

Ter repositório de teses, artigos Ter revista com impacto

Parabéns para a recém lançada linguaMatica

Ter projectos conjuntos Um pouco de publicidade

29

Principais desafios

Prefiro usar desafios aos habituais “Problemas”

30

Desafios Arranjar formas de superar a não continuidade

de financiamento

Conseguir o reconhecimento efectivo por parte das diversas entidades da grande relevância do Português

Ir diminuindo a incompreensão para as grandes especificidades da investigação nesta área Exemplos:

Dificuldades de comparar resultados por inexistência de conjuntos de teste;

Publicações ISI

31

Obrigado pela atenção!