1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep....
Transcript of 1 Aplicações e investigação de base – Desafios multidisciplinares António Teixeira Dep....
1
Aplicações e investigação de base – Desafios multidisciplinares
António TeixeiraDep. Electrónica Telec. Informática, Universidade de
AveiroIEETA
& SIG - IL
2
Nossa visão Centrada nos
Humanos (antropomórfica) Dos Humanos
Dados, teorias Modelos
Para os Humanos sistemas
Interdisciplinar Para Português
essencialmente
Humanos
Síntese de Voz
Dados
Teorias
Patologias
Sistemas(robôs, computadores
Inspira
Medições
usam...
ajudam
3
I - Aplicações
Interfaces Humano-Computador
Aplicações na área da Saúde
4
Desafio
É crítico para a área ter exemplos de aplicações actuais e futuras que atraiam investimentos, empresas, alunos e o público em geral
Exemplos de áreas de aplicação em que considero ser relevante apostar: Saúde Interfaces Humano-Máquina / Acesso Universal
Incluindo Robótica
5
“Ubiquitous computing - access to all information for anyone, anywhere, at any time - relies on speech for those whose eyes or hands are directed to other tasks (such as driving ...) or for those who cannot read or type (such as children, the blind, or the disabled).”
Nass & Brave, in Wired for Speech
6
Porquê Fala/Voz ? A nossa forma natural de comunicar
Interesse crescente em estender o seu uso a interacção com máquinas
O HAL era fluente … em Inglês !!! Mãos e visão livre
Permite interacção a alguma distância Pode ser usada mesmo sem contacto visual
Não é necessário aprender a “linguagem” de interacção
Permite acesso remoto através do telefone
7
Robôs de Serviço – Robôs Pessoais
A próxima geração precisa de ser: Animada
Respondendo a alterações no ambiente Acessível
Ex: Ser capaz de explicar as suas intenções Em muitos casos implicará o uso de interfaces
usando fala Adaptável
A diferentes utilizadores e ambientes Implica aquisição de conhecimento sobre ambiente,
utilizadores e tarefas
8
O robô Carl Objectivo:
Desenvolver um robô capaz de aprender através da interacção com interlocutores humanos
1.1 m de altura ~10 anos Pioneer 2-DX
Da Activemedia Computador portátil Array de microfones 2 câmaras, sonares ...
Infelizmente fala Inglês !
9
Outras aplicações A Fala deve desempenhar um papel principal
nas “Tecnologias Assistivas” (Assistive Technologies) Ver DSAI 2009 “position paper” Exemplos:
Domótica para tetraplégicos Comunicação Alternativa para Paralisia Cerebral
A integração de tecnologias de fala nas interfaces em geral deve ser promovida Interfaces Multimodais
10
Ciências da Fala e da Audição
Aplicações em Audiologia
Terapia da Fala
11
Desafio(s)
Análise instrumental e quantitativa da voz Criação de novos instrumentos de
intervenção e avaliação Novas tecnologias para sistemas
aumentativos Como Geração de Linguagem Natural para
interface com sistemas de síntese Inclusão na formação profissionais desta área
de conhecimentos sobre Processamento de Fala
12
Exemplo: SSW para Português
Staggered Spondaic Word Test (SSW) Teste dicótico Desenvolvido por Jorge Humberto
Martins, MCFA, 2007
13
II - Estudos sobre o Português
Fonética ExperimentalUso intensivo de tecnologias
Muito ainda para investigar …
14
Desafio Ter informação detalhada sobre a produção do
Português Usar medição o mais directa possível Contemplar os aspectos temporais e de
sincronização Muito pouco contemplados!
Áreas prioritárias: Nasalidade Laterais Vibrantes Produções “patológicas”
fenda palatina, problemas auditivos, doenças neurológicas …
15
Exemplo:Ressonância Magnética
[i] [e] [E]
[i] [e] [E]
16
Exemplo 2:Coarticulação nas Laterais
Lateral [l] Lateral [L]
17
Outro Desafio
Reduzir ou eliminar a necessidade de gravação de voz de um humano para a criação de sistemas de conversão texto-fala (TTS)
18
Texto -> Gestos -> Voz
Proc. Linguístico(acento, sílaba ...
Modelo Gestual
Sintetizador(articulatório)
“Task dynamics”
Base dadosGestos
Info sincronização
mínimo
(m-i1_) (n-i0_)(m-u_)
Movimento articuladores
Pauta gestual
19
Exemplo de Síntese (com
SAPWindows)
20
Para além da Linguística
Emoção
Identidade
21
Desafio
Voz transmite informação linguística mas também emoção, identidade, dialecto …
Necessidade da inclusão de reconhecimento e expressão de emoções pela voz em sistemas de interacção Humano-computador
22
Primeiro problema: falta de dados
Não existência de um corpus de voz emocional disponível para o Português
Dificuldade de obter amostras de voz emocional espontânea
23
Resultados recentes para PE Raiva diferindo da Neutra no
4 parâmetros analisados Desespero também diferindo
nos 4 parâmetros, mas menores diferenças
Tristeza essencialmente diferente nas irregularidades
Medo similar a desespero e com HNR próximo da Neutra
Alegria, uma emoção positiva, apenas diferindo da neutra pelos valores de f0
Angerf0mean
jit
shim
HNR
Dispairf0mean
jit
shim
HNR
Sadnessf0mean
jit
shim
HNR
Fear
f0mean
jit
shim
HNR
Neutral
f0mean
jit
shim
HNR
Joy
f0mean
jit
shim
HNR
Shimmer
HNR
NeutraMedo
Raiva
Jitter
F0 média
Desesp Tristeza
Alegria
24
III - A família da nossa língua
ISCA Special Interest Group on the Iberian Languages SIG-IL
25
Objectivos SIG-IL Fórum de discussão de investigação e aplicações
na área das tecnologias da fala; Promoção a adequada referência pela comunidade
internacional a trabalhos publicados pelos seus membros;
Organizar/apoiar conferências, escolas e workshops;
Divulgar publicações relacionadas com as línguas Ibéricas
Promover a colaboração entre a indústria e academia
Promover o uso de tecnologias da fala na edução
26
SIG-IL ISCA Special Interest Group on the Iberian Languages
Primeira Direcção (Board) Nestor Yoma, Rubén San-Segundo, Andréia Rauber,
Plínio Barbosa,
Direcção actual A. Teixeira (PT), Juan Nolasco Flores (MX), Aldebaro
Klautau (BR), Rubén San-Segundo (SP)
Possibilidade de ter massa critica ?
27
Membros do SIG-IL Brasil Portugal Espanha Cuba Chile Argentina
Alemanha EUA Japão Países Baixos Reino Unido
28
Ideias e próximo evento
Ter repositório de teses, artigos Ter revista com impacto
Parabéns para a recém lançada linguaMatica
Ter projectos conjuntos Um pouco de publicidade
29
Principais desafios
Prefiro usar desafios aos habituais “Problemas”
30
Desafios Arranjar formas de superar a não continuidade
de financiamento
Conseguir o reconhecimento efectivo por parte das diversas entidades da grande relevância do Português
Ir diminuindo a incompreensão para as grandes especificidades da investigação nesta área Exemplos:
Dificuldades de comparar resultados por inexistência de conjuntos de teste;
Publicações ISI
31
Obrigado pela atenção!