1

CURSO: Procesamiento Digital de Señales I

Integrantes:

ABIA ARRIETA AUGUSTO CADENILLAS CABANILLAS SEGUNDO REYMUNDO GASPAR MICHAEL

Procesamiento de señales de voz

2

La comunicación oral

3

¿Qué es la voz?

• Onda de sonido (onda de presión)• Producida por el aparato fonador• Utilizada para comunicación (para

transmisión de mensajes)

4

Procesamiento de voz

• Análisis de voz• Codificación y comprensión de voz• Síntesis de voz• Reconocimiento automático de voz• Reconocimiento y verificación de

locutores• Detección de patologías• Diseño de ayudas para la audición

5

Problemas del procesamiento de voz• Variabilidad

– Intra-locutor (estado salud / ánimo, velocidad)– Inter-locutor– Adquisición

• Continuidad: concatenación y coarticulación• Información contenida en la señal de voz

muy redundante• Multi-interactividad entre niveles:

– Nivel fonético– Características suprasegmentales– Nivel semántico: contexto – suplencia mental

• Ruido: perturbación + efecto Lombard

6

• Variabilidad de las señales de voz

• 40 ms correspondientes al fonema /a/

7

Modelo acústico de producción de voz

• Onda acústica: onda de presión en el aire con c = 350 m/s

• Longitud de onda l = c / f– Para 100 Hz, l = 3.5 m– Para 4 kHz, l = 8.75 cm

• Producción de sonido:– Fonemas sonoros: vibración cuerdas vocales– Fonemas sordos: flujo turbulento– Fonemas oclusivos: obstrucción + apertura

8

Formantes

• Formantes: resonancias del tracto vocal

• Por las dimensiones y la velocidad de propagación del sonido, aparece en promedio 1 formante por cada kHz

• El tracto vocal “filtra” la onda glotal: amplifica cada componente de frecuencia con una determinada ganancia

9

Pérdidas por radiación de onda

• p(L) = 0 no es cierto• Impedancia acústica Z• Impedancia para abertura circular

de radio a en plano infinito

• El filtrado del tracto vocal considerando las perdidas por radiación es distinto:• Caída para altas frecuencias• 6 dB / década

10

u(L,f) / uG(f)

11

Solución numérica para función de área correspondiente a fonema /a/

12

Acoplamiento del tracto nasal

13

Modelo acústico de producción de voz

• Excitación– Fonemas sonoros– Fonemas sordos– Fonemas oclusivos

• Filtrado por tracto vocal / nasal– Formantes (1 por kHz)– Caída 6 dB/década

14

Modelo digital de producción de voz

15

Características de la voz• Excitación:

– Sonoro (freq. fundamental o pitch)– Sordo– Oclusivo– Combinación

• Formantes:– Cavidad buco-nasal– Envolvente espectral

• Energía: presión de aire• Evolución en el tiempo de los parámetros

16

Características de la voz• Excitación:

– Sonoro (freq. fundamental o pitch)– Sordo– Oclusivo– Combinación

• Formantes:– Cavidad buco-nasal– Envolvente espectral

• Energía: presión de aire• Evolución en el tiempo de los parámetros

17

Clasificación de los fonemas(desde el punto de vista de la producción)

• Actividad de cuerdas vocales– Vocales– Consonantes sonoras– Consonantes sordas

• Modo de articulación– Vocales– Consonantes

• Lugar de articulación– Vocales– Consonantes

18

Clasificación de vocales

• Modo de articulación (formante 1)– Cerradas (i,u)– Medias (e,o)– Abiertas (a)

• Lugar de articulación (formante 2)– Anteriores (i,e)– Centrales (a)– Posteriores (o,u)

19

Formantes 1º y 2º en vocales

500

1000

1500

2000

2500

3000

200 300 400 500 600 700 800 900 1000

freq.

2o

form

ante

(Hz)

freq. 1er formante (Hz)

/a//o//u/

/i/ /e/

20

Fonemas del español

21

Análisis de señales de voz

• Conceptos de procesado de señales– Transformada de Fourier– Componentes de frecuencia– Espectro de potencia– Filtrado– Ventanas– Muestreo– Espectrogramas

22

Transformada de Fourier

• Transformada (FT): – Cambio de representación– Misma información (otra representación)– Existe transformada inversa (FT-1)– Transforma señal compleja en señal

compleja:

Re(z)

Im(z)

x

yr

f

23

Espectro de potencia (1)

24

Espectro de potencia (2)

25

Descomposición en componentes freq.

26

Linealidad de la Transformada de Fourier

27

Linealidad de la Transformada de Fourier

28

Filtrado

• Caracterización del filtro:– Tiempo: respuesta impulsiva– Frecuencia: función de transferencia (o

respuesta en frecuencia)

filtroexcitación señal filtrada

29

Filtrado en el tiempo: convolución

30

Filtrado en frecuencia: multiplicación

31

Ventanas (multiplicación en tiempo)

32

Ventanas (multiplicación en tiempo)

33

Transformada de un tren de pulsos

34

Transformada de señal periódica

35

Muestreo de señales: T. de muestreo

36

Transformada Fourier: Resumen

37

DFT y FFT

• Transformada discreta de Fourier (DFT)• Transformada rápida de Fourier (FFT)

• Señales discretas (muestreadas)• Ventana (resolución espectral)• N muestras en t => N muestras en f• FFT: Muy utilizada en procesamiento

digital de señales

38

La señal de voz

/sal/

39

La señal de voz

/s/ /a/ /l/

40

Estacionariedad de la voz

• La señal de voz es “estacionaria a trozos”– Durante la pronunciación de un fonema es quasi-

estacionaria– Velocidad cambios tracto vocal– Velocidad cambios cuerdas vocales

– Estacionaria durante 20 – 40 ms– Velocidad de pronunciación: 5-20 fonemas / seg– Análisis de “trozos de voz estacionarios”:

ventanas

41

Análisis con ventanas

42

Análisis con ventanas

43

Espectro de las vocales

/a/

/e/

/a/ cerrada

/i/

/o/

/u/

44

Espectro de las vocales

/a/

/e/

/a/ cerrada

/i/

/o/

/u/

45

Espectro de consonantes sonoras

/l/

/R/

/y/

/m/

/n/

/ñ/

46

Espectro de consonantes fricativas

/s/

/ss/

/sh/

/z/

/f/

/j/

47

Fonemas no estacionarios

• Fonemas estacionarios:– vocales: /a/ /e/ /i/ /o/ /u/– consonantes sonoras: /l/ /y/ /R/ /m/ /n/ /ñ/– consonantes fricativas: /s/ /sh/ /ss/ /z/ /f/ /j/

• Fonemas no estacionarios:– Plosivas sordas: /p/ /t/ /k/– Plosivas sonoras: /b/ /d/ /g/– Otras consonantes: /ch/ /r/

48

Espectrograma (representación tiempo - frecuencia)

49

Espectrograma (representación tiempo - frecuencia)

m b o i a kom p r a R p a n

50

Ventana en el espectrograma: 64ms / 8 ms

51

Información relevante de la señal de voz:

• Para reconocimiento de voz:– Envolvente espectral (formantes)– Evolución temporal de los formantes

Información espectral de tiempo corto• Información complementaria:

– Tono fundamental– Estructura fina del espectro