POTENZIALITA’ E LACUNE DELL’INGEGNERIA DEL SUONO … · dell’ingegneria del suono applicata...

POTENZIALITA’ E LACUNE DELL’INGEGNERIA DEL SUONO APPLICATA ALLE INTERCETTAZIONI AUDIO PER IL SETTORE FORENSE

1

Dott.ssa Sonia Cenceschi [email protected]

WWW.PERIZIEAUDIOCENCOR.IT



23 ottobre 2014 Laboratorio di informatica forense Dipartimento tecnologie innovative

SUPSI - www.supsi.ch/forense

23 ottobre 2014 Laboratorio di informatica forense Dipartimento tecnologie innovative

SUPSI - www.supsi.ch/forense

ESEMPI DI CONSULENZA • Comparazione vocale • Miglioramento

dell’intelligibilità del parlato • Determinazione del sesso del

parlatore • Individuazione di eventuali

manomissioni • Estrapolazione di

informazioni sonore significative dallo sfondo sonoro (non vocali)

LA PERIZIA REALIZZATA A REGOLA D’ARTE E’: • Scientificamente solida • Chiara anche a persone non

appartenenti al settore • Basata su materiale originale • Basata su fatti e non su

opinioni IL PERITO NON DEVE INOLTRE basare le proprie conclusioni su versioni modificate del materiale originale

dott.ssa Sonia Cenceschi - www.perizieaudiocencor.it 2


L’AUDIO FORENSE SFRUTTA CONOSCENZE ATTINTE DA ALTRI CAMPI SCIENTIFICI

ESEMPI • RICERCA IN CAMPO INFORMATICO: CODIFICA FORMATI AUDIO (ES: CODIFICA MPEG7) RICERCA AUTOMATICA DI MELODIE RICONOSCIMENTO VOCALE PER SOFTWARE DI DETTATURA / TRASCRIZIONE

• RICERCA IN CAMPO MEDICO DIFETTI DELLA PRODUZIONE ORALE MONITORAGGIO E ALLENAMENTO PROSODICO • RICERCA IN CAMPO ARTISTICO: RESTAURO MUSICALE RESTAURO DI TESTIMONIANZE STORICHE ANALISI STORICO MUSICALE


Disturbi impulsivi (passi o porte) Disturbi continui (pioggia o radio)

VOCE

REGISTRAZIONE

ANALISI DELLA VOCE

RIMOZIONE DEI DISTURBI

Segnale aperiodico e complesso con: SPETTRO 60-10.000 HZ / energia massima 300-3.000 Hz Articolazione di vocali e consonanti in un continuo temporale


• VOT (Voice Time onset) Tempo che intercorre tra l’inizio della vibrazione delle corde vocali e l’inizio di una vocale (discrimina la pronuncia delle consonanti) • MFCC Mel Frequency Cepstral Coefficents Serie di valori che approssimano la percezione auditiva cerebrale di un particolare timbro vocale • FLATNESS / HARMONICITY Utile per quantificare il livello di componente rumorosa in una parola


• SPECTRAL CENTROID Indicatore relativo al baricentro energetico di un fonema. Più si sposta sugli alti, più la voce Acquista è brillante • SCALA BARK Scala di valutazione psicoacustica delle Formanti vocaliche: tiene conto della trasformazione Percettiva che avviene nel cervello al momento della ricezione di un segnale vocalico. Utile per comprendere la discriminazione delle vocali • PITCH Frequenza fondamentale del suono armonico (vocalico). Serve per distinguere il sesso del parlatore o per caratterizzarne la voce e i fonemi. E’ anche definita come la «frequenza fondamentale» e varia con umore e tono di voce


RIMOZIONE DISTURBI + AMPLIFICAZIONE +

TONAL GAIN

Modulazione e filtro dell’apparato fonatorio

Filtro e riduzione di banda (300-3400Hz ca)

SEGNALE COMPLESSO NEL TEMPO

ASCOLTO E TRASCRIZIONE

(se realizzabili, vengono fornite più versioni)


CONSONANTI VOCALI

SILENZI ARTICOLAZIONE DEI FONEMI: SUONI DIFFICILMENTE SEPARABILI NEL CONTINUO TEMPORALE


SILENZI (background noise)

VOCALI CONSONANTI

VOCALI: maggiormente indicative per la caratterizzazione del parlatore (corde vocali) CONSONANTI: componente rumorosa (create dalle interruzioni del flusso d’aria dalla cavità orale)


La conoscenza della COMPLESSITA’ DELL’APPARATO AUDITIVO UMANO rende meno banale l’atto della trascrizione

ORGANO DEL CORTI

SEGNALE

VIBRAZIONI

MEMBRANA BASILARE

IMPULSI NERVOSI

INTERPRETAZIONE

TRASCRIZIONE


INFLUENZANO LA COMPRENSIONE: • Intelligibilità • Naturalezza • Gradevolezza • Accettabilità e Semantica • Background culturale (…)

LA RICOSTRUZIONE MENTALE DEL SIGNIFICANTE IN UN SEGNALE DEGRADATO DIPENDE DA: • PREDICIBILITA’ ACUSTICA • PREDICIBILITA’ DELLA

CONOSCENZA Più aumenta il rumore più aumenta la componente di INTERPRETAZIONE

COMPLESSITA’ CEREBRALE Aree principali del linguaggio

AREA DI WERNICKE : comprensione AREA DI BROCA : produzione delle parole GIRO ANGOLARE : lettura, scrittura, interpretazione (funzioni complesse)

LIBRI O. SACKS *

AUDITIVA


AUTOMATICA SEMI-AUTOMATICA

Dominio della psicoacustica: ASCOLTO E

CONFRONTO DIRETTO

Utile su vasto campione di

ascoltatori, ma non sufficiente

Dominio della psicoacustica: ASCOLTO E

CONFRONTO DIRETTO

Utile su vasto campione di

ascoltatori, ma non sufficiente

SOFTWARE AUTOMATICI

Molto costosi e in continua evoluzione

SOFTWARE AUTOMATICI

Molto costosi e in continua evoluzione

ANALISI STATISTICA DELLA SOMIGLIANZA DELLE

FORMANTI VOCALICHE

ANALISI STATISTICA DELLA SOMIGLIANZA DELLE

FORMANTI VOCALICHE

Nessun metodo fornisce prova certa della coincidenza di due

parlatori.

I risultati sono fortemente influenzati dalle condizioni della registrazione e dalla

durata del parlato

VOCE IGNOTA

VOCE NOTA

PROBLEMATICHE • L’ascolto soggettivo va eseguito

su un vasto campione di uditori acusticamente normodotati.

• Non esistevano software automatici di livello, ma poteva essere eseguita la comparazione semi-automatica

• Il personale tecnico è responsabile personalmente del proprio operato

• La comparazione dell’accento può essere un argomento a favore, ma solo se eseguito a regola d’arte


PERIZIA A (2000): soggetto considerato colpevole sulla base di una perizia basata su 1 solo ascolto soggettivo e una valutazione liguistica

Il condannato (dopo 10 anni di carcere) chiede la revisione del processo con eventuale risarcimento dei danni subiti per circa 400 mila franchi al perito A.

Il perito B esegue una controperizia (triplice, secondo i metodi citati) che smonta l’ inconsistenza della precedente.

ESEMPI DI POST-PRODUZIONE • RIDUZIONI DI VOLUME • DISTURBI ARTIFICIALI • TAGLIA E CUCI • MASCHERAMENTO DEL

TIMBRO

IN FASE DI REGISTRAZIONE • TELEFONI MODIFICATI E

APPARECCHIATURE ELETTRONICHE

SMASCHERAMENTO • MANUALE : ANALISI DELLO

SPETTRO • SEMI-AUTOMATICO : ANALISI

DEI DISTURBI CONTINUI • CON SISTEMI AUTOMATICI


ESEMPIO

ISOLAMENTO ANALISI E RICOSTRUZIONE DI:

• rumori impulsivi (es: arma da fuoco)

• disturbi continui (es: stazione radio e conseguente individuazione eventuale del luogo)

• contesto ambientale (es: stazione o automobile e conseguente indizi sugli spostamenti)

• azioni (es: maltrattamenti fisici)

ISOLAMENTO ANALISI E RICOSTRUZIONE DI:

• rumori impulsivi (es: arma da fuoco)

• disturbi continui (es: stazione radio e conseguente individuazione eventuale del luogo)

• contesto ambientale (es: stazione o automobile e conseguente indizi sugli spostamenti)

• azioni (es: maltrattamenti fisici)

LIMITI DELL’APPARATO AUDITIVO • Compressione dell’informazione

audio in entrata • Mascheramento simultaneo • Mascheramento temporale • Banda limitata (20 Hz – 16/20 kHz) • soglia inferiore di intensità

variabile con la frequenza • Molti altri problemi

PSICOACUSTICI


PRIMA DOPO


volume compessivo di alcune centinaia di migliaia di

conversazioni

INTERCETTATI UFFICIALMENTE 30.000 apparecchi [20.000 persone]

REGISTRAZIONI PRIVATE (difficili da quantificare)

analisi del traffico telefonico 150.000 apparecchi

[50-100 mila persone]

3 milioni di singoli eventi (sms/conversazioni...)

REGISTRAZIONI UFFICIALI NON TELEFONICHE (“CIMICI” etc...in fase di indagine,

numerosissime e difficili da quantificare)


1100 * 60 = 66000 MINUTI 66000/20 = 3300 MINUTI

EFFETTIVI DI CONVERSAZINE ELABORATA =55 ORE/ANNO

CONSIDERANDO DALLA SLIDE PRECEDENTE :

30mila apparecchi intercettati: se ciascuno producesse solo 2h di conversazione sensibile/anno, il totale sarebbe 60000 h

Se altrettante fossero prodotte da privati, intercettazioni e eventi singoli, avremmo in totale 180mila ore/anno, ovvero lavoro annuale per

180000/55 = 3272 PERITI

ASSUMENDO CHE 1 PERITO LAVORI 5 gg/sett * 4 h/gg

46 sett/anno, POTREBBE ASCOLTARE: 1100 h di registrazione

TENENDO CONTO CHE: ogni minuto di registrazione richiede un tempo minimo di elaborazione di 20 minuti

Il calcolo è irrealistico: le ore di registrazione sono molte di più e quelle effettivamente analizzabili non sono quantificabili, ma il «gioco» serve a dare un’idea della mole di materiale e lavoro prodotti.

Speech analysis and features extraction: • spectral analysis (spectrograms) • pitch analysis • formant analysis • intensity analysis • jitter, shimmer, silents • Cochleagram (Bark) • Annotation moden let’s you write under the

waveform

MAIN FUNCTIONS

18

MAIN CONTROLS • Denoiser / Hum Removal [continuous

noise] • Declip / Declick [impulsive noise] • Spectral Repair (interpolation of selected areas

on a time-frequency spectrogram) • De-construct (increases tonal or noisy component) • Spectrum analyzer and partial selection

EXAMPLES • TAGLIO DI AREE DI

FRQUENZA • SELEZIONE DELLE SINGOLE ARMONICHE • AUMENTO DEL GAIN DELLA

PARTE TONALE (for voice and music) • EQUALIZZAZIONE (...)

iZotope RX è un software professionale dedicato al solo restauro audio. Contiene comandi, come il Deconstruct, particolarmente indicati per aumentare l’intelligibilità

del parlato. 19

AUDIO FORENSICS Investire in ricerca e formazione significa • aumento della sicurezza per

collettività e singolo cittadino • minore spreco di risorse • aumento delle potenzialità

investigative

20





POTENZIALITA’ E LACUNE DELL’INGEGNERIA DEL SUONO … · dell’ingegneria del suono applicata...

Documents

Transcript of POTENZIALITA’ E LACUNE DELL’INGEGNERIA DEL SUONO … · dell’ingegneria del suono applicata...