Tecniche di Blind Source Separation per il Recupero di Informazioni Nascoste in Manoscritti, Opere d'Arte, Reperti Archeologici Vincenzo Palleschi Consiglio Nazionale delle Ricerche, Pisa Università degli Studi di Pisa Università di Torino

Seminario di Cultura Digitale, 22 marzo 2017

Imaging Multispettrale

Il termine "imaging multispettrale" indica quelle tecniche digitali di ricostruzione di immagine che si propongono di riprodurre (ed estendere) il meccanismo della visione umana

Il meccanismo della visione

´ La radiazione luminosa nell’occhio umano attiva in maniera diversa tre tipi di recettori (coni) della retina

´ Come conseguenza di questo, l’occhio percepisce lunghezze d’onda diverse come colori diversi, attraverso l’elaborazione dei 3 valori di tristimolo provenienti dai coni

Imaging Digitale

´  Il sistema di imaging più semplice (e diffuso) è quello delle macchine fotografiche digitali

´  I sensori elettronici delle macchine digitali non sono di per sé sensibili al colore

´ La ricostruzione del colore avviene tipicamente attraverso l’interposizione di un sistema di micro-filtri colorati davanti al sensore

Il filtro ‘Bayer’

Imaging Digitale

´ Su un sensore CCD da 24 Mpixel vengono rilevati 6 Mpixel di rosso, 6 Mpixel di blu e 12 Mpixel di verde

´ Il verde è il colore al quale l’occhio umano è più sensibile, e quindi viene campionato al doppio della risoluzione.

Sistemi a Filtro Variabile

´  Macchina fotografica digitale simile ad una macchina fotografica convenzionale

´  La selezione spettrale è effettuata attraverso l’interposizione di opportuni filtri di fronte all’obiettivo o tra l’obiettivo e il sensore

Oltre il visibile

´ La banda di ‘colore’ al di sopra dei 700/750 nm non è percepita dall’occhio umano, ma può essere registrata dai sensori CCD (Charge-Coupled Devices) che si usano per l’imaging multispettrale visibile

300 400 500 600 700 800 900 1000 1100 12000.01

0.1

1

Rel

ativ

e ef

ficie

ncy

Wavelength λ nm

Dipendenza dalla lunghezza d'onda

Radiazioni di lunghezza d'onda differente hanno diverse profondità di penetrazione al di sotto della superficie

La componente riflessa a lunghezze d'onda corte (ultravioletto/blu) in genere fornisce informazioni sulla struttura della superficie, mentre quella nell’infrarosso può rivelare la struttura del dipinto al di sotto dello strato pittorico

Agnolo Bronzino – La pietà

Olio su tavola cm 223x84,5 in tabernacolo ligneo policromo e dorato cm 323x126x38 Firmata e datata ANGELUS BRONZINUS. 1569 FLOR. FAC.

La pietà del Bronzino

La pietà del Bronzino

La pietà del Bronzino

Tomba della Scimmia

arenaria

argilla colore

Imaging Infrarosso

FIGURE ROSSE

Imaging Infrarosso

Altra figura

Immagine IR

Andamento IR

850 nm 950 nm

1050 nm

Andamento IR

1050 nm

Per ottenere un aumento della leggibilità dell’immagine è importante avere una buona risoluzione spettrale nell’IR Immagine nella banda

complessiva tra 850 e 1050 nm (simulata)

ELABORAZIONE DELLE IMMAGINI MULTISPETTRALI

Ipercolori

´  In un’immagine RGB, ogni pixel è associato ad un colore, con tre coordinate corrispondenti alle componenti Blu, Verde e Rossa

´  Si può immaginare che ad ogni pixel sia associato un vettore con quelle componenti

Colori vicini e colori lontani

G

R B

G

R B

Ø  La distanza tra due colori si può misurare calcolando l’angolo tra i due vettori che li rappresentano, piuttosto che la distanza cartesiana tra i due punti che individuano

Ø  Infatti, i due punti possono essere anche molto distanti tra loro ma se l’angolo che fanno è piccolo, praticamente corrispondono a sfumature dello stesso ‘colore’

Ipercolori

´  Cosa succede se abbiamo più di tre bande spettrali?

´  Succede che ad ogni pixel sarà associato un vettore con più di tre componenti

´  Anche se non riusciamo a visualizzare questo vettore in uno spazio a tre dimensioni, tutti i teoremi matematici che valgono per i vettori tridimensionali sono allo stesso modo validi per i vettori con più di tre dimensioni

Individuazione di zone con colori ‘simili’

´ Se si hanno a disposizione più di tre bande di colore, nelle nostre immagini si possono individuare delle zone caratterizzate da (iper)colori vicini, andando a marcare i punti distanti meno di un certo valore da un (iper)colore di riferimento

´ Tanto minore è la distanza di ‘soglia’ per definire la similitudine tra i colori, tanto più sarà selettiva la procedura

´  Imponendo un criterio di similitudine troppo ristretto, si corre il rischio di considerare come diverse sfumature di colore simili

Immagini rosse – Tomba della Scimmia

TRATTAMENTI STATISTICI

Elaborazione di gruppi di immagini

Un insieme di immagini multispettrale può essere elaborato per evidenziare particolari altrimenti non immediatamente visibili o migliorare la leggibilità del soggetto applicando il principio di separazione statistica delle immagini

L’idea è quella di considerare le n immagini multispettrali (pari alle bande di ‘colore’ considerate) come la sovrapposizione di altre n immagini ‘indipendenti’, ognuna corrispondente a una caratteristica fisica (substrato, strato pittorico, danneggiamenti superficiali, ‘underdrawing’, ecc…)

Gli algoritmi di separazione tentano di ‘estrarre’ le immagini indipendenti, attraverso una combinazione lineare delle immagini multispettrali originarie

Il problema del cocktail party L'esempio classico che si utilizza per spiegare le tecniche di separazione statistica è il cosiddetto 'problema del cocktail party'…

Con opportuni algoritmi di elaborazione del segnale, si possono isolare le singole conversazioni, riducendo i rumori di fondo, riverberi, ecc…

Trattamenti Statistici

G

B

R

Separazione nelle 3 componenti di colore (RGB)

Trattamenti Statistici

Separazione RGB

R

G

B

Ortogonalizzazione

Rotazione nello spazio delle coordinate di colore

Trattamento statistico delle immagini

Si cerca una serie di combinazioni lineari (somme e differenze) di tutte le immagini multispettrali, nel nostro caso 4 (IR,R,G,B), che massimizzi la differenza o l’indipendenza statistica delle immagini risultanti. Si possono determinare degli algoritmi che non richiedono un intervento esterno e che per questo sono detti:

BLIND SOURCE SEPARATION METHODS

Il Palinsesto di Archimede

La pergamena originale, nella quale erano trascritte alcune opere di Archimede, risale al X secolo. Nel XIII secolo la pergamena fu cancellata per sovrascrivervi un testo di preghiere. Nel 1998 il palinsesto è stato venduto all'asta presso Christie's e acquistato da un anonimo americano (Mr. B.). Da allora è iniziato un lungo lavoro di recupero del testo delle opere Archimede con l'uso di imaging multispetrale, raggi X e luce di sincrotrone.

Palinsesto di Archimede

Palinsesto di Archimede

Le lettere della Contessa d’Albany

Lettura di immagini ‘nascoste’

Opera di artista sconosciuto, all’interno dello specchio si intuisce la presenza di una scritta nascosta

Lettura di immagini ‘nascoste’

B G

R IR

Lettura di immagini ‘nascoste’

ANNO MDCCL XXXIX RIVA

Tomba della Scimmia - Chiusi

Oggi

Aumento di leggibilità con la sola banda IR

Angelelli (1847)

D'Alessandris (1905)

Gatti (1911)

Bianchi Bandinelli (1939)

Aumento di leggibilità con BST

Aumento di leggibilità con BST

Analysis of Multispectral Images in Cultural Heritage and Archaeology, J.Appl.Las.Spectrosc.1 (2014) 23–28

Figura a sinistra

IR

Angelelli (1847)

D'Alessandris (1905)

Gatti (1911)

Bianchi Bandinelli (1939)

Altre figure

Altre figure

G B R IR

In  questo  caso  non  si  ha  nessun  miglioramento  di  leggibilità  passando  dal  visibile  all’infrarosso  

Trattamento statistico delle immagini

G B R IR

Confronto con disegni d’epoca