Andrea Ragona APS Padova convegno mobilità elettrica territorio padovano 13 novembre 2012
Riccardo Ragona Università di...
Transcript of Riccardo Ragona Università di...
Fusione delle Immagini in RadioterapiaRiccardo Ragona Università di Torino
• Introduzione
• Transformazioni
• Algoritmi
• Visualizzazione
• Validazione
• Applicazioni
• Conclusioni
Perche la Fusione delle Immagini ?
CT MRI PET
Risoluzione spaziale Contrasto tessuti molli Attività metabolica
Tipologia delle Immagini
• Immagini Mono-ModalitàProdotte dalla stessa
modalità di imaging
( MR : T1 versus T2 ??)
• Immagini Multi-Modalità
Prodotte da differenti
modalità di imaging
Tipologia della Fusione
• Mono-Modalità
• Multi-Modalità
• Da Modello a Paziente
• Da Paziente a Modello
Tipologia delle Immagini
Classe Anatomica Funzionale
3D CT, MR, US … PET, SPECT, fMRI ….
2D CR, DRR, EPID … Scintigrafia Planare
Dataset di Immagini
E’ un problema 3D !
Patient
Study
Image RT Dose
DICOM DICOM-RT
Study
RT PlanRT S.S RT Image
RT
Treatment
Record
Segmentazione
Confronto delle Immagini :Terminologia
• (Co-)Registrazione delle Immagini1. Processo che crea una relazione fra due datasets
2. Comporta una trasformazione di coordinate di un dataset
• Fusione delle Immagini1. Sintesi di due o più segnali appartenenti a differenti datasets
in un singolo dataset
• Registrazione delle Immagini
E’ il requisito fondamentale per la
• Fusione delle Immagini
Registrazione & Fusione Immagini
2 datasets ?
MRSPECT
La Registrazione deve tener conto delle :
• Differenze nella geometria di acquisizione
Orientamento, ingrandimento e spessore Slice
• Differenze nella posizione del paziente
Lettino, setup e movimenti del Paziente
• Deformazioni dell’anatomia
- resezione/deformazione/crescita Tumore
- differente riempimento retto/vescica/…
- movimento organi: prostata, fegato, polmone …
Scopo della Fusione di Immagini
– Diagnostico
( Radiodiagnostica & Med Nucleare )
– Anatomico-Morfologico
( Radioterapia )
Medesimo Paziente ?
Registrazione di 2 datasets di immagini
Imaging in RadioterapiaStudio A = Dataset Primario
• Elevata risoluzione spaziale ed accuratezza geometrica
Imaging in Radioterapia
• Informazioni per il calcolo della dose
Fusione delle Immagini in Radioterapia
• Introduzione
• Transformazioni
• Algoritmi
• Visualizzazione
• Validazione
• Applicazioni
• Conclusioni
Registrazione di 2 datasets di immagini
Trasformazioni geometriche
• Rigida
• Affine
• Proiettiva
• Deformabile
Trasformazione geometrica
– Rigida• traslazione , rotazione e scala
– Affine• Anche shearing (linee parallele)
– Proiettiva• Il parallelismo delle linee può non
essere preservato
– Deformabile
• Mapping fra linee e curve
Studio A
Studio B
Trasformazione Rigida5 parametri in 2D - 9 parametri in 3D
• Traslazione(t)
• Rotazione(R)
• Similarità o scala(s)
2
2
2y
xp
1
1
1y
xp
12 pRstp
)cos()sin(
)sin()cos(
R
2
1
1s
ss
2
1
1t
tt
Trasformazione geometrica
– Rigida• traslazione , rotazionie e scala
– Affine• Anche shearing (linee parallele)
– Proiettiva• Il parallelismo delle linee può non
essere preservato
– Deformabile
• Mapping fra linee e curve
Studio A
Studio B
Trasformazione Affine
• Rotatione
• Traslazione
• Scala
• Shearing
1
1
2221
1211
23
13
2
2
y
x
aa
aa
a
a
y
x
Lunghezze ed angoli non
sono preservati
Linee parallele sono
preservate
Trasformazione geometrica
– Rigida• Traslazione , rotazione e scala
– Affine• Anche shearing (linee parallele)
– Proiettiva• Il parallelismo delle linee può non
essere preservato
– Deformabile
• Mapping fra linee e curve
Studio A
Studio B
Perspective Transformation (Planar Homography)
Trasformazione geometrica
– Rigida• Traslazione , rotazione e scala
– Affine• Anche shearing (linee parallele)
– Proiettiva• Il parallelismo delle linee può non
essere preservato
– Deformabile (non-Affine)
• Mapping fra linee e curve
Studio A
Studio B
Non AffineAffine
Fusione delle Immagini in Radioterapia
• Introduzione
• Transformazioni
• Algoritmi
• Visualizzazione
• Validazione
• Applicazioni
• Conclusioni
Registrazione di 2 datasets di immagini
Registration Metrics
• E’ una funzione scalare che contieneinformazioni di entrambi i datasets
• Tipicamente occorre determinare il suo valoreminimo (massimo)
Metodi usati per costruire una Metrica :
– Landmark based
– Edge based
– Voxel intensity based
– Information theory based
Registration Metrics
Geometry
Intensity
Landmark based
• Identificazione dei punti corrispondenti nei due
datasets (almeno 4 non coplanari)
• Tipi di landmarks (invasivi/non invasivi)– Esterni
• Markers cutanei visibili
– Interni
• Riferimenti anatomici interni
• Markers interni
Edge - Surface based
• Metodo
– Extrazione delle corrispettive superfici
– Calcolo della trasformazione che minimizza le “distanze” fra le due superfici
• Algoritmi usati
– The “Head and Hat” Algorithm
– The Iterative Closest Point Algorithm
– Chamfer Algorithm
Voxel intensity based
• Metodo
– Si ottimizano talune misure calcolate direttamente dai valoridi intensità dei pixel
• Algoritmi usati
– Minimizzazione delle differenze di intensità
– Tecniche di correlazione
– Rapporto dell’uniformità delle immagini
Registrazione di immagini di ugualemodalità
• Tipica metrica è la somma dei quadrati delledifferenze dei valori di intensità dei voxel
• La metrica non è efficace per immaginiprovenienti da differenti modalità
(MR T1 versus T2 ??)
Mutual Information
• Teoria dell’Information :
Poichè sia MR sia TC descrivono entrambe la medesima anatomia, deve esistere una mutual information fra i due datasets di immagini
• Non richiede nessun modello di relazione a priori
• La massima Information la si ha quando i due datasets sono correttamente registrati
Entropia come misura della Information
• La proposta di Shannon (Shannon’s Entropy 1948)
• L’Information dipende linearmente dalla propabilitàpi che un evento si verifichi
• Il secondo termine comporta che l’Information siainversamente proporzionale alla probabilità che siverifichi
i i
ip
pH1
log
4/16 3/16 3/13 6/16
Teoria basata sull’Information
• Scopo della teoria è la ricerca della geometria nellaquale è massima la quantità di Information condivisa fra le due immagini
– Joint Entropy
• Joint Entropy : misura la quantità di
Information nei due datasets combinati
Entropy & Image Registration
– La Joint Entropy è analogamente definita come:
– La dispersione nell’istogramma Joint deve essere
minimizzata
ji
jipjipBAH,
)],(log[),(),(
Mutual Information (MI)
• H : entropia
- misura la quantità di Information
• I : Mutual Information
- una Metrica che misura la dipendenzastatistica fra i due datasets di immagini
Mutual Information
• La Mutual Information è proporzionale alle
entropie dei singoli datasets
• Massimizzare la funzione Mutual
Information è equivalente a minimizzare la
Joint Entropy
Mutual Information
• E’ indipendente dallamodalità con cui i datasets diimmagini sono prodotti
• E’ più efficace della Joint Entropy
(immagini con background dominante)
M.I. for Image Registration
M.I. for Image Registration
M.I. for Image Registration
Algoritmi di Ottimizzazione
• Simplex
• Gradient Descent
• Quasi-Newton
• Conjugate gradient
• Stocastic gradient (Simulated Annealing)
• ….
Trasformazione geometricaStudio A
Studio B
Trasformazione Locale : Clipbox
Trasformazione Locale : Clipbox & Structure
w1 ·Clipbox + w2·Structure
• Affine
• Non-Affine (Deformabile)– Splines
– Demons
– Physics based• Elastic, Fluid , FEM etc.
Trasformazione geometrica
Deformable Transformation
y
Fixed Image
Transform
x
y
Moving Image
x
Deformable Transformation
y
Fixed Image
Transform
x
y
Moving Image
x
Registrazione Deformabile :Algoritmi
ParametricBSpline – Deformazione elastica di una griglia.
L’ottimizzazione cerca la disposizione ottimale deinodi (Knots).
Free formDemons – Matches delle intensità tramite lo studio dei
gradienti.
Finite Elements Models (FEM) – Modellizza lo spostamento delle strutture usando modelli fisici.
Registrazione Deformabile Mono-Modalità
L’allineamento Deformabile è in accordo con le variazioni anatomiche
CT CBCT Deformations
QUANDO è necessaria unaregistrazione deformabile ?
Variazioni di volume del Tumore o dei tessuti molli sono ignoratidalla trasformazione AffineCT
Una trasformazione Rigidaè richiesta prima diuna trasformazione
Deformabile
Registrazione Deformabile :Algoritmi
ParametricBSpline – Deformazione elastica di una griglia.
L’ottimizzazione cerca la disposizione ottimale deinodi (Knots).
Free formDemons – Matches delle intensità tramite lo studio dei
gradienti.
Finite Elements Models (FEM) – Modellizza lo spostamento delle strutture usando modelli fisici.
Demons Registration: Type 1
Studio A Studio B
Transform
Vector Field
Demons Registration: Type 1
Studio A Studio B
Transform
Vector Field
Registrazione Deformabile :Algoritmi
ParametricBSpline – Deformazione elastica di una griglia.
L’ottimizzazione cerca la disposizione ottimale deinodi (Knots).
Free formDemons – Matches delle intensità tramite lo studio dei
gradienti.
Finite Elements Models (FEM) – Modellizza lo spostamento delle strutture usando modelli fisici.
Confronto fra Trasformazioni
Rigid Bspline Demons
Tipologia della Fusione
• Mono-Modalità
• Multi-Modalità
• Da Modello a Paziente
(riconoscimento e segmentazione strutture del paziente)
• Da Paziente a Modello
Tipologia della Fusione
• Mono-Modalità
• Multi-Modalità
• Da Modello a Paziente
• Da Paziente a Modello
Fusione delle Immagini in Radioterapia
• Introduzione
• Transformazioni
• Algoritmi
• Visualizzazione
• Validazione
• Applicazioni
• Conclusioni
Visualizazione
Fusione delle Immagini in Radioterapia
• Introduzione
• Transformazioni
• Algoritmi
• Visualizzazione
• Validazione
• Applicazioni
• Conclusioni
Validazione
Fusione delle Immagini in Radioterapia
• Introduzione
• Transformazioni
• Algoritmi
• Visualizzazione
• Validazione
• Applicazioni
• Conclusioni
1
Identity Matrix
1
1
2
2
3
3
4
Ca Base Lingua 2009 - Ca Polmone 20114
Rigida + Deformabile4
Somma Dosi4
Midollo
Fusione delle Immagini in Radioterapia
• Introduzione
• Transformazioni
• Algoritmi
• Visualizzazione
• Validazione
• Applicazioni
• Conclusioni
Studio A Studio B
Registrazione Deformabile (???)