National IoT Strategic Roadmap - MIMOS IoT Strategic Roadmap - MIMOS
La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le...
Transcript of La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le...
![Page 1: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/1.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 1
La Realtà Aumentata in Chirurgia
Giovanni Aloisio, Lucio Tommaso De Paolis
Dipartimento di Ingegneria dell’InnovazioneUniversità del Salento
Consorzio SPACI
![Page 2: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/2.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 2
Realtà Aumentata
un sistema di Realtà Aumentata (AR – Augmented Reality) èun sistema che, acquisendo una scena reale, è in grado di arricchire tale scena di elementi grafici
il mondo reale è “aumentato”, ovvero virtualmente arricchito, con informazioni grafiche e testuali addizionali, sincronizzate e generate dal computer
si catalogano come sistemi di AR tutte quelle applicazioni il cui scopo è di incrementare la percezione visiva dello spazio fisico con immagini prese dallo spazio virtuale
![Page 3: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/3.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 3
Realtà Aumentata
il risultato è che l’ambiente reale e virtuale sembrano coesistere e l’utente si può muovere liberamente nella scena
il tutto deve essere elaborato in maniera ottimale, ovvero in maniera tale che l’utente abbia la percezione di una singola scena nella quale il reale ed il virtuale sono due entità indistinguibili
il termine Augmented Reality fu coniato nel 1990 da TomCaudell e David Minzell, ricercatori dei laboratori della Boeing
![Page 4: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/4.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 4
Reality-Virtuality Continuum
![Page 5: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/5.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 5
Realtà Virtuale e Realtà Aumentata
la Realtà Virtuale rappresenta un ambiente interattivo tridimensionale generato dal computer
la Realtà Virtuale richiede un’immersione dell’utente in un mondo completamente fittizio, dove tutto quello che si percepisce è generato dal computer e dove l’utente si ritrova in un mondo distinto, isolato da quello reale
la Realtà Aumentata non isola l’utente dal mondo reale che viene arricchito tramite oggetti virtuali generati dal computer
![Page 6: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/6.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 6
Realtà Aumentata
scopo della Realtà Aumentata è di migliorare la percezione del mondo e le prestazioni dell’operatore
dal punto di vista tecnologico, l’obiettivo è la creazione di un sistema in cui non si noti la differenza tra il mondo reale e l’arricchimento virtuale
![Page 7: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/7.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 7
Tecnologie per la Realtà Aumentata
la scelta della tecnologia dipende fondamentalmente dai requisiti che il sistema di Realtà Aumentata richiede
optical see-through
video see-through
retinal display
handheld display
![Page 8: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/8.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 8
Tecnologie per la Realtà Aumentata
si tratta quindi di tecnologie parzialmente trasmittenti poiché, guardando attraverso la lente, si può vedere l’immagine virtuale sovrapposta a quella reale
tali sistemi molto simili agli Head-Up Display usati dai piloti degli aerei militari
una caratteristica dei combinatori ottici è che riducono l’intensità della luce della scena reale
visori optical see-through
![Page 9: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/9.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 9
Tecnologie per la Realtà Aumentatavisori optical see-through
![Page 10: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/10.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 10
Tecnologie per la Realtà Aumentata
usano due telecamere, una per ciascun occhio, con le quali acquisiscono l'immagine reale
si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display
l’immagine del mondo reale è mescolata elettronicamente con l’immagine generata dal computer ed esposta sul display a cristalli liquidi dello schermo
questa scelta permette di realizzare effetti visivi piùcomplessi
visori video see-through
![Page 11: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/11.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 11
Tecnologie per la Realtà Aumentatavisori video see-through
![Page 12: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/12.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 12
Tecnologie per la Realtà Aumentata
semplicità: il blending ottico è più semplice e sicuramente più conveniente di quello video
risoluzione: le tecnologie video limitano sicuramente la risoluzione della scena
nessun offset dell’occhio: con i video see-through il punto di vista dell’utente coincide con quello della video camera
l’approccio ottico rispetto all’utilizzo di un video see-throughha i seguenti vantaggi:
![Page 13: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/13.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 13
Tecnologie per la Realtà Aumentata
luce e trasparenza degli oggetti virtuali: nei visori opticalsee-through l’oggetto virtuale non oscura completamente la scena reale quando si sovrappone su di essa
largo campo di visuale: con i video see-through si raggiunge certamente un largo campo di visuale
ritardi visuali: i sistemi ottici offrono una vista quasi istantanea del mondo reale, ma una visione ritardata dell’oggetto virtuale
utilizzare un visore video see-through fornisce dei vantaggi:
![Page 14: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/14.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 14
Tecnologie per la Realtà Aumentataretinal display
proiettano un fascio di luce direttamente sulla retina
l’osservatore ha l’illusione di vedere l’immagine come se fosse su un display a 14” a 50 cm
caratteristiche:
alta risoluzioneluminosità
![Page 15: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/15.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 15
Tecnologie per la Realtà Aumentatahandheld display
![Page 16: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/16.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 16
Tecnologie per la Realtà AumentataI vantaggi di utilizzo di tali tecnologie portatili sono:
una reale alternativa agli HMD per applicazioni mobilisupportano applicazioni mobilisupportano applicazioni multi-utentePDA o cellulari hanno prezzi molto accessibili
Gli svantaggi sono:
una limitata screen sizenon forniscono una totale libertà di utilizzo delle manimemoria limitata
![Page 17: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/17.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 17
La Registrazione
il concetto di registrazione consiste nel preciso allineamento e sincronizzazione di due o più elementi sensoriali e comprende tutte le tecniche necessarie affinché l’oggetto virtuale elaborato attraverso il computer si collochi con precisione nell’ambiente reale
si richiede un’esatta calibrazione della videocamera
una delle maggiori difficoltà nelle applicazioni di AR è il calcolo in real-time del punto di vista dell’utente in maniera che gli oggetti virtuali siano perfettamente allineati con quelli reali
![Page 18: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/18.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 18
La Registrazione
occorrono precisi algoritmi o metodi basati su fiducial pointper posizionare con precisione il modello virtuale nella scena reale
nel caso di applicazione in medicina, poiché le tecniche di AR vengono utilizzate anche in sede operatoria, se il processo di registrazione fosse errato, il medico andrebbe incontro a errori spesso imperdonabili
![Page 19: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/19.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 19
Applicazioni di AR
![Page 20: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/20.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 20
Applicazioni di AR
![Page 21: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/21.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 21
Applicazioni di AR
VOMAR Interface
![Page 22: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/22.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 22
Applicazioni in Medicinal’obiettivo è visualizzare strutture anatomiche o patologiche che non possono essere viste direttamente tramite la sovrapposizione dimodelli 3D virtuali alla vista reale del paziente
il paziente diventa trasparente
le interfacce di AR forniscono ai medici una visione quasi “a raggi X”
![Page 23: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/23.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 23
Applicazioni in Medicina
il chirurgo può eseguire con maggiore precisione alcune procedure
le applicazioni si concentrano fondamentalmente sulla chirurgia guidata tramite immagini
![Page 24: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/24.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 24
Applicazioni in MedicinaIRCAD
(Istitut de Recherche Contre le Cancers de l’Appareil Digestif) Strasburgo - Francia
ODYSSEUS Project:3D patient modelling, cooperative surgical planning and simulation in robotizedsurgery
relativamente all’apparato digestivo, sono stati sviluppati sistemi che permettono di conoscere esattamente l’esatta posizione di ciascuna struttura anatomica del paziente al fine di automatizzare la procedura chirurgica
![Page 25: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/25.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 25
Applicazioni in MedicinaCAMP
(Computer Aided Medical Procedures) Monaco - Germania
![Page 26: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/26.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 26
vantaggi della chirurgia minimamente invasiva:vantaggi della chirurgia minimamente invasiva:
diminuzione del trauma postdiminuzione del trauma post--operatorio e della convalescenzaoperatorio e della convalescenza
perdita ridotta di sangue e minore rischio di infezioneperdita ridotta di sangue e minore rischio di infezione
piccoli tagli per lpiccoli tagli per l’’inserimento della strumentazione chirurgicainserimento della strumentazione chirurgica
svantaggi:svantaggi:
una scarsa visione della struttura anatomica di interesseuna scarsa visione della struttura anatomica di interesse
L’applicazione fornisce un utile supporto al medico nell’ambito della chirurgia minimamente invasiva (MIS)
UN SISTEMA DI REALTA’ AUMENTATA AIUTA A RISOLVERE QUESTO PROBLEMA
Applicazione AR - UNILE
![Page 27: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/27.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 27
ottenere una sorta di visione a “raggi X” del paziente reale tramite
un’opportuna interfaccia AR
scegliere opportunamente il punto in cui effettuare il taglio
valutare il percorso migliore per raggiungere gli organi di interesse
Struttura anatomica virtuale
Applicazione AR - UNILE
![Page 28: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/28.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 28
acquisizione ed elaborazione delle immagini mediche
allineamento esatto della struttura anatomica virtuale con il
corpo del paziente
visualizzazione dei modelli 3D virtuali
configurazione a 6 marker
Applicazione AR - UNILE
![Page 29: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/29.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 29
posizionamento corretto
il sistema riconosce i marker singolarmente
ad ogni marker è stata infatti associata una matrice di trasformazione che
trasla il sistema di coordinate di ogni marker in un sistema fisso centrale
Applicazione AR Sviluppata
![Page 30: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/30.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 30
Applicazione AR - UNILE
![Page 31: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/31.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 31
estendere la struttura anatomica virtuale da visualizzare
migliorare il processo di registrazione dei modelli virtuali
automatizzare il processo di registrazione
Sviluppi Futuri
![Page 32: La Realtà Aumentata in Chirurgia - MIMOS paolis slide.pdf · si tratta di un sistema che fonde le immagini reali con quelle di sintesi e le invia agli occhi tramite due display l’immagine](https://reader031.fdocuments.net/reader031/viewer/2022011812/5e3494f432570f19b176d9c0/html5/thumbnails/32.jpg)
MIMOS 2007 - Roma, 6-8 Novembre 2007 32
Dipartimento di Ingegneria dell’InnovazioneUniversità del Salento
&
SPACI Consortium(Southern Partnership for Advanced Computational Infrastructure)
Prof. Giovanni Aloisio ([email protected])Ing. Lucio Tommaso De Paolis ([email protected])