Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

57
Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008

Transcript of Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Page 1: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Mixed Reality: Virtual Reality, Augmented Reality,

Augmented Virtuality

Luigi Cinque

Maggio 2008

Page 2: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Meaning of “Virtual” and “Reality”

• “Virtual” significa immaginario o non-reale

• “Reality” si riferisce allo stato o alla qualita’ di essere reale

Page 3: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Outline

• Mixed Reality (MR)

• Virtual Reality (VR)

• Augmented Reality (AR)

• Augmented Virtuality (AV)

Page 4: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Mixed Reality

• Mixed Reality (MR)

e’ un termine che viene usato per rappresentare un intero spettro di situazioni che spaziano dall’ambiente reale all’ambiente virtuale.

Page 5: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Mixed Reality Continuum

• Mixed reality includes augmented reality, augmented virtuality, and other mixed configurations.

Mixed Reality (MR)

Page 6: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Caratteristiche dei MR display

– Reproduction Fidelity: qualita’ di generare immagini

– Extent of Presence Metaphor: misura il livello di immersioni dell’utente dentro la scena

– Extent of World Knowledge: accurata sincronizzazione degli oggetti virtuali e mondo reale

Page 7: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

What is Virtual Reality ?

– Brooks (1999) definisce come: “un’esperienza .. nella quale l’utente e’

immerso in un mondo virtuale capace di reagire alla sua presenza” …

– Sherman and Craig (2003) definisce come: “un mezzo composto da simulazioni interattive

tramite computer che percepiscono la posizione e le azioni dell’utente e sostituiscono o aumentano il feedback di uno o piu sensi, dando l’impressione di essere mentalmente immersi o presenti nella simulazione (virtual world)”

Page 8: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Performance of VR system

• La caratteristica piu’ importante di un sistema VR e’ la capacita’ di produrre alta fedelta’, alta risoluzione, immagini 3D realistiche in real-time senza evidenti “flicker”.– Hardware capability– Software capability

Page 9: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Four Key Elements in Experiencing VR

– Un ambiente virtuale– Immersione (fisica e mentale): dà un senso di

“presenza” nell’ambiente virtuale; questo puo’ essere uno stato puramente mentale o realizzato con mezzi fisici

– Feedback: sensoriale visivo/auditivo/tattile inviato all’utente.

– Interattivita: in un’esperienza di realta’ virtuale, i partecipanti si possono muovere e cambiare punto di vista.

Page 10: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Four Crucial Technologies for VR

• Visual displays: immersione dell’utente nel mondo virtuale

• graphics rendering system: che genera da 20 a 30 frames per secondi

• tracking system: rileva continuamente la posizione e l’orientamento della testa e della mano dell’utente (ritardi di ms nessun problema, >0.1 s, effetto catastrofico)

• database system: per costruzione ed aggiornamento dei dettegli e dei modelli realistici del mondo virtuale

Page 11: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Presence and Immersion

• Immersion“immerso nell’ambiente”: realizzato da

HMD o sistemi multi-display (FOV) • Self Presence

“senso di 3D relativo all’ambiente: “I am there”

• Object Presence oggetti sono 3D rispetto all’utente: “it is

there”

Page 12: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

The Technology of Immersion

• Stereoscopic display: dà la profondita’ del campo visivo dell’utente

• Head tracking: dà illusione all’utente di guardarsi attorno.

• 3D computer graphics: riempie l’ambiente con gli oggetti

• 3D interaction: da’ la sensazione all’utente di interaggire con oggetti reali

Page 13: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Criteria of Immersion

• Totale illusione di essere circondato da oggetti virtuali

• L’ambiente dovrebbe “reagire”all’utente.• Gli oggetti devono avere un senso di presenza• Non e’ richiesto il modello del mondo reale• Non sono importante foto realistiche

Page 14: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Typical Components of VR• Sistema Base:

– Computer – Head-Mounted Display (HMD) – Hand-tracked device (VR Glove or Wand)– 3D graphics rendering system

• Inoltre:– 3D sound, voice I/O, spaceball, etc.

Page 15: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Typical Computer used for VR

SGI’s Onyx 2 (4 CPUs, 2 Infinite Reality Pipelines)

Page 16: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Head-Mounted Display (HMD)

– Piccoli display montati sulla testa, completamente immersivi, hanno bisogno di un tracker per tracciare la posizione e l’orientazione della testa.

Page 17: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Head-Mounted Display (HMD)

-supported Floor Display

Page 18: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Stereoscopy• Stereoscopia è una tecnica capace di creare

l’illusione della profondita’ in un’immagine.

• L’illusione della profondita’ in una foto, film, o altre immagini 2D e’ creata tramite due immagini leggermente diverse per ogni occhi.

Page 19: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

VR Glove

Page 20: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Wand

Page 21: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

3D Tracking Paradigm

• Uno o più sensori determinano la posizione e l’orientamento rispetto ad una sorgente

• Il sensore(i) capta un segnale proveniente dalla sorgente e stabilisce sia posizione che l’orientamento

• Sorgente e sensore possono essere fissi o mobili

• Diverse tecnologie:• Ultrasuoni, Elettromagnetici, Ottici

Page 22: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Localization by Ultrasound

• Una sorgente (emittente) emette un segnale (ultrasuono) verso il guanto, che contiene 2-3 ricevitori.

• Il tempo che intercorre tra l’emissione e la ricezione determina la distanza emittente-ricevente

Page 23: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Localization by Ultrasound

Emitter

Ultrasound wave

Finger flexion sensor

Spatial position sensor

Page 24: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Ultrasonic Tracking Advantages and Disadvantages

• Vantaggi• Basso costo• Facile da realizzare

• Svantaggi• Nessun ostacolo tra emittente e ricevente• Range molto corto (few feet)• Fortemente dipendente dalla temperatura e

dall’umidità dell’aria

Page 25: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Localization by Electromagnetic (EM) Pulses

• Tre antenne emettono impulsi radio in sequenza

• Tre antenne ricevono gli impulsi e determinano la potenza del segnale lungo gli assi

• La potenza globale delle tre receventi dara’ la distanza dalla sorgente emittente

Page 26: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Localization by EM Pulses

Electronicbox

output t

o the

host

com

puter

Receiver weak signal

Emitter strong signal

Page 27: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

EM Advantages and Disadvantages

• Vantaggi• Facilita’ nella gestione del tracking• Possono esserci ostacoli tra sorgente e sensore• Tecnologia matura

• Svantaggi• Errori nel tracking• Range corto• Fortemente sensibile al campo magnetico e oggetti

metallici nell’ambiente

Page 28: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Localization by Optical Correlation

• Analisi stereoscopica, correlazione pixels comuni a due immagini riprese da due telecamere

• I punti correlati permettono la triangolazione delle posizioni (3D)

• La triangolazione si basa sulla corrispondenza di punti simili presi su due immagini diverse

Page 29: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Localization by Optical Correlation

Page 30: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Optical Advantages and Disadvantages

• Vantaggi• Qualita’ molto buona del segnale di tracking• Uno dei metodi piu’ precisi

• Svantaggi• Nessun ostacolo tra emittente e receivente• Ingombrante e difficile da realizzare

Page 31: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Cave Automatic Virtual Environment (CAVE)

• Sistemi basati sulla proizione: proiezione diretta o con retro-proizione, l’utente è completamente circondato da immagini proiettate su grandi schermi. Crea un senso di elevata immersione

Page 32: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

CAVE

• Completely immersive• Maximum cost solution• Centralized facility• Not Mobile

Page 33: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

• The desire for higher-resolution color images and good surround vision without geometric distortion

• Less sensitivity to head-rotation induced errors

• The ability to mix virtual reality imagery with real devices (like one's hand, for instance)

• The need to guide and teach others in a reasonable way in artificial worlds

Goals that inspired CAVE Engineering

Page 34: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

CAVE Demo

Page 35: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Cave Applications

• architectural walk-through• evaluation of engineering designs (virtual

prototyping)• driving simulators• training for dangerous situations and other

scenarios• molecular modeling• virtual reconstruction of archeological sites• medical and biological visualization• artistic expression of ideas, and more ...

Page 36: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Cave Applications

Page 37: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Distributed Architectures: Idea of the Future

Present way of Teaching

Super Computer(Flow data, Visualization computation)

visualization

data

visualization

data

user command

s

user command

s

Ultra Net

Future way of TeachingCAVE A

(ELG 5121)

CAVE B Prof. El Saddik

Page 38: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Blue-c System

• Blue-c system by ETH institutes: collaborative virtual reality

Page 39: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Blue-c System

Page 40: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Workbenches• Banchi di lavoro: schermi piatti che presentano

immagini in modalita’ stereo. Possono essere montati anche in orizzontale/inclinati. Immersione parziale, alto senso di presenza dell’oggetto

Page 41: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

– Interagire piu’ efficaciamente con I mondi virtuali:

• Manipulation• Wayfinding

– Modellare I mondi efficientemente• Modeling the existing world• Modeling non-existing worlds

– Misurare l’illusione della presenza e la sua efficacia operazionale

Hot Open Challenges

Page 42: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Augmented Reality (AR)

• A differenza della virtual reality, augmented reality si riferisce a situazioni nelle quali l’obiettivo è integrare la percezione dell’utente di un mondo reale attraverso l’aggiunta di oggetti virtuali

Page 43: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Augmented Reality

• AR e’ una tecnologia o un ambiente dove l’informazione aggiuntiva, generata da un computer, e’ inserita nella visione dell’utente di una scena del mondo reale.

• AR che e’ un sub-mode di MR e puo’ creare uno spazio di lavoro aumentato inserendo elementi critici dello spazio virtuale nello spazio fisico in cui lavoriamo.

• L’informazione aggiuntiva puo’ consistere di oggetti geometrici virtuali posti nell’ambiente, o nella visualizzazione di informazione non geometrica relativa ad oggetti esistenti tipo la temperatura nella stanza.

Page 44: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Augmented Reality

Page 45: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Augmented Reality

• Sistemi di AR spesso fanno uso di head mounted displays (HMD)

• Ci sono due principali catagorie di sistemi HMD-based AR:– Optical See-Through Augmented Reality– Video See-Through Augmented Reality

• Altri sistemi AR fanno uso di proiettori o altri tipi di display.

Page 46: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Optical see-through• Combinatori ottici parzialmente trasparenti sono

posti di fronte agli occhi, permettono di vedere in essi il riflesso di immagini virtuali rappresentate su piccoli display

Page 47: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

AR Vision 3D HMD• Fa uso di piccole video-camere per catturare la visione

del mondo reale che sarebbe vista dagli occhi. Le immagini reali sono combinate con quelle virtuali, create dal computer, per creare immaginidi AR che vengono visualizzate su un classico HMD (non see-through).

Page 48: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Some Issues in AR

– Focalizzazione: e’ desiderabile avere gli oggetti virtuali visualizzati ad una distanza focale corrispondente alla loro relativa profondità nel mondo reale.

– Portabilita’: in VR, la portabilita’ e’ optional. In AR, l’utente se vuole cambiare la sua posizione nel mondo reale, ha bisogno della portabilita’.

Page 49: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

…Some Issues in AR

– Qualita’ dell’immagine: in VR, l’ambiente virtuale deve essere modellato, renderizzato e visualizzato. In AR, un’accurata visione del mondo reale e’ fornita “for free”. Il display ha solo bisogno di manipolare la visualizzazione degli oggetti virtuali, che può essere realizzata in modo soddisfacente con un campo visuale (FOV field-of-view) piu piccolo, ridotto range di colori, e/o bassa risoluzione.

Page 50: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

…Some Issues in AR

• Tracking and Registration: In VR, non e’ richiesta una registrazione accurata degli oggetti, che possono essere difficili da rilevare e non hanno importanza. In AR, la registrazione accurata e’ critica. Ogni minimo errore nella registrazione sara’immediatamente visibile, ed molto difficile da evitare o superare.

Page 51: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

MRCVEMixed Reality-based collaborative virtual environment (MRCVE)

(Wang et al. 2003):

– Modeling computer: Running AutoCAD or other modeling software.

– MR computer: Running the Mixed Reality viewing software.

– Camera-attached head mounted display (HMD)

Page 52: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Augmented Reality

The Process of Video-Based Marker Detection and Overlay of Virtual Objects

Page 53: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

MRCVE Scenarios

Mixed Reality view through head-mounted display

MRCVE collaboration scenario

Page 54: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

AR-based Videoconferencing

Page 55: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Augmented Virtuality (AV)

• AV descrive tutti quei casi in cui un oggetto reale e’ inserito in un ambiente generato dal computer.

• Un sistema nel quale esiste un input reale multi-sensoriale, che integra l’ambiente virtuale presentato

• Esempi AV– Dirigere il profumo di caffe’ verso un utente quando questo passa

vicono ad una macchina del caffe’ virtuale posta in un ambiente virtuale.

– Accendere una lampada calda su un utente quando si avvicina ad un punto nell’ambiente virtuale esposto al sole.

– Accendere una ventola di fronte all’utente quando si avvicina a un punto nell’ambiente virtuale esposto al vento

Page 56: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

AV-based videoconferencing

Page 57: Mixed Reality: Virtual Reality, Augmented Reality, Augmented Virtuality Luigi Cinque Maggio 2008.

Fine…