Università degli studi di CagliariFacoltà di scienze matematiche, fisiche e naturali

Corso di Laurea in Informatica

Anno Accademico 2008-2009

Slide 2

Contesto e motivazione[1/2]• Prime evoluzioni riguardanti il ‘motore’

• Successive evoluzioni riguardanti l’interfaccia

• Interfacce odierne per molti ancora complicate, con conseguente scarsa alfabetizzazione informatica

Slide 3

Contesto e motivazione[2/2]

• Interfacce future sempre più naturali

• Utilizzeranno modalità di interazione per noi naturali (es: voce, scrittura, gestualità)

• Interfacce di facile utilizzo

• Disperse nell’ambiente

• ‘Invisibili’ e ubique

Slide 4

Obiettivi della tesi

• Realizzazione hardware e software di una interfaccia multitouch

• Implementazione di un applicativo software dimostrativo che utilizzi l’interfaccia multitouch e ne mostri i vantaggi

Slide 5

Attività del lavoro di tesi

Progettazione prototipo di interfaccia

Costruzione del prototipo

Configurazione software del prototipo

Progettazione applicativo software dimostrativo

Stesura del codice

Testing applicazione

Slide 6

Multitouch• Concetto di interazione risalente al 1982

• Sconosciuta ai più fino a pochi anni fa per motivi legati al costo

• Portato alla ribalta dall’ IPhone di Apple nel 2007

• Touchscreen: un punto di contatto per volta, un utente alla volta

• Multitouch screen: più punti di contatto per volta, più utenti per volta

• Soluzione collaborativa

• Manipolazione diretta e naturale

Slide 7

Multitouch Setup[1/4]• Soluzione adottata

Slide 8

Multitouch Setup[2/4] • FTIR – Frustrated Total Internal Reflection

Slide 9

Multitouch Setup[3/4] • Soluzione multitouch camera-based

• Luce infrarossa e filtro passa-banda

• Struttura del tavolo multitouch

Slide 10

Multitouch Setup[4/4]• Rendering del prototipo realizzato

Slide 11

Image processing

• Applicazione di filtri successivi, per ogni singolo frame catturato

Slide 12

Computer Vision

• tBeta, un software di tracking opensource

e multipiattaforma, basato sulle librerie OpenCV (OpenComputerVision)

di Intel

• Image Processing

• Blob detection mediante chiamata alla funzione cvFindContours()

Slide 13

Computer Vision• Blob tracking, calcolo della nuova posizione e degli spostamenti

• Frame rate 30fps , un frame ogni ~33ms

• Algoritmo di tracking utilizzato da tBeta: k-NN (k-Nearest Neighbors)

• Output di tBeta: lista di blob e informazioni relative

• Connessione Socket e invio di pacchetti mediante il protocollo TUIO(Tangible User Interfaces protocol) basato su OSC(OpenSoundControl), su protocollo di trasporto UDP

Slide 14

Eventi• Tipologia di eventi implementabli a livello applicativo

• fingerDown

• fingerUp

• fingerUpdate

Slide 15

Gestures• Gesti, modo naturale di comunicare e molto espressivo

• Gestures dirette, manipolazione diretta e trasformazioni affini di oggetti

Sposta Ruota

Rimpicciolisci Ingrandisci

Slide 16

Applicativo[1/4]• Giornale digitali versus giornali cartacei

• Creazione di un applicativo che consenta una lettura più naturale di contenuti digitali

• Manipolazione diretta dei fogli di giornale virtuali mediante gestures

• Implementato in Action Script 3, linguaggio di scripting e programmazione di Adobe Flash, nella versione CS4

• Utilizzo di librerie opensource per la lettura e il parsing dei messaggi TUIO

Slide 17

Applicativo[2/4]• Download del giornale digitale e conversione in immagini

• Lettura della lista generata

• Ogni pagina convertita e presente nella lista verrà caricata nello stage per essere successivamente manipolata mediante gestures dirette

ilgiornaledisardegna.it

Archivio zip PDF Pagine PDF Immagini JPG Lista.xml

Slide 18

Applicativo[3/4]• Interfaccia dell’applicativo

Slide 19

Applicativo[4/4] : Video

Slide 20

Conclusioni e sviluppi futuri

• Il sistema hardware/software realizzato trae i vantaggi dell’interazione bimanuale, manipolazione diretta, naturale e collaborativa

• Soluzione camera-base di semplice realizzazione con tecniche di Image Processing e Computer Vision, facilmente scalabile

Sviluppi futuri

• Markers e fiducials, Rear-DI (Rear-Diffuse Illumination)

Slide 21

Grazie per l’attenzione

Natural User Interface Group : http://www.nuigroup.com/