PowerPoint Presentation

Smart glass integration in educational environmentsUse case and architecture

Michael SpitzerMartin Ebner

This work is licensed under a Creative Commons Attribution 4.0 International License.

Smart Glasses

Technology solution in search of a problem (Barr, 1990)

ReconJet[http://store.reconinstruments.com/Black-Jet-profile.jpg]

Hier geht es hauptschlich darum, dass immer mehr devices auf den Markt geschmissen werden, aber man kaum passende use cases hat, auch die Schwierigkeiten bei der Integration in IT infrastrukturen (z.B. Schulen) wird oft unterschtzt.2

Why Smart Glasses?Hands-free operationsAugmented realityRecord/play videos from users point of view learning materialRemote assistance and tutoring

Warum Smart glasses und nicht nur ein Tablet/Handy oder PC? 3

ChallengesEducational use case?

Suitable user interaction techniques to not influence the learning situation?

Architecture of an information system to integrate such devices in educational environments?

Wie entwickelt man passende use cases fr technology enhanced learning? Das Gert darf die Lernsituation nicht beeinflussen, deshalb ist die usability extrem wichtig, der Lerndende soll das device gar nicht merken.Die Einbindung in bestehende infrastrukturen wird oft unterschtzt, auch das Erstellen von Lernmaterial fr diese devices muss leicht und intuitiv sein.4

Use case: fine-motor skill training - knitting

Stricken stellvertretend fr alle feinmotorischen Tasks mit den Hnden, dadurch kann die Brille ihren grten Vorteil: hands-free ausspielen, und dass der user alles aus seiner Perspektive sieht.5

Knitting tutorial - workflowTeacher records video tutorial while knitting

Students get a short (verbal) instruction

Students perform the task while recording their progress

Teacher can watch the students remotely and give advice and feedback

Teacher can store the students performance as performance record

Workflow des Lernszenarios vom Erstellen bis Konsumieren des Lernmaterials6

Knitting tutorial video

Recorded with ReconJet

Hier die Videoaufnahme der Lehrerin, Tempo muss langsam sein und die einzelnen Schritte deutlich sichtbar, hier knnte man z.B. noch erwhnen, dass dieses Video mit der Datenbrille aufgezeichnet wurde, die Qualitt der Aufnahmegerte ist jedoch noch verbesserungswrdig. Man kann auch standardmig nur 15sec aufnehmen => devices haben noch potential nach oben, wenn man jedoch jetzt schon die Szenarios erarbeitet und erprobt, kann man sie dann gut einsetzen, wenn bessere Gerte kommen.7

StudentTeacherinstruct(voice, video)observationanalysisfeedbacktask completedlearning objective reachedtask executionwatch / listen(smart glasses)Workflowpreparationlearning situationanalysis / feedbackgoal

Genauer Ablauf der Lernsituation:1. Vorbereitung: Der Lehrer gibt den Schlern zuerst eine verbale Einfhrung, oder sie bekommen ein Lernvideo.2. Lernsituation: Die Schler haben die Brille auf und schauen sich zuerst (mehrmals) das Video an, dann beginnen sie mit dem task. Gleichzeitig wird mit der Brille ein Video aufgenommen, welches der Lehrer live mit anschauen kann.3. Der Lehrer analysiert den Lernfortschritt der Schler live oder zeitversetzt, gibt feedback und entscheidet, ob der Schler das Lernziel erreicht hat.8

User input technologies for smart glassesgesturestouchvoice

Beschreibung der drei naheliegensten Interaktionsmglichkeiten mit der Brille.9

User interaction techniquesVoice recognition

Hands-freeSuitable for language stimulating educational tasks

Not suitable in environments with high ambient noise (big student groups)OK GlassGoogle Glasshttps://commons.wikimedia.org/wiki/File%3AGoogle_Glass_Main.jpg

Gut fr tasks, die Aussprache trainieren oder Sprach-bersetzung, problematisch in lauten Klassen, wo viele Gruppen arbeiten, dann schlechte Erkennung10

User interaction techniquesTouch interaction (spectacle frame)Usable in high ambient noise environments

Hands-free feature is lostMay have an impact on the learning experience Usability in dirty environments (Industry)Repeatedly moving the hand to the spectacle frame fatigue

Gut fr groe Gruppen mit hohem Geruschpegel.Problematisch in schmutziger Umgebung, z.B. Kind klebt mit Uhu und fasst dann an die Brille. Weiters kann die Berhrung der Brille den eigentlichen Task unterbrechen, z.B. beim Stricken muss das kind die Stricknadel erst weglegen und kann dann die Brille steuern und muss dann erst wieder die Nadel nehmen und in die richtige Position bringen. Est ist auf lange Sicht ermdend, wenn man immer auf die Brille greifen muss.11

User interaction techniquesInteraction with gesturesUsable in high ambient noise environmentsNo physical contact with device, usable in dirty environments

Exhausting, if recognition fails repeatedlyMay have an impact on the learning experience

Gestures, z.B. Handbewegungen vor der Brille.Sehr gut bei groem Lrm (keine Spracherkennung mglich) und auch in schmutziger Umgebung.Problem, wenn die Gesten nicht erkannt werden, dann ist es sehr ermdend.Zustzlich die gleichen Probleme wie bei Touch, dass die Lernerfahrung mglicherweise unterbrochen wird. (Arbeitsgerte weglegen, Zwischenbewegungen)12

Information System architecture

Student

Teacher

Server / video storage

Task / video / learn progressmanagement system

Szenario: Lehrer erstellt Video mit Brille, und ladet das Video in die Lernplattform, dort bearbeitet er/sie das Video, z.B. Unterteilung in tasks und weist die tasks dann den Schlern zu.Schler nimmt die Brille, sieht seinen Task und sieht sich das Video an und beginnt dann seine bung, der Lehrer kann mittels live Video bertragung am Computer mitschaun und audio feedback geben.13

Information System requirements 1/2Non technical requirementsCreation and management of learning materialTeacher should be able to modify the learning material on a PCFeedback functionalityTransfer tasks to smart glassesTracking of students performanceLive interaction between students and teacherSeamless integration of the smart glasses in existing information systems

User requirements, Lehrer und Schler14

Information System requirements 2/2Technical requirementsReal time video transmissionVideo upload, edit and managementWeb server with data storage for video material and tutorialsWiFi infrastructureDevice management systemFull featured web interface for students and teachersAndroid App

Technische requirements15

Lessons learnedCreating of learning material not trivialSmart glass display blocks line of sightTeacher had problems to record in the right angleTeacher had to learn how to use the device efficiently

Hardware limitationsOnly 15 seconds video recording possible (ReconJet)Battery lifetime

Das Erstellen war sehr schwer, viele Versuche notwendig, da man sich drauf konzentrieren muss, im richtigen Winkel auf das Strickzeug zu schauen, damit das Bild nicht abgeschnitten wird. Man darf die Ausfhrung nicht zu schnell machen, damit das Video keine Bewegungsunschrfe bekommt. Die 15 Sekunden sind auch sehr knapp, es gehen sich gerade mal zwei Maschen aus. Auch mssen User erstmal lernen, die Datenbrille zu benutzen. Das Navigieren in Applikationen auf der Brille ist am Anfang sehr schwer, deshalb sollte so viel wie mglich am Computer vernderbar und einstellbar sein.16

OutlookSmart glasses optimized for technology enhanced learning

New, more efficient user interaction possibilities

Guidelines/tutorials for teachers

Wie gehts weiter?Wie schaut ein Device, optimiert fr Lernszenarien aus? Welche zustzliche, neuen Interaktionsmglichkeiten wrden die Lernerfahrung verbessern?Wie schult man Lehrer den Umgang mit solchen devices und IT Infrastrukturen?17