Eye Tracking: Teknologi dan Implementasi · PDF fileStudi kasus teknologi interaktif dan...
27
Eye Tracking: Teknologi dan Implementasi Dr. Sunu Wibirama 2016.06.04 1
Transcript of Eye Tracking: Teknologi dan Implementasi · PDF fileStudi kasus teknologi interaktif dan...
Eye Tracking: Teknologi dan Implementasi
Dr. Sunu Wibirama2016.06.04
1
Sunu Wibirama
1/18/162
Education
❑ 2008 – now : Lecturer in Department of Electrical Engineering and Information Technology, UGM, Yogyakarta
❑ 2015 : Visiting researcher in Tampere Unit for Computer-Human Interaction (TAUCHI), Tampere University, Finland
❑ 2014 Dr.Eng. Science and Technology Tokai University, Tokyo, Japan ❑ 2010 M.Eng Electronics Engineering KMITL, Bangkok, Thailand ❑ 2007 B.Eng. Electrical Engineering UGM, Yogyakarta, Indonesia
❖ User Experience and Behavioral Research ❖ Eye tracking applications ❖ Virtual and augmented reality technology ❖ Technology commercialization
Positions
Interests
Academic and Industrial Partners
University of Tampere Finland
Tokai University Japan
G-Force CRC LLC San Diego, US
Division of Digital BusinessPT. Telkom Indonesia, Tbk.
TUV Rheinland Indonesia
Shibaura Institute ofTechnology
Japan
EMC-Neuromarketing Indonesia
Apa itu Eye dan Gaze Tracking?
▪ Perangkat elektronik yang berfungsi untuk mendeteksi : (1) gerakan bola mata (eye tracking) (2) atensi / arah pandangan kita (gaze tracking)
▪ Keluaran dari eye tracking : 2D (horizontal, vertical)3D (horizontal, vertical, torsional)
▪ Keluaran dari gaze tracking : 2D (horizontal, vertical)3D (horizontal, vertical, depth)
Eye tracking
Gaze tracking
Apa teknologi di balik eye-gaze tracking berbasis video processing ?
Teknologi dasar deteksi posisi pupil
Dasar-dasar deteksi pupil dengan teknik pengolahan citra digital
Courtesy: S.Wibirama & K.Hamamoto
Pupil-Corneal Reflection
Courtesy: Jason Babcock
Courtesy: Aga Bojko
Vektor P-CR
Dari eye tracking ke gaze trackingMapping posisi pupil atau vektor P-CR ke target kalibrasi pada monitor komputer
Proses kalibrasi 2D
Heat map + gaze sequences
Real-time fixation traces
Hirarki aplikasi eye-gaze tracking
Eye-gaze tracking
Interaktif dan Asistif Diagnosis dan deteksi
- Aplikasi game- Kontrol komputer untuk difabel (assistive technology) - Virtual reality (teleconference dengan joint attention)
- Deteksi vertigo dan kelainan lain - Deteksi atensi pengguna (user experience) - Driving security (deteksi kantuk pada pengendara mobil)
(A.T. Duchowski, 2010)
(sebagai alat masukan) (sebagai teknik analisa)
Studi kasus teknologi interaktif dan asistif: gaze tracking untuk difabel
Pietro (52 tahun): - web designer- penyandang ALS (Amyotrophic lateral sclerosis) - Komunikasi dengan iAble systemReferensi: Majaranta, Päivi, Hirotaka Aoki, Mick Donegan, Dan Witzner Hansen, John Paulin Hansen, Aulikki Hyrskykari and Kari-Jouko Räihä. "Gaze Interaction and Applications of Eye Tracking: Advances in Assistive Technologies.” 1-382 (2012), accessed February 15, 2014. doi:10.4018/978-1-61350-098-9
(Courtesy: SRLABS )
Studi kasus teknologi interaktif dan asistif: gaze tracking untuk game
The Eye Tribe ($99 eye tracker) - Mini remote eye tracker- Untuk perangkat portabel ber- basis android dan windows- Port USB 3.0 Referensi: http://www.damngeeky.com/2013/09/09/13887/the-eye-tribe-tracker-initiates-hand-free-input-for-android-devices-and-pcs.htmlCourtesy: Gaurav (damngeeky.com)
Studi kasus teknologi diagnosis dan deteksi: Studi kegunaan (usability study)
Courtesy: Romano dan Chen (2011)
Studi kasus teknologi diagnosis dan deteksi: video-oculography untuk diagnosa vertigo
Referensi:S. Wibirama, S. Tungjitkusolmun, and C. Pintavirooj , “Dual-Camera Acquisition for Accurate Measurement of Three-Dimensional Eye Movements,” IEEJ Transactions on Electrical and Electronic Engineering, Vol.8(3), 2013, pp. 238-246.
Nystagmus saat vertigo
Deteksi posisi pupil dan gerakan torsi iris
G-Force CRC LLC San Diego, US
3D gaze point
Distance of screen 70 cm
screen
user
Referensi: S. Wibirama and K. Hamamoto, “3D Gaze Tracking on Stereoscopic Display using Optimized Geometric Method”, IEEJ Transactions on Electronics, Information, and Systems, Vol. 134 (3), 2014, pp. 345-352.
Studi kasus teknologi diagnosis dan deteksi:3D gaze tracking untuk mendeteksi motion sickness saat melihat video 3D
Tokai University Japan
19
Headache
Increased salivation
Eye strain
Stomach awareness
Burping
Difficult to focus
Vertigo
Sweating
Dynamic 3D contents
3D gaze tracking untuk mendeteksi motion sickness saat melihat video 3D (1/3)
Referensi: S. Wibirama and K. Hamamoto, "Investigation of Visually Induced Motion Sickness in Dynamic 3D Content based on Subjective Judgment, Heart Rate Variability, and Depth Gaze Behavior,"in Proceeding of The 36th An- nual International Conference of the IEEE EMBS, Chicago, United States of America, 26-30 August 2014, pp. 4803-4806.
203D gaze tracking untuk mendeteksi motion sickness saat melihat video 3D (2/3)
70 cm
39 cm
3D gaze tracker ECG recorder
Dynamic 3D content
sickness
ECG DATA (Participant # 3 – CG movie no fixation)
DEPTH GAZE DATA (Compared with Participant # 7)
3D gaze tracking untuk mendeteksi motion sickness saat melihat video 3D (3/3)
“Fruit Ninja” Game (Half Brick Studios)Participants: 10 participants (8M, 2F). Avg. 25,6 years old
Methods: Mobile eye tracking and Immersive Experience Questionnaire (IEQ)Tools: iPhone 5 (4 inch) and Google Nexus 7 (7 inch)
Study kasus: analisis kelekatan pengguna mobile game
University of Tampere Finland
Dasar-dasar ilmu untuk riset eye tracking
▪Pengolahan citra digital (teknik)
▪Computer vision (teknik)
▪Matematika aljabar (teknik)
▪ Interaksi manusia dan komputer (teknik)
▪Dasar anatomi mata (kedokteran)
▪Disain eksperimen (psikologi)
▪Statistika untuk riset perilaku (psikologi)
Riset-riset dasar
Riset-riset implementasi
Take home messages ☺▪ Eye tracking adalah perangkat elektronik untuk mendeteksi dan
menganalisa gerakan mata (sebagai alat deteksi / diagnosis).
▪ Eye tracking juga bisa dikembangkan untuk alat kendali komputer berbasis gerakan mata (sebagai alat masukan).
▪ Eye tracking memiliki peran yang penting sebagai alat bantu untuk difabel (penyandang cacat), alat diagnosa medis untuk penyandang kelainan sistem penglihatan, maupun alat diagnosis untuk riset perilaku (behavioral research)
▪ Riset eye-gaze tracking sangat potensial untuk dikembangkan di Indonesia dengan segmentasi pengguna yang luas
Kontak Diskusi
Bagi yang ingin sharing dan diskusi lebih lanjut, silakan hubungi:• Twitter: @SocaResearch• Email: [email protected] yang ingin bergabung dengan mailing list kami ([email protected]), silakan hubungi admin kami di: [email protected] Dengan Subject Email ”[Permohonan Subscribe Milis]“
26
Seeing is believing. Listening is understanding. Sharing is inspiring.
27
© 2015
