Auditory Stimulation For Virtual And Augmented Reality  

Why it’s Important to Get it Right & How to Get it Right

Scott Isabelle, Knowles ElectronicsRobert Gilkey, Wright State University

Acknowledgement:  Brian Simpson, US Air Force Research Labs

Key Functions of Hearing• Social/Communication

• Speech• Music

• Alerting/Orienting• Warning• Directing attention

• Connectedness• Monitoring• Presence

Deafness as a Model of VR Without sound

Ramsdell (1978) – War veterans with sudden, profound hearing loss• Problems associated with loss of communication  abilities were often reported

• But felt that loss at a more primitive level was more important

• Patients often reported that they did not feel part of the world around them

• That the world seemed dead or unreal• That the progression of time was altered

after Gilkey & Weisenberger (1995)

Presence• Importance varies with application• In general, we prefer not to get comments about our VRs such as:

• It seems dead• It seems unreal• I don’t feel like I’m a part of it

• Note deaf individuals make these types of comments to describe an environment (i.e., the real world) in which vision, touch, olfaction, and taste are perfectlyrendered

• a standard we’re unlikely to achieve in virtual displays in the foreseeable future

after Gilkey & Weisenberger (1995)

Auditory Spatialization• Creating an immersive auditory environment to support presence

• Separating sound sources (e.g., voices) to support detection, recognition, and intelligibility (the cocktail party effect)

• Alerting and directing attention to significant objects and events

• Creating a realistic and externalized background

Auditory Localization Cues• Interaural Time Differences (ITDs)• Interaural Level Differences (ILDs) (Head Shadow)• Monaural Level (Head Shadow)• Monaural Spectral Shape (Pinna)• Monaural Spectral Shape (Shoulder/Torso)• Binaural Spectral Shape (Pinna)• Binaural Spectral Shape (Shoulder/Torso)• Dynamic cues from head and/or source movement• Distance

• Level• Floor Echoes• Direct‐to‐Reverberant Ratio• Vocal Effort• ILD for near‐field sources• Atmospheric absorption

Auditory Localization Cues• Interaural Time Differences (ITDs)• Interaural Level Differences (ILDs) (Head Shadow)• Monaural Level (Head Shadow)• Monaural Spectral Shape (Pinna)• Monaural Spectral Shape (Shoulder/Torso)• Binaural Spectral Shape (Pinna)• Binaural Spectral Shape (Shoulder/Torso)• Dynamic cues from head and/or source movement• Distance

• Level• Floor Echoes• Direct‐to‐Reverberant Ratio• Vocal Effort• ILD for near‐field sources• Atmospheric absorption

How to create spatial audio

Wenzel (1992)

‐40º 40º

90º‐90º

0º

HRIRs: Azimuth 

Zahorik (personal communication)

‐40º 40º

90º‐90º

0º

HRTFs: Azimuth 

Zahorik (personal communication)

HRTFs: Elevation from spectral cues

Simpson (2002)

Bandwidth

Brungart & Simpson, 2009Brungart & Simpson (2009)

• Localization degrades as bandwidth is reduced• and Localization is disrupted by noise

• Errors are nearly twice as large with non‐individualized HRTFs Brungart, Romigh, and Simpson (2009)

PERSONALIZATON OF DISPLAY

• Sense of Presence reduced with non‐individualized HRTFs Valjaamae, Larsson, Vastfjall, & Kleiner (2004)

Head‐tracking improves• Localization of virtual sources• Externalization of virtual sources

Head movements

Brimijoin et al. (2013)

Required Fidelity of Auditory Scene

• For randomly distributed sources, you can get by with much lower‐complexity systems.

• Having more to render requires proportionately fewer processing elements

Acceptance rate is:• Proportional to order

of the system• Sensitive to number

of sources and clustering

• Highly variable across subjects at lower orders

Wakefield & Roginska (2011)

Non‐auditory FactorsAudio‐Visual Match

• Recordings were judged to have greater realism when they were heard in the room where they were recorded

• Results depended on prior experience with the listening room.

Gilkey, Simpson, Weisenberger (2001)

SummaryVirtual audio

• Supports localization of auditory objects• Increases presence and realism of virtual environments• Improves intelligibility of separated voices

Requires adequate combination of • Spectral and binaural cue information (HRTFs)

• Improved experience/performance if individualized HRTFs• Bandwidth• Head‐tracking without excessive delay• Consistency of auditory scene with other modalities

• “Adequate” depends on application

Backup

Intelligibility

• Spatialized presentation improves intelligibility• Increasing performance advantage with increasingly complex environment

Simpson (2006)