VR AR 미래전략 2016

Woontack Woo (禹雲澤)AHRC/UVR Lab.

GSCT, KAIST

국가미래전략토론회 (June 24, 2016)

2012-2016©Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea

VR with Hands

VR with SLAM

Social VR by Facebook

MS Hololens Review

Magic Leap [A New Morning]

Meta 2 Review

What is VR/AR?리얼 인듯,리얼 아닌,리얼 같은~

기술정의VR(out there): puts people in a computer-generated worldVR: 컴퓨터로 만든 가상 공간이나 콘텐츠를 감각(시,청,촉,후,미 등)을

통해 몰입감 느끼며 상호작용

AR(here & now): Puts virtual content in a physical world VR을 현실에서 몰입감 느끼며 상호작용

가상증강현실의현황개별적이고 산발적으로 진행되고 있는 IoT, Big Data, AI, Robot 등의 연구를 사용자중심으로통합적으로연계활용할 수 있는 기술로 주목VR/AR의 부상과 투자 확대로 신시장에 대한 기대

가상증강현실의미래VR/AR의 일상화, 가상과 현실의 공존새로운 형태의 경험기반 사회경제 활동컴퓨팅 환경을 확장하는 IT 기술, 시공간을 확장하는 VR/AR 기술을 결

합하면 시공간혁명을 통해 고부가가치의 신시장을 창출 전망새로운 경험 공유 플랫폼은 신시장, 시공간 한계 극복과 비용 절감, 작

업/협업 효율성 증대, 응용 범위 확대

가상증강현실핵심기술실감 콘텐츠 저작 및 증강기술실감 콘텐츠 기반의 지능적 상호작용 과 협업시공간 초월한 시청촉감 등 오감 통한 실감 경험위치기반의 콘텐츠 소비와 경험 공유And many more…가상증강현실의파급효과및대응: 핵심기술 확보 및 인력 양성신시장 대응: IoT, Big Data, AI, 로봇 등 유관 기술과 연계하여 4차 산업혁명에 선제적 대응 및 신산업 창출사회 문제 대응부작용 대응: 탈현실화, 소외, 중독 등 부작용 가능성

Milgram's Reality-Virtuality Continuum [94]

Azuma's definition on AR [97]combines real and virtualis interactive in real timeis registered in real 3D world

R.Azuma,ASurveyofAugmentedReality,Presence,Vol.6,No.4,Aug.1997,pp.355‐385.

P.MilgramandA.F.Kishino,TaxonomyofMixedRealityVisualDisplays,IEICETrans.onI&S,E77‐D(12),pp.1321‐1329,1994.

"Virtuality is a bridge from reality to our imagination" - Chris Stapleton

VR vs. AR?

Mobile VR that will bring VR to the masses – Amir Rubin (CEO at Sixense)

AR is not ready. VR will come first in 2016 – Robert Scoble

AR needs to be experienced not explained – Tipatat Chennavasin

AR will be used every day all the time in the future VR will be a once

in a while thing – Steve Mann

AWE 2015: AR vs. VR = Mediality vs. ImaginalityThe people making money don't care about this debate, though!"

VR is the gateway to AR (for next few years)!” – Mark Billinghurst

wwoo@uvr

Is VR/AR Hype? (Google Trend)

VR vs. AR

G. Google Glass (Apr. 2012)Facebook-Oculus $2B (Mar. 2014)Google Cardboard (May 2014)Samsung Gear VR (Sep. 2014)Google-Magic Leap, $0.54B (Oct. 2014)MS Hololens (Jan. 2015)B. Sony Morpheus (Feb. 2015)HTC Vive VR (Mar. 2015)MINI (Apr. 2015)Apple-Metaio (May 2015)Google Jump with Go-pro (May 2015)

A. VR in E3 show (Jun. 2015)Intel-Recon (Jun. 2015)Samsung $99 HMD (Sep. 2015)

VR was Hot in 1990s!VR is Hot Again!

Zuckerberg’s 3 predictions for what SNS will look like in 10 years1. There will be (a lot) more people on

the Internet.2. We’ll be more likely to message people

through photos or SMS than the old web interface.

3. The future of computing is AR/VR: distraction-free, heads-up communication, etc.

AR/VR Industries with Smart GlassesMagic Leap (Google, Alibaba, Qualcomm, Warner Bro., etc.)PTC (IoT) + VuforiaMicrosoft HoloLensApple + Metaio (+ D. Bowman)Intel (RealSense) + ReconMeta, HP (Aurasma)Facebook + Oculus RiftSamsung Gear VR + FOVELG 360VR w/ G5 (VR w/ G3)Sony PlayStation VR (Morpheus)Google VR (+P. Debevec)

VR/AR, It’s Here Right Now!Revenue by 2020Digi-capital: $120B (90B/30B) vs. BBC Research: $105.2BRevenue by 2025Goldman Sachs Research: $80B (~ desktop PC market) HW[$45B] vs. SW[$35B, VR:AR= $26B:$7B]

2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea

AR/VR, It’s Here Right Now!AR/VR could hit $120B (90B/30B) revenue by 2020


http://goo.gl/NIKGbj

AR/VR, It’s Here Right Now!AR/VR could hit $120B (90B/30B) revenue by 2020

http://goo.gl/NIKGbj


Make People Pay Whenever They Use!

What are Smart Glasses?Wearable displays for JIT information or VR/AR contentTypes of Display & Smart Glass

Screen orEnvironment

Why Glasses?Mobile vs. wearable

https://pbs.twimg.com/media/CZpNTCvWkAAk-Tj.jpg:large

?

iOptik - a Glimpse into the FutureCould this be the future of augmented reality glasses?

대상기술범위가상/증강현실 실현을 위한 현실세계 인지 및 가상화: 현실세계를 가상세계로 변환하기 위한 기술. 관심객체(Object)를 포함

한 현실세계를 스캐닝하여 공간적 정보와 오감 속성을 컴퓨터가 인식하고 활용할 수 있는 형태로 모델링하는 기술

스토리기반 실감콘텐츠 저작: 오감을 통합적으로 모방하여 현실 수준의 사실성이 높은 복제나 모델

링인 된 가상세계를 스토리에 따른 체험이 가능한 콘텐츠 저작 기술

실감 증강, 상호작용 및 협업: 증강된 가상세계 또는 관심객체와 사용자의 음성, 제스쳐 등 직접적 상

호작용 또는 사용자의 묵시적 의도, 감정, 환경 등의 상황에 대응한 간접적 상호작용 그리고 다수 사용자 간의 협업이 가능하도록 하는 기술

3D 지도기반 가상증강현실 체험 및 경험공유: 다양한 방식의 시공간을 초월한 체험 및 경험 공유를 지원하는 가상증

강현실 관리 및 3D 지도기반 서비스 플랫폼 기술

How does AR work?Get video

from camera

Recognize Object of Interest

Estimate position and orientation of

the camera

Render the augmented

scene

Process the interaction

Update the status

Objects Recognition & TrackingDetection & Recognition of objects/point of interestTracking: Continually locating the users viewpointPosition (x,y,z), Orientation (r,p,y)Registration: Positioning virtual object w.r.t. real worldTracking TechnologiesActive: Mechanical, Magnetic, Ultrasonic, GPS, WiFi, cell locationPassiveInertial sensors (compass, accelerometer, gyro)Computer Vision: Marker vs. Natural featureHybrid TrackingCombined sensors (eg Vision + Inertial)


AugmentationReal-time deformable object renderingReal-time realistic Shadow & ShadingOptical-see-through HMD display


Interaction, Collaboration and UIHand-based Interaction/collaboration for Ego-centric ARMultimodal interaction and collaborationOrganic & Empathy UI

Context-awareness and AR AgentContext-awareness and VisualizationQuantified-self for Augmented HumanSocial agent for Quality of Social Life

Telepresence “Being There without Really Being There (or Then)”Education & training, corporate communicationReach a wider audienceReduce travel costs


User Experience for AH Platform

UX for AH

Look (Affordance)

Feel (Sensibility/Aesthetics)

Use (Usability)

/AR

Modified MAR Reference Model*

External Services

User profile (Experience, Knowledge, Behavior)

Simulator (Event, Space)Renderer

MAR Execution Engine

Contextualized PoIs

Personal Device DisplayUser

InterfaceMAR Scene

(Events, Targets, …)

Environment (or wearable) Sensors for Real World

Capturer

Internet of Thing (IoT)

Sensors

Sensors

GPS

Compass

Gyro sensor

Personal Device Embedded

Camera

Media Assets

MAR ContentVirtualObject

Physical World

Open API

Physical World

User

UserInput

UserCommand

EnhancedExperience

MAR Visualization

Recognition Data

Context Analyzer

PoI AnalyzerUser LocalizationView Point Setting

PoI Analyzing

Context ProcessorContext IntegrationContext Inference

Context Management

RecognizedPoIs

User Context

Sensor Data PoI Recognition

Data

MAR Anchor

Properties

MAR OntologyMAREntity

MAREntity Info.

5W1H-based MAR Entity, Anchor, Content

5W1H MetadataSchema

who MARContents.Essential.Who

when MARContents.Essential.When

where MARContents.Essential.Where

what MARContents.Essential.What,MARContents.{Type,Reference,MARAnchor.ID},VO.{Type,String,DataFile},MediaAsset.{Type,DataFile}

how MARContents.Essential.How

Anchor

MAR Entity: Metadata1

3 MAR Content: Metadata

5W1H MetadataSchema

who MARAnchor.Essential.Who

when MARAnchor.Essential.When

where MARAnchor.{Essential.Where,PoICoordinate,ContentsCoordinate,CoordinateType}

what MARAnchor.{Essential.What,MAREntity.URI,MARContents.ID}

how MARAnchor.{Essential.How,Scale,Interaction,Animation,Accessibility}

MAR Anchor: Metadata2

Anchor

MAR Entity

Virtual Contents

Anchor

5W1H MetadataSchemawho {PoI,RecognitionData,MAREntityInformation}.Essential.Who

when {PoI,RecognitionData,MAREntityInformation}.Essential.When,MAREntityInformation.{BeginTime,EndTime}

where{PoI,RecognitionData,MAREntityInformation}.Essential.Where,PoI.{Location,FrontDirection},RecognitionData.{PoI3DPosition,GPSLocation},MAREntityInformation.{Location}

what

{PoI,RecognitionData,MAREntityInformation}.Essential.What,PoI.{RecognitionData.ID,MAREntity.URI},RecognitionData.{DataSetID,Sub‐DataSetID, CurrentSubData,CandidateSubData},MAREntity.{URI,Label,MAREntityInformation.ID,PoI.ID,MARAnchor.ID,Property.URI},MAREntityInformation.{Type,Description},Property.{URI,Label},LiteralValue.{Type,Value}

how {PoI,RecognitionData,MAREntityInformation}.Essential.How,RecognitionData.{Scale},MAREntityInformation.{Conditionstate}

PoI

MAR EntityInformation

RelatedMAR Entity

Property

연계활용기술스마트 I/O: 착용형, 부착형, 이식형 등IoT, 빅데이터, AI, 네트웍, 등드론, 로봇, 자율 주행, 등신산업창출응용분야교육엔터테인먼트의료제조국방커머스관광, 전시, 공연, 문화유산

Holistic Layers of Physical Spaces/Places

.

.

.

.

.

.

Real/Physical

Virtual/Cyber

Information/Knowledge

SPACE

TIME

Layers Social/wisidom

2D Picture Tracking (K.Kim) 3DVaseTracking(Y.Park) 3DVaseTracking(Y.Park)

Tracking (W. Baek) Tracking MO (W.Back) Multiple object Tracking (Y.Park)

ISMAR2008 ISMAR 2009 VC2010

3D objects Tracking, ISMAR2008 (K.Kim)

MotionBlurin3Dtracking,ISMAR2009(Y.Park)

ScalableTracking,VC2010(KKim)

ISMAR2010 ISMAR 2011 ICAT2011

Modeling & Tracking, ISMAR2010 (KKim)

Depth-assisted Tracking, ISMAR2011 (Y.Park)

Depth-assisted Detection, ICAT2011 (W.Lee)

What I have Worked… since 2001

AiRSculpt: A Wearable AR 3D Sculpting

Sung-A Jang, Hyung-il Kim, Woontack Woo, Graham Wakefield, “AiRSculpt: A Wearable Augmented Reality 3D Sculpting System,” HCII 2014, Vol.8530, pp.130-141, Jun. 2014

Hand Gesture Tracking in Trans SpacesOurs HSKL FORTH

Y.Jang, S-T.Noh, H.J.Chang, T-K.Kim, W.Woo, "3D Finger CAPE: Clicking Action and Position Estimation under Self-Occlusions in Egocentric Viewpoint," IEEE TVCG, vol. 21, no. 4, 2015. (presented in IEEE VR 2015).

Collaboration in Trans SpacesOurs HSKL FORTH

S-T. Noh, H-S. Yeo, W. Woo, “An HMD-based Mixed Reality Framework for Avatar-MediatedRemote Collaboration Using Bare-Hand Interaction”, ICAT-EGVE 2015, under review

Smartwatch-assisted AR Interaction

Hyung-il Kim, Woontack Woo, “Smartwatch-assisted Robust 6-DOF Hand Tracker for Object Manipulation in HMD-based Augmented Reality,” IEEE Symposium on 3D User Interfaces (3DUI) 2016, Mar. 2016

SWOT of AR/VR in Korea

SWOTSTRENGTHGlobal companies (Samsung

, LG, etc.)Quality of HW products

WEAKNESS Ill-prepared: few expertsWeak CPND eco-systemLoose collaboration

OPPORTUNITIESBig investmentReasonable HW/SW priceGrowing potential markets

증강휴먼공동연구센터 AHRCGlobal Open Research Initiative:

Industries support ‘open R&D for CPND eco-system’ KAIST educates 100 experts for 5 years

AHRC provides open R&D opportunities for experts

THREATSToo high expectationHW-driven: few proven acce

ptanceSocial appearance

CPND for VR/AR UXContentPlatformNetworkDevices

AR-UX

Content

Platform

Network

Device

The Economist 201604 http://goo.gl/2WofMf

• https://info.internet.org/• Open Compute Project (http://www.opencompute.org)

Facebook, Intel, Apple, Microsoft, Rackspace, Cisco, Juniper Networks, Goldman Sachs, Fidelity, Lenovo, Bank of America, etc.

Content is King : more than P-N-DImmersive AR/VR content authoringContext is QueenVR/AR-based o2o with IoT/IoECloud-based storage/processingSmart with Open Linked DataUser is GodNatural UI for AR & Augmented HumanIn-situ user participationEmphasis on UX and social acceptance

AR & AHEco-

system

Device: wearable Network:

internet of everything

Open PlatformContent:

in-situ mashup

Service: context-

aware o2o

UX-driven:User

participation

일몰형 (10년) AR 공동연구소설립및운영국제적 경쟁력과 리더십을 갖춘 거점 공동연구소: VR/AR분야의 국내외 연구역량을 결집하고 핵심 기술확보와 특허 선점기존 출연연과 상호보완적 협력과 경쟁을 통해 연구 역량 확대. 국내외 산학연 연계의 허브 및 산업화 확산: 전임연구원과 참여 기관의 파견이나 중단기 방문 연구 인력은 5:5로

유지하고, 공동연구 수행. 일몰 후 파견 기관으로의 복귀, 창업, 취업 등을 통해 축적된 기술을 확

산하고 산업화

고급 연구인력 양성 및 유지: 참여 대학에 가상증강현실 프로그램 신설을 통해 체계적 인력을 양성

하고, 연구소 인력에게도 학위 과정의 기회를 부여. 대학원생에게는 공동연구 참여를 통한 연구역량 강화

AR 공동연구소의두마리토끼: 산업화와삶의질산업화와 지속 가능한 CPND 생태계핵심 기술: 콘텐츠(몰입감, 상호작용, UI, UX 공유) & PND사용시 안정성 (멀미 등) 검증과몰입, 중독, 가상과 현실의 혼동으로 인한 사회적 문제 (사회적 고립

/소외, 리셋/리플리 증후군 등) 예방신산업: 교육, 오락, 의료, 제조, 국방, 커머스, 관광, 전시, 공연, 등삶의 질 향상 위한 사회적 도전과제 (Social Agenda Project)HRHR: Impact Investing to Social Problems 건강: 고령친화, 장애극복, (원격) 의료서비스, 예방안전: 범죄, 재난재해, 보안, 개인정보, 경제: 고용, 양극화, 인구 구조의 변화교육/사회/문화: 개인 맞춤형 교육, 협력, 사회통합, 문화유산기타: 공공행정, 환경 (기후, 자원, 생태계), 교통 (운송, 물류)

AR 공동연구소의목표및로드맵VR/AR 분야 생태계 활성화 및 2025년 세계시장 10% 점유범부처 협력: VR/AR 분야 CPND 생태계 구축 지원

VR/AR/AH 핵심기술 및 저작/체험 플랫폼 확보[1단계] VR/AR/AH CPND 핵심기술 확보 (~’19) 핵심기술 확보: 실감 콘텐츠 저작, 상호작용/협력/공유, UI/UX, AH P. 등 VR/AR기반 사용자 인지/지식/경험 증강, 육체적/지적/사회적 능력확장 CPND 표준화, UX-driven BM 개발, 서비스 기반 구축, 실증 등 지속적 사용을 위한 안정성(멀미 등) 검증 및 확보

부작용 (과몰입, 중독, 소외, 가상-현실 혼동 등 탈현실화 등) 대응 ‘산업화’와 공동체 ‘삶의 질’ 향상을 위한 사회적 도전과제 대응

[2단계] 가상증강현실 통합 운영 플랫폼 (~’22)[3단계] IoT-Big Data-AI-로봇 연계 증강휴먼 플랫폼 (~’26)

* Facebook의 10년(2016-25) Roadmap: AR-VR-AI의 통합 플랫폼

Future Human in UVR era?AR: extended space-timeHow to extend human’s physical, intellectual, social abilities?

http://goo.gl/yJPDtC

… After Singularity?(by Ray Kurzweil)

From HC Interaction to HC Integration Augmenting Human Intellect w/ computingConceptual framework & Mouse [‘63 D. Engelbart] AR for augmenting human physicallyQuantified Self, Tracking PersonLife logging using data from Personal Behavior

as well as IoE [‘07 Gary Wolf, Kevin Kelly]Small Data but

Big ‘Challenge & Opportunity’

From AR to Augmented Human [Woo]To improve human’s ‘Intellectual, Physical, Social’ abilities

How to achieve AH?Augmented Perception,

Intelligence, ExperienceP: Enhancing 5+ Sensation

and perceptionI: Offering wisdom with

QS, LOD, and IoE/IoTE: Improving sociality

with social agent

How does AH Platform work?Get video

from camera

Recognize Object of Interest

Estimate position and orientation of

the camera

Render the augmented

scene

Process the interaction

Update the status

•Context-aware & Visualization

•Quantified Self for AH Platform

•Social Agent for Quality of Social Life

Applications of Quantified Self Personal AR Guardian (healthcare, life coach/guard, etc.)Sustainable self-management with game-like competitionPersonal black-box for protecting self from criminal

From Quantified Self to Quality of Social Life: 사회적 관계 형성: Human-to-Human Social Networking경험의 공유와 공감: Empathy 타인 가치의 존중과 협상: Negotiation추천과 결정: Deliberative decision-making

FamilyFriendsGroupsCommunitiesCompaniesCountries…

Trusted Organization

Personalized Augmentation

UX Sharing

Sensing and Monitoring

Context-aware

Negotiation

Quantified Self

가상증강현실의현황과미래개별적으로 진행중인 IoT, Big Data, AI, Robot 등의 연구를 사용자중심으로통합적으로연계활용할 수 있는 기술로 주목VR/AR의 일상화: 가상과 현실의 공존새로운 형태의 경험기반 사회경제 활동컴퓨팅 환경을 확장하는 IT 기술, 시공간을 확장하는 VR/AR 기술을 결합

하면 시공간혁명을 통해 고부가가치의 신시장을 창출 전망새로운 경험 공유 플랫폼은 신시장, 시공간 한계 극복과 비용 절감, 작업/

협업 효율성 증대, 응용 범위 확대

대응: 일몰형 AR 공동연구소: VR/AR/AH CPND 핵심기술 확보 및 인력 양성부작용: 멀미, 과몰입, 중독, 소외, 가상-현실 혼동 등 탈현실화, etc.신시장 대응: IoT, Big Data, AI, 로봇 등 유관 기술과 연계하여

CPND 전 분야의 신산업 창출공동체 ‘삶의 질’ 향상을 위한 사회적 도전과제 대응

“The future is already here. It is just not uniformly distributed” by William Gibson (SF writer)

More InformationWoontack Woo, Ph.D.FB @[email protected] http://uvr.kaist.ac.kr

11th ISUVR 2016 @Aug. 1-5, 2016

VR AR 미래전략 2016

Engineering

Transcript of VR AR 미래전략 2016