(KRnet (Korea Internet Conference) 2016 발표)

2016.06.20.

3

스마트 스페이스 개념 및 필요성

IoT 물리 공간 정보가 사이버 가상 공간에 투영된 미디어 서비스 환경에서 사용자에게 지능형 맞

춤 서비스를 제공하기 위한 미디어-IoT가 연동된 새로운 형태의 미디어

기존 미디어 서비스는 IoT 환경에서 수집된 데이터를 활용하여 상황 맞춤형 서비스를 제공에 한계점을 노출

IoT 기기를 활용하여 상황 정보를 파악하고 지능형 서비스를 제공하기 위한 새로운 미디어 서비스 요구

물리적 현실 세계와 가상 객체 간의 연결을 효과적으로 나타내고 관리할 수 있는 미디어 처리 기술 요구

IoT 환경에서 가상 객체 환경을 제공하여 손쉽고 빠른 상황 맞춤형 서비스 환경 제공

다양하고 새로운 자율 미디어 서비스 창출 환경 제공

미디어 및 주변 환경과 연결된 정보를 이용하여 사용자에게 최적화된 서비스 경험 제공

*출처 : 스마트미디어R&D 추진계획(2015-2020), 미래창조과학부, 2015

초연결 미디어(IoM : Internet of Media)

4

스마트 스페이스 개념 및 필요성

※ HMD : Head Mounted Display HUD : Head Up Display

Physical Space Smart Space

5

스마트 스페이스 개념 및 필요성

혼합현실(Mixed Reality) 스크린에 가상 공간과 현실 공간이 중첩되어 정보 제공하는 서비스

증강 현실(Augmented Reality) : 현실 공간을 기반으로 가상 정보를 결합

증강 가상(Augmented Virtuality) : 가상 공간을 기반으로 현실 정보를 결합

가상 정보의 범위를 오감으로 확대하는 추세임(예: Touched Echo/독일 드라스덴)

가상현실(Virtual Reality) : CG로 생성된 가상의 상황이나 환경을 사람의 감각 기관을 통해 체

감하고 상호작용하는 서비스

가상 현실/혼합 현실

< 혼합현실 범위>

< 혼합현실 서비스> <Touched Echo/독일 드라스덴>

6

스마트 스페이스 개념 및 필요성

<기존 미디어 서비스> <스마트 스페이스>

초연결미디어

“현실공간을 스크린으로 가상과 현실의 상호작용”

7

공간상황을 이해하고 현실계-가상계가 연결된 지능형 혼합현실 공간 실현을 위한 핵심기술 개발 및 공간상의 객체간 상호작용이 가능한 새로운 몰입형 스크린 미디어 서비스 구현

가정 사무실 회의실

스마트 객체 생성 및제어 기술

인체 기반 사용자인터페이스 기술

지능형

혼합 현실

공간 실현

OPS 서비스네트워킹 기술

의미 기반공간 상황 이해 기술

스마트스페이스 요소 기술

OPS1

※ OPS (Orchestrated Personal Space)SS (Smart Space)

OPS2 OPS3

1

2

3

4

8

SS 요소 기술 - 공간 상황 이해 기술

단순 수치 기반 상황 센싱/응용

- 센서에서 제공하는 단순 수치

데이터만 활용 (좌표 값, 식별자)

- 여러 센서들이 제공하는 값을 해석

하는 것은 개개 응용의 몫

- 서비스를 받는 사용자와 무관하게

미리 지정된 상황에만 반응

의미 기반 공간 구성 및 복합 상황 이해 기술

공간 상황에 맞는 시의적절한 서비스 제공

지속적 사용자 상호작용을 통한 학습 및 서비스 진화

식별자

좌표

센서

의미기반 상황 이해

지속적 공간관찰

고정 서비스

의미적 공간 상황 추론, 사용자 학습, 자율 성장

사용자 인터랙션 학습

시공간 적합서비스 제공

다양한 센서

상호작용 경험 기반 자율 성장 및 적응 기술

TabletON the table

사물의 위치, 사용자 행위 학습 등에 의한 의미 기반 공간 상황 이해를 통한의미적 공간 상황 추론하여 사용자의 시공간에 적합한 서비스 제공을 위한 기술

9

SS 요소 기술 - 공간 상황 이해 기술

다중 센서관리

상황 기반 센서연동 관리

다중 센서 활용사용자 위치 추적

카메라-프로젝터 장치 제어 공간 객체 정보

검색 및 추론사용자 정의 복합상황 기술 언어

4W 기반공간 상황

인지 서비스

온톨로지

공간 상황 구성 및 이해의미 기반

스마트 스페이스

Bayesian 필터 기반 다중 센서 사용자 위치 추정과 사용자 인식을 연동을 통한

사용자 추적기술 개발

3D 공간 객체 모델을 기반으로 동적으로 객체간 의미적 공간 관계 추론 기술 개발

4W기반 상황 관리 모듈 및 기계학습기반 상황 추론 기술 개발

* 4W : Where, When, Who, What

10

SS 요소 기술 – 스마트 객체 생성 및 제어 기술

GPS/이미지 기반의 증강 현실

- 사전 정의된 제한된 환경

- 근거리 대상

- 가시화 중심

공간 정보 기반 가상 겍체 생성

이종 센서의 융합을 통한 공간 인식가상 객체의 생성 및 제어

`

Mixed Reality

실 생활 공간에서의 실시간 공간 인지 및 혼합 현실

다양한 현실 객체와의 인터랙션 및 사용자간 협업

가상/실 객체 연동 기술

엔터테인먼트 중심의 응용

실생활 환경에서의 몰입형 미디어 서비스를 제공하기 위한 스마트 객체 생성 및 제어 기술

11

SS 요소 기술 – 스마트 객체 생성 및 제어 기술

※ IMU : Inertial Measurement Unit

HMD위치 추적알고리즘

가상 객체포지셔닝

다중공간지원가상/실 객체 연동 제어

On-body UI

원격 공간

객체 제어

상황 기반 객체 제어 (사용자/공간)

다중 센서 기반실시간 3D 객체 생성 원격전송

Depth센서:

RGB센서:

Depth센서:

IMU센서:

RGB센서:

영상기반 위치/자세추적 + IMU를 이용한 자세추적을 통한 HMD 추적 오차 개선• 조도 등 주변 환경변화에 의해 발생하는 영상 기반 HMD 위치 추적 오차로 인한

가상 객체의 흔들림 현상 개선

GPU 기반 3D 메쉬 생성 알고리즘 구현을 통한 메쉬 생성 속도 향상• 범용 프로세서 대비 약 7배 이상 객체 생성 속도 개선

가상스크린을 통한 혼합현실 기반 원격공간 모니터링 제공

12

SS 요소 기술 – 스마트 객체 생성 및 제어 기술

IMU기반 자세 추정

타겟 공간 3D 맵 생성

공간 내 관심객체

3D map 맵핑및 추적

영상 정보획득

IMU 정보획득

IMU 필터링알고리즘

자세 추정

위치 및 자세추정

구면 보간(spherical

interpolation)

회전군(rotation group)의 비선형기하학적 구조를 반영한 확률모델- Left-translated diffusion distribution- Wrapped normal distribution- Bingham distribution

매개변수 재귀적 베이지안 필터(Parametric recursive Bayesian filter)- 자세, 각속도의 평균, 공분산 추적

객체포지셔닝

IMU를 이용한 HMD 자세추적 오차 개선으로 가상 객체 렌더링 품질 향상

• IMU를 이용한 정밀한 자세추적 알고리즘 설계 및 성능 검증

• 정지 상태에서 0.5초간 total variation < 0.06° (기존값: < 2.7°)

13

SS 요소 기술 - 인체기반 인터페이스 기술

인체를 활용한 Eye-free 지원 사용자 인터페이스 기술 다양한 사용자 인터페이스 기술

- 기기마다 다른 편의성 증대 포인트

- 대부분 TV가 대상

- 과도한 제스처로 인한 불편

다양한 모달리티 적용

스마트스페이스의 객체 특성을 고려한직관적이면서 편리한 사용자 인터페이스

인체를 활용한 스마트스페이스 객체 제어

신체 감각을 활용한 Eye-free 기반 직관적 객체 제어 환경 제공

학습형 UI를 통한 개인 특성 반영 및 인식 정밀도 향상

스마트 스페이스 응용 서비스 제공을 위해인체를 활용하여 직관적으로 실객체 제어를 위한 학습형 사용자 인터페이스 기술

14

SS 요소 기술 - 인체기반 인터페이스 기술

※ PiAM : Palm interaction module

글로벌 스마트스페이스를 활용한 원격 객체 제어 적용

PiAM 입력(터치, Swipe) 인터페이스 확장

3x2영역 기반

포인팅 정확도

확인

(성공률 92%)

Smart Curtain

- Swipe를 활용

한 open/close

사용자 입력 패턴 분석 및 학습을 통한 인식 정확도 개선

Smart Lamp

–제스쳐(1,2,3)를

활용한 칼라 제어

PiAM : HMD 기반 on-body 사용자 입력 인터페이스

• 학습형 on-body 사용자 입력을 위한 머신 러닝 기반 제스처 인식 향상 기능 제공

원격 객체 제어를 위한 PiAM 사용자 인터렉션 테스트베드 구축

• 공간 3D 모델 구축 및 객체 특징점 추출을 통한 UI 등록 기능 설계 및 구현

대전(ETRI)-독일(TUDA) 글로벌 스마트스페이스 테스트베드를 통한 스마트 객체(스마트커텐, 전구) 원격 제어 시험

15

SS 요소 기술 - OPS 서비스 네트워킹 기술

단말 의존적 서비스 네트워킹

동적 오버레이 네트워킹사용자 중심 유무형 IT 자원 통합 관리

시공간 제약 없이 분리된 네트워크의 자원 사용

자유로운 IT 자원 활용을 통한 개인/협업 업무 생산성 향상

공간 제한적 서비스 네트워킹

로컬프린터

로컬스캐너

로컬서버

원격프린터

원격스캐너

원격서버

LAN LAN

별도 연결 설정

OPSServer

동적 개인 가상 네트워크 기술(SSDPN)

OPS 프레임워크 기술

사용자 공간 구성

시공간 제약 없이 자유로운 개인 작업 환경 구성을 위한 SSDPN(Smart Space Network) 기술

※ OPS Orchestrated Personal Space, SSDPN : Smart Space Dynamic Personal Network

16

SS 요소 기술 - OPS 서비스 네트워킹 기술

<상황인식기반 접근제어: 로그인><사용자 위치기반 동적 접근제어>

OPS : Orchestrated Personal Space, TLS: Transport Layer Security

상황기반 접근제어 (Access-Control)를 적용한 Agent/Manager 개발• 사용자등급(Who : 2등급)/ OPS공간(Where : OPS공간 2개)/허용시간 (When)/ 디바이스

타입(What : 개인용/공용)

• 다중레벨 OPS 접근제어 (3 Access level) Agent / 접근제어 정책 관리 Manager

사용자/객체 위치 기반 접근 제어 기능 개발• 환경 변화(장소 및 시간 변경)에 따른 동적인 서비스 접근제어 기능 제공

Web기반 OPS 다중객체 제어 기술 개발

• 다중 객체 동시 제어 서비스를 통한 성능 시험 (100개 동시제어 확인)

17

스마트스페이스 플랫폼

공간 범위 / 서비스

공간상황이해수준

동적상황공간구성및이해

HMD 기반로컬공간객체제어

HMD 기반Palm UI

단일공간OPS 동시제어공간상황획득기술

객체생성/제어핵심기술

Palm기반On-BodyUI

OPS 동적네트워킹기술

복합공간 상황 구성및이해

다중공간상황기반객체제어

학습형 On-Body UI

다중공간OPS 접근제어

실감 미디어 지원

다중 공간 지원

자율성장및적응기술

협업형스마트객체제어

다중사용자On-Body UI

협업형OPS

실감형 텔레프레즌스

체험형 텔레프레즌스

텔레프레즌스 기반다중공간 서비스

실감형 스마트워크

협업 지원

단순 기기 제어 미디어 제어단일공간

사용자간 협업원격 공간 기기 제어다중 공간

자율성장

OPS (Orchestrated Personal Space)

4단계

복합상황

동적상황

상황획득

플랫폼

1단계

2단계

3단계

18

스마트스페이스 서비스 플랫폼

혼합 현실 기반 실감형 텔레프레즌스 서비스

혼합 현실 기반 실/가상 객체 제어 서비스

19

스마트 스페이스 기술 활용 분야

스마트 워크/라이프케어(기업용 영상회의 시스템 우선 적용)

Internet of Things(가상/실 객체 연동 기술/SSDPN 네트워킹 기술)

증강/혼합 현실(센서 데이터 처리 기술)

공간 상황 인지(의미 기반 공간 상황 이해 기술/

상호작용 경험 기반 자율 성장 및 적응 기술)

체험형 텔레프레즌스(체험형 교육, 원격상담 연계)

혼합 현실 미디어 서비스(증강현실 엔진 업체와 연계)

스마트스페이스플랫폼

기술 활용

적용 서비스 ※ SSDPN : Smart Space Dynamic Personal Network

20

실세계 기반 객체 가상화

실내외 현실 공간

실감형 혼합현실 서비스

DigitalWorldHuman

투명디스플레이

HUD

실감형혼합 현실 공간

Physical World

스마트객체 기능의 가상 객체화

원격 공간객체 제어

HMD

초연결 미디어 기반 스마트 스페이스

다양한 현실 세계에 존재하는 사물과 미디어 연결을 통한

초연결 미디어 기반 응용 서비스 제공을 위한 스마트 스페이스 플랫폼

21

향후 추진 계획 (2015.03 ~ )

결과물사업화

공동연구기업 참여를 통한 사업화 기반 마련

4차년도 스마트스페이스 기술 사업화 가능한 중소기업을 공동연구기관으로참여시켜, 스마트스페이스 기술의 사업화 기반 마련

증강/혼합현실 S/W, 스마트스페이스 디바이스 관련 기업 중심으로 구성 예정

차년도 이후 사업화 계획

(국내) 중기청 사업화 과제로 수행 중인 ‘스마트 프로젝션 시스템＇을 2016년경사업화 추진 예정

(국내) 광학전문기업인 ㈜그린광학을 통해 HMD를 이용한 스마트스페이스기술의 국내 시범 사업 추진 예정

(글로벌) 한국-독일간 구축한 글로벌 스마트스페이스 테스트베드를 활용하여, 독일 현지 기업을 통해 스마트스페이스용 차세대 UI/UX 플랫폼 사업화 추진예정

방통, 융기, 통인계획 작성