연 구 계 획 서 | 이준환

1. 연구목적 및 필요성

컴퓨팅 및 네트워크 기술의 급속한 발전과 보급으로 등장하게 된 퍼베이시브 컴퓨팅 (Per-vasive Computing) 환경은 일상생활 속의 사물에 제각각의 컴퓨팅 능력을 부여함으로써컴퓨터 시스템과 사용자 사이의 물리적인 공간의 경계를 허물어 가고 있다. 이 결과, 사용자들은 컴퓨터를 직접 찾아가지 않아도 언제 어디서든지 다양한 디지털 정보미디어와 자연스럽게 상호작용하는 것이 가능해졌다. 즉, 환경이나 기기의 제약 없이 다양한 상황을통해 디지털 정보와 소통하고 상호작용하는 것이 가능해진 것이다. 기존의 기술중심설계(technology-centered design) 패러다임에서 개발된 컴퓨팅 환경에서는 구축된 컴퓨팅능력을 최적으로 발휘하도록 하는데 우선적인 초점이 맞추어져 있었기에 사용자가 제공받을 수 있는 정보의 형태 및 제공 방식이 사용자와 별도로 일방적으로 결정되고 설계되었다. 이와는 달리, 퍼베이시브 컴퓨팅 환경에서는 컴퓨터가 사용자와 주변환경을 끊임없이관찰하여 사용자의 요구 (needs)를 능동적으로 예측함으로써 그 상황에 가장 적합한 정보를 추출하고 가장 효과적인 제시기법을 자동으로 제공하는 방식으로, 보다 인간중심설계(human-centered design) 패러다임을 따르고 있다.

이러한 시스템의 디자인 및 개발에 있어서 역시 사용자와 그 주변 환경에 대한 보다 깊이있는 고찰이 필요하며, 인터페이스의 설계에 있어서도 사용자가 처한 상황 (situation)을고려하여 가장 적절한 정보를 적합한 형태로 자동으로 가공하여 전달하여야 하는데, 이것을 상황에 적합한 상호작용 (Situationally Appropriate Interaction, 이하 SAI)이라고한다. 이것은 현재 인간-컴퓨터 상호작용 (HCI, Human-Computer Interaction) 분야에서의 중요한 연구주제로 다루어지고 있다.

SAI의 연구는 크게 두 가지 방향에서 접근되고 있다. 첫째, 사용자와 그 주변 환경에 대한상황을 인지하는 방법에 관한 연구이다. 이 분야의 연구는 주로 다양한 센싱기술 (센서, 카메라 등)을 기반으로 하여 사용자와 주변 환경의 다양한 변수들을 관찰, 수집하고 그것을토대로 사용자의 요구 (needs)를 예측하는 것을 목적으로 한다. 둘째, 이렇게 수집된 상황

연구계획서 | 이준환01

변수를 통한 예측을 기반으로, 정보를 전달하는 방법, 즉 인터페이스가 생성되는 방법에관한 연구이다. SAI에서는 상황변수가 동적으로 꾸준히 변화하는 것을 가정해야 하는데,일반적으로 디자인 단계에서 다양한 상황변수를 미리 예측하고 디자인에 포함시키는 것은가능하지 않다. 따라서 SAI에서의 인터페이스 디자인 연구는 변화하는 상황을 고려하여자동으로 생성되는 적응적 사용자 인터페이스 (Adaptive User Interface)의 개발에 초점이 맞추어져 있다.

최근의 컴퓨팅 환경이 점점 더 플랫폼 (platform)에 구애받지 않고 휴대폰, 자동차, 사무실, 공공장소 등으로 확산되고 있기 때문에 SAI의 적용분야는 앞으로 점점 더 늘어날 것으로 기대된다. 이에 본 연구는 SAI를 효과적으로 다양한 시스템에 적용하기 위한 연구개발 기반을 구축하고, 그 과정에서 퍼베이시브 컴퓨팅 (Pervasive Computing) 환경에서의 사용자 인터페이스 디자인 프로세스를 새로운 시각에서 접근하여 정의하며, 실제 응용을 위한 시스템 개발 등을 다룰 예정이다. 그 결과, 범용화 된 SAI 인터페이스 설계를 위한 프레임웍을 개발하고, 새로운 컴퓨팅 환경에 적합한 사용자 인터페이스 디자인 프로세스와 핵심기술을 개발하는 것을 목표로 삼는다.

2. 관련연구 및 연구내용

2.1. 기존 연구 사례 및 문제점

앞서 기술한 바와 같이, SAI의 연구는 다양한 측면에서 이루어지고 있다. 먼저 사용자와주변 환경의 다양한 정보를 수집하고 분석하는 단계의 연구는 이미 다수의 사례가 있다 [2,4, 9, 19, 20]. 이 과정에서 개발된 센싱기술 역시 현재 다양한 응용소프트웨어에 적용되어 사용되고 있다. 그러나 이러한 기존의 연구는 상황을 정의하고 인지하는 방법에 있어서아직 까지 기술적인 방법론에 많이 치우쳐 있어 어떻게 사용자 중심의 정보를 수집할 것인가에 관한 연구는 많이 부족하다. 예를 들어, 이 분야의 연구에서 가장 많이 관찰되고 사용되는 정보들로는 위치 (location), 시간 (time) 등과 같은 상황정보를 들 수 있다. 그러나 보다 사용자 중심의 인터페이스를 설계하기 위해서는, 사용자가 현재 얼마나 바쁜지,어떤 작업을 주로 하는지, 누구와 이야기하는지 등과 같은 행동정보 (behavioral infor-mation)에 대한 관찰 및 수집이 필요한데, 이에 관한 연구는 아직 많이 이루어지지 않고있는 실정이다 [10].

또한 SAI의 연구가 여전히 상황을 인지하고 예측하는 부분에 주로 초점이 맞추어져 있어서, 정보를 사용자에게 전달하는 방법에 관한 연구, 즉 정보를 시각화 (visualize)하거나인터페이스를 자동으로 생성하는 방법에 관한 연구는 미흡한 편이다. 사실 자동화된 디자인 레이아웃 (automatic design layout)에 관한 연구는 비교적 오래 전 부터 이루어져 왔다 [5, 14, 15, 17, 18]. 하지만, 대부분의 경우 시각요소들 (visual elements)이 제한된화면 내에서 특정한 조건 (constraints)을 만족하며 배치 (layout)되는 기술적 방법에만초점이 맞추어져 있을 뿐, 시각 정보들이 사용자에 전달될 때 사용자가 정보를 어떠한 조건에서 받아들이는지, 그리고 그러한 조건을 고려해서 인터페이스를 어떻게 자동으로 생

연구계획서 | 이준환02

성을 할 것인지 등에 관한 연구는 아직까지 충분히 다루어지지 않고 있다 [12, 13]. 그리고인터페이스를 자동으로 생성하는 과정에서 디자이너들의 디자인 프로세스를 어떻게 적용을 할 것인가에 관한 문제도 많은 연구가 필요한 부분이다. 디자이너들은 디자인 문제를해결하는 다양한 방법론을 개발해 왔으나 이들은 개발 단계에서 미리 준비된 (ready-made) 디자인 결과물에만 적용이 될 뿐, 우리가 목표로 하는, 상황에 따라 적절히 변화하는 적응적 사용자 인터페이스 (adaptive user interface)의 생성에는 거의 적용되지 못하고 있다. 따라서 디자인 프로세스에 대한 연구와 이의 SAI 적용 또한 반드시 필요한 연구분야라 할 수 있다.

본 연구는 이러한 문제점들에 대한 해결책을 제시하며 SAI 연구 개발을 위한 포괄적인 연구 개발환경을 마련하는 것을 목표로 한다.

2.2. 연구 내용 및 방법

본 연구를 통해서 기대되는 학술적으로 의미가 있는 핵심 연구 주제는 다음과 같이 몇 가지로 정리해 볼 수 있다.

- 사용자 및 주변환경 센싱 (sensing) 방법에 관한 연구- 상황정보 모델링 (modeling) 방법에 관한 연구- 적응적 사용자 인터페이스 (adaptive user interface) 개발 방법에 관한 연구- 실제 응용을 위한 소프트웨어 개발과 평가

1) 사용자 및 주변환경 센싱 (sensing) 방법에 관한 연구

센싱의 단계에서는 응용 시스템이 운용되는 특정한 상황에서 기본적으로 중요한 정보들의수집이 이루어진다. 이 단계에서의 연구는 어떠한 센서를 통해 어떠한 정보를 수집할 것인가에 대한 내용이 포함된다. 정보의 수집은 주로 사용자의 주의 (attention)를 방해하지 않는 (non-invasive) 센서를 사용하게 될 것이다 (예: 카메라, 마이크, RFID, GPS 등). 이과정에서는 다양한 범주의 데이터가 수집이 되는데, 가장 많이 이용되는 주요한 정보의 범주에는 위치 (location)와 시간 (time)과 같은 상황 (situational) 정보를 들 수 있다. 그러나 퍼베이시브 컴퓨팅 (Pervasive Computing) 환경에서는 사용자와 주위환경과의 사회적인 관계가 무엇보다 중요하기 때문에 정보의 범주가 보다 확장이 되어야 한다. 따라서,조명이나 소음의 레벨, 온도와 같은 환경 (ambient)정보뿐만 아니라, 사용자 주변의 사람들의 숫자나 신원 (identity), 그리고 친밀도 (intimacy)와 같은 사회학적인 정보, 사용자가 현재 얼마나 바쁜지 (busyness), 어떤 일에 얼마나 집중해 있는지 (attention, en-gagement)와 같은 행동과학 (behavioral science)과 인지과학 (cognitive science)의 범주에 속하는 정보까지 수집을 하게 될 것이다 [2, 4, 6, 7, 8, 19, 20].

2) 상황정보 모델링 (modeling) 방법에 관한 연구

이전 단계에서 수집된 상황정보는 응용시스템이 이를 효율적으로 이용할 수 있도록 잘 모델링되어 있어야 한다. 따라서, 이 단계에서는 전 단계에서 수집된 기초 정보들을 분석하

연구계획서 | 이준환03

고 체계화하여 사용자의 상황에 대한 모델링을 하도록 한다. 상황정보를 모델링 하는 기법은 몇 가지가 이미 제안되어 사용되고 있다. 그 중 대표적인 것들로는 Key-Value 모델,Markup Scheme 모델, Graphical 모델 등을 들 수 있는데, 이들 모델들은 상황정보 간의 의존성과 관계성 등을 모델링한다는 관점에서는 적합하지만, 본 연구에서 다루고자 하는 사회학적이고 인지적이고 행동과학적인 정보를 모델링하는 데에는 적합하지 않다 [9,19]. 그런 이유로, 본 연구에서는 사회 환경 (social environment) 연구 분야 [1] 와 비언어행동 (nonverbal behavior) 연구 분야 [3, 16] 등에서 사용하는 모델링 기법을 통해 사용자의 사회학적 행위 (social behavior) 까지 모델링의 범주에 포함하는 방법이 연구될것이다.

3) 적응적 사용자 인터페이스 (adaptive user interface) 개발 방법에 관한 연구

이 단계에서는 전 단계에서 만들어진 모델을 기초로 하여 필요한 상황에 따라 동적으로 변화하는 인터랙션을 자동으로 생성한다. 제공되는 인터랙션의 형태는 상황에 따라 달라지지만, 일반적으로 시각적인 사용자 인터페이스 (user interface)의 형태를 가진다. 경우에따라서는 음성이나, 다른 형태의 결과물이 사용자에게 제공될 수도 있을 것이다.

이 과정에서의 연구는 몇 가지 목표를 가진다. 첫째로, 정보를 효율적으로 시각화 (visu-alize)하기 위해 자동화된 디자인 레이아웃 (automatic design layout) 방법에 대한 연구가 수행될 것이다. 그 과정에서 자동화된 인터페이스의 생성 및 시각화 (visualization)방법에 대한 알고리즘의 개발이 이루어 질 것이다.

둘째, 일반적으로 개발 단계에서 미리 만들어지는 (ready-made) 인터페이스 디자인과는달리, 본 연구에서의 사용자 인터페이스는 해당 응용시스템이 사용되는 환경에서 상황에따라 자동으로 만들어진다. 따라서 실제로 인터페이스 디자인이 생성되는 과정에서, 디자이너의 디자인 의사결정 프로세스가 개입될 여지가 없다. 결국, 디자이너의 의사결정 프로세스에 대한 이론적인 고찰을 통해 일반화된 모델을 만들어 인터페이스 생성에 적용을 하는 방법이 사용될 것이다. 본 연구에서는 디자인 프로세스에 대한 일반화 모델과 디자인의사결정 프로세스 (design decision-making process)에 대한 연구가 수반될 것이다.

셋째, 현재 진행 중인 대부분의 자동화된 디자인 레이아웃에 대한 연구는 디자인 요소(design element)의 물리적이고 시각적인 배치에 보다 초점이 맞추어져 있어서, 결과물을 소비하게 될 사용자 측면에서의 고찰은 그다지 이루어지고 있지 않다. 본 연구에서는사용자의 상황에 적절한 인터페이스를 개발하기 위하여 사용자 중심의 자동화된 디자인 레이아웃 (human-centered automatic design layout)에 연구의 초점을 맞추고 이를 통해 적응적 사용자 인터페이스 (adaptive user interface)를 개발한다. 예를 들어, 운전과같이 사용자의 시각적 주의 (visual attention)가 제한되어 환경에서는, 인터페이스를 생성할 때도 이를 고려, 운전자의 지각에 부담 (perceptual load)을 주지 않도록 전달되는정보의 양과 형태를 적절히 결정하는 방법이 사용되어야 한다 [12. 13].

넷째, 자동화된 디자인 프로세스는 최적화 기법 (optimization)을 통해서 이루어지는데 최적화 기법에 의한 디자인의 생성은 일반적으로 컴퓨터 연산 비용이 높고, 시간이 오래 걸

연구계획서 | 이준환04

린다는 단점이 있어서 응용시스템에 곧바로 적용하기 어려운 경우가 종종 발생한다. 본 연구에서는 비용을 낮추고 시간을 단축하는 방법에 대한 연구도 함께 이루어 질 것이다.

4) 실제 응용을 위한 소프트웨어 개발과 평가

본 연구의 최종단계에서는 SAI의 실제 응용시스템을 프로토타이핑하기 위한 자동화 툴킷을 개발하고 이를 통해 다음과 같은 결과물이 도출될 것으로 예상된다.

- 효율적인 응용을 위한 범용툴킷의 개발: 센싱과 모델링, 그리고 인터페이스의 생성의 과정을 효율적으로 응용하기 위해서 툴킷의 개발이 필요하다. 이미 사용자의 특정한 상황을가정한 센싱 및 모델링에 관한 툴킷이 개발되고 있는데 [7], 본 연구에서는 이를 확장하여보다 다양한 응용시스템의 개발에 적합한 범용툴킷을 개발한다. 또한, 사용자 중심의 자동화된 디자인 레이아웃 (human-centered automatic design layout) 과 관련한 툴킷의개발은 현재 거의 이루어지지 않고 있으므로 이 분야의 연구 또한 중요한 과제가 될 것이다.

- 응용 어플리케이션 개발 및 평가지침서 제공: 본 연구에서 개발된 기술과 방법론은 실제 응용 어플리케이션에 적용되어 평가될 것이다. 적용이 가능한 예상 플랫폼으로는 사용자의 주의 (attention)가 제한되어 있는 운전 중의 정보 시스템, 공통관심사를 지닌 사용자들이 모인 공공장소에서 각기 다른 요구사항이 발생할 때 능동적으로 서비스하는 정보기기 (예, 미술관), 사용자의 다양한 요구 (needs)에 맞는 서비스가 제공되어야 하는 스마트 홈, 가정용 로봇, 의료기기 등을 예로 들 수 있다. 또한, 이러한 다양한 플랫폼에 적용된 인터페이스에 대한 표준화 된 평가기법 연구도 병행한다.

3. 기대되는 성과 및 활용방안

본 연구에서는 상황에 적합한 인터랙션 (Situationally Appropriate Interaction) 을 개발하는 다양한 방법론에 대한 포괄적인 연구가 진행될 것이다. 또한, 사용자 중심의 인터페이스 설계 (human-centered interface design)에 연구의 초점이 맞추어 질 것이다.즉, 기술적인 측면을 개발하는 데 치우쳤던 기존 연구들과는 달리 사용자의 요구(needs)를 다양한 맥락에서 고찰함으로써 보다 사용자의 상황에 부합되는 상호작용기법을 제공할수 있다. 이 과정에서 개발하고자 하는 범용 개발툴킷과 표준화된 평가기법 등은 다양한플랫폼에 SAI의 방법론을 적용하기 위한 지표를 제공할 것이다.

- 건축: 건축공간은 퍼베이시브 컴퓨팅 (Pervasive Computing) 의 중요한 테스트베드(test-bed)가 될 수 있다. 최근 많은 연구가 진행 중인 스마트홈 (smart home) 프로젝트는 건축공간이 사용자 (주거자)의 다양한 요구를 능동적으로 예측하여 필요한 정보와 서비스를 제공하는데, 이 과정에서 SAI의 기법이 사용되어 보다 효율적이고 사용자 친화적인인터페이스를 설계하는 것이 가능하다.

연구계획서 | 이준환05

- 로봇: 로봇 연구의 경우 최근에 인간-로봇 상호작용 (human-robot interaction, 이하 HRI) 의 연구가 활발히 진행되고 있다. 스마트홈의 경우와 마찬가지로 로봇의 경우도SAI를 통해서 사용자의 상황을 관찰하고 예측하여 사용자가 처한 상황에 필요한 인터랙션이 제공될 것이다.

- 텔레매틱스(telematics): 최근에 텔레매틱스는 자동차와 같은 이동 공간에 적용되어 지리정보의 검색, 인터넷 정보 검색, 개인 정보의 관리, 수시로 변하는 교통정보 등 다양한서비스를 제공한다. 그러나, 이와 같은 환경에서 사용자는 일차적인 과제(primary task,예: 운전)에 집중을 해야 하므로 정보기기를 사용하기 위해 많은 주의(attention)를 기울이기 어렵다. 따라서, SAI가 텔레매틱스 분야에 적용이 된다면, 일차적인 과제에 대한 사용자의 주의를 크게 방해하지 않으면서도 사용자가 필요한 정보를 상황에 따라 적절한 형태로 제공해 줄 수 있어서 효율적이고 안전한 디스플레이를 디자인하는 것이 가능하다.

- 의학: 인구의 고령화와 휴대용 의료기기의 발전 및 통신 의료기술의 발전에 수반하여 최근의 동향은 개인 맞춤형 의료서비스 (personalized healthcare service) 로의 이행이 활발해 지고 있다. 사용자의 다양한 건강상태에 관한 정보의 수집과 그에 따른 서비스의 제공에 SAI의 방법론이 적용될 수 있을 것이다.

4. 참고문헌

1. R.G. Barker, Ecological Psychology: Concepts and Methods for Studying theEnvironment of Human Behavior, Stanford University Press, 1968.2. G. Chen and D. Kotz, A Survey of Context‐Aware Mobile Computing Re-search, Technical Report TR2000‐381, Dartmouth Computer Science, 2000.3. J.A. Cheyne and M.G. Efran, “The Effect of Spatial and Interpersonal Vari-ables on the Invasion of Group Controlled Territories,” Sociometry, vol.35, no.3, 1972, pp. 477-489.4. A.K. Dey, “Understanding and Using Context,” Personal Ubiquitous Com-put.,vol. 5, no. 1, 2001, pp. 4-7.5. S.K. Feiner and K.R. McKeown, “Automating the generation of coordinatedmultimedia explanations ” Computer, vol. 24, no. 10, 1991, pp. 33-41.6. J. Fogarty, et al., “Sensing from the basement: a feasibility study of unob-trusive and low‐cost home activity recognition,” Proc. UIST '06: Proceedingsof the 19th annual ACM symposium on User interface software and technology,ACM, 2006, pp. 91-100.7. J. Fogarty and S.E. Hudson, “Toolkit support for developing and deployingsensor‐based statistical models of human situations,” Proc. CHI '07: Proceed-ings of the SIGCHI conference on Human factors in computing systems, ACM,2007, pp. 135-144.

연구계획서 | 이준환06

8. J. Forlizzi, “Product Ecologies: Understanding the Context of Use Surround-ing Products,” 5000 Forbes Avenue, Pittsburgh, PA 15213, 2007.9. K. Henricksen and J. Indulska, “A software engineering framework for con-text‐aware pervasive computing,” Book A software engineering framework forcontext‐aware pervasive computing, Series A software engineering frameworkfor context‐aware pervasive computing, 2004, pp. 77-86.10. S.E. Hudson, et al., “Predicting human interruptibility with sensors: a Wiz-ard of Oz feasibility study,” Proc. CHI '03: Proceedings of the SIGCHI confer-ence on Human factors in computing systems, ACM, 2003, pp.257-264.11. S. Ishizaki, “Multiagent model of dynamic design: visualization as an emer-gent behavior of active design agents,” Proc. CHI '96: Proceedings of the SIGCHIconference on Human factors in computing systems, ACM Press, 1996, pp. 347-354.12. J. Lee, et al., “Studying the effectiveness of MOVE: a contextually optimizedin‐vehicle navigation system,” Proc. CHI '05: Proceedings of the SIGCHIconference on Human factors in computing systems, ACM Press, 2005, pp.571-580.13. J. Lee, et al., “Iterative design of MOVE: A situationally appropriate vehi-cle navigation system,” International Journal of Human‐Computer Studies, vol.66, 2008, pp. 198-215.14. I. Lokuge and S. Ishizaki, “GeoSpace: an interactive visualization system forexploring complex information spaces,” Proc. CHI '95: Proceedings of theSIGCHI conference on Human factors in computing systems, ACM Press/Addi-son‐Wesley Publishing Co., 1995, pp. 409-414.15. J.D. Mackinlay, “Automating the design of graphical presentations of rela-tional information,” ACM Trans. Graph., vol. 5, no. 2, 1986, pp. 110-141.16. M.J. O'Leary and C. Gallois, “The last ten turns: Behavior and sequencingin friends' and strangers' conversational findings,” Journal of NonverbalBehavior, vol. 9, no. 1, 1985, pp. 8-27.17. S.F. Roth, et al., “Toward an Information Visualization Workspace: Com-bining Multiple Means of Expression,” Human-Computer Interaction, vol. 12,no. 1, 1997, pp. 131-185.18. S.F. Roth and J. Mattis, “Automating the presentation of information,”Ar-tificial Intelligence Applications, 1991. Proceedings., Seventh IEEE Conferenceon, vol. i, 1991, pp. 90-97.19. B. Schilit, et al., “Context-aware computing applications,” Book Con-text‐aware computing applications, Series Context-aware computing applica-tions, 1994, pp. 85-90.20. A. Schmidt, et al., “Advanced Interaction in Context,” Proc. First Inter-national Symposium on Handheld and Ubiquitous Computing, 1999, pp.89-101.

연구계획서 | 이준환07