Korea University Division of information management engineering User Interface Lab Information...

Korea University Division of information management engineering User Interface Lab

Information Visualization chapter 11 Thinking with Visualization


Contents

• Memory Systems

• Eye Movements

• Problem Solving with Visualizations

• Creative Problem Solving


Introduction

• 인간이 정보를 찾는데 있어서 노력과 시간 및 다른 활동들과의 상호작용에 의한

기회비용을 최소화하는 것은 동물이 음식물을 찾기위한 행동과 비슷함 ( 경제학적 논리 )

• 인간과 computer 사이에 있어서 시각화는 internal interface 로 간주될 수 있고 , 문제해결

전략에는 computer-aided design program 이 도움이 됨

•

Two ways of visualizations support thinking

- visual queries on information graphics - extending Memory

• Key point of this chapter

- the theory of how we think with visualizations · memory and attention subsystem · visual thinking as a set of embedded process

☞ guidelines are provided for designing visual decision support systems


Memory Systems

• Three types of memory - iconic, long-term, working memory

• Visual working memory - holds the visual objects of immediate attention(comuter 중앙처리장치내의 고속기억부 ) · capacity is perhaps 3 to 5 simple object

· positions of objects are stored in an egocentric map & nine locations are stored

※ egocentric : viewd or perceived from one’s own mind as a center

· the time to change attention is about 100msec

· semantic meaning or gist of an object or scene can be activated in about 100msec

· for items to be processed into LTM, deeper semantic coding is needeed

- working memory has a number of interlinked but separate components

· auditory & visual, sub systems for body movements(verbal output, motor control etc)

· Baddeley and Hitch’s model : control structure(central executive)

· ACT-R & EPIC(executive process interactive cotrol) model : overview models of

cognitive processes → next page


Memory Systems(continue)



• Visual working memory Capacity

a. 0.4 초간 시연후에 0.5 초의 blank time 적용을 하고 똑같은 pattern 을 보여주되 어느 한 object 의 색깔이나

모양을 변경시킴 : 대부분의 결과는 3 개의 object 가 error 없이 기억됨

b. subject no better than if the stem and the cap are combined than if they are seperated

c. combined with concentric squares, six colors could be held in visual working memory, but

if they were put in side by side squares, only three colors could be retained

※ if longer viewing was permitted : up to five objects after a four-second presentation



: The theory of visual working memory and the results of Vorel et al.(2001) suggest that three of the

former glyphs could be held in visual working memory, but only one of the latter

- Object File, Coherence Fields, and Gist

· object file : temporary grouping of a collection of visual features together with other links to

verbal-propositional information

· gist : describe a kind of summary of the properties of an object or a scene, consists of both

visual information about the typical structure of an object and links to relevant verbal

propositional information



- Change Blindness

: visual working memory 의 제한된 capacity 때문에 하나의 장면에서 다음장면사이에 아주 큰 변화를

주는 것이 가능하고 , 그 변화가 최근에 주의를 준 것이 아니면 사람들은 보통 그것을 인지하지 못한다

(unless the change is to something they have recently attended)

- Spatial information

· 9 개의 위치가 기억 가능하나 그것들중에 3 개가 object file 과 연결되어 있으며 , 나머지는 그 위치에

무언가가 있었다는 것만으로 인식됨

· Moving target 의 경우 4 ~ 5 개의 물체에 대하여 지속적인 추적이 가능함



- Attention

· inattentional blindness : 십자모양의 길이에 주의를 기울일것을 사전에 알린후 실험시 피실험자들이

거의 완벽하게 변화를 감지하지만 , 주의를 주라는 사전경고 없이 실험을 하였을 경우에는 변화를

감지하지 못함 , 단 피실험자들의 attention 의 출발이 위의 예상치 못한 변화라면 감지가 가능함

· pull cue and push cue

: pull cue 는 display 상에 새로운 object 가 나타날 경우 그것에 주의를 기울이게 되고 (pulls attention

toward it), push cue 는 어디에 새로운 것이 나타날 것이라는 것을 화살표와 같은 심볼로서

시현시켜주는 것임

→ pull cue 의 경우 약 0.1, push cue 의 경우 0.2~0.4 초가 소요됨

· 선택적인 주의 선택 및 Stroop effect → next page



- The Role of Motion in Attracting Attention

· eye movement 가 진행되는 중에는 peripheral vision( 주변시 ) 에 의한 변화 감지는 miss 되기 때문에

그에대한 solution 으로서 두가지를 제시

→ use auditory cues, blinking or moving icons

• Rensink’s Model


Eye Movements

• Three important types of eye movements - saccadic, smooth-pursuit, convergent movements - saccadic suppression

• Accommodation( 조절 ) - 관찰자와 target 간의 거리가 변함에 따라 눈은 refocus 또는 accommodate 되는데 ,

accommodation 반응은 약 0.2 초가 걸린다 .

• Eye Movements, Search, and Monitoring


Eye Movements

- supervisory control

· 복잡하고 인간에 의해 간접적으로 조정되는 반자동 시스템을 위한 용어

(ex. 비행기에서의 warning system, displays for power grid)

· 인간과 computer 간의 interface 가 supervisory control system 화 함에따라 visual attention 은

매우 중요함 - visual monitoring strategies · visual scanning 전략은 다음과 같은 요소에 의해 결정됨

→ channels, events, expected cost

• Long-Term Memory

- Human LTM can be characterized as

a network of linked conceps


Eye Movements

- The forgeting of information from LTM is thought to be more of a loss of access

than an erasure of the memory trace

- Chunks and Concepts · chunking : the process of grouping simple concepts into more complex ones

· concept : 가설 검증 과정에서 형성

→ new concepts are distinguished from the prototype by means of transformation

· what about purely visual working memory?

→ verbal long term memory 를 특징짓는 추상적인 개념들의 network 는 아니다 .

· method of loci : well-known mnemonic technique

· data mountain 처럼 category 별로 조직화하는 것이 도움이 되며 , 새로운 정보를 배울때는

반복해서 노출시키는 것보다는 기 존재하는 정보와 통합시키는 것이 효과적이다

· 특히 verbal 과 visual concepts 을 함께 조합하는 것이 효과적이며 , 이것은 교육에 있어서

multimedia 사용하는 중심적인 전제이다 .


Problem Solving with Visualization

- Figure 11.11 provides an overview of the various components

· 이 그림에서 중간단계는 object 와 pattern 을 인식하는데 있어서 기초를 제공한다

· 제일 상위의 단계에서 visual query 를 수행하기 위한 중요한 pattern 과 object 가 분석됨


• Visual Problem Solving Process


1. The problem solving strategy

2. Visual query construction

3. The pattern finding loop

4. The eye movement control loop

5. The intrasaccadic scanning loop


• Implications for Interactive Visualization Design


- data display system 에서 가장 중요한 것들

· 시각처리 중간단계 (middle stage) 에서 pattern 을 찾는 능력에 advantage 를 주어야 함

· problem 에 대한 thinking 이 interface 에 대한 것이 되면 안됨

· interface 는 저렴한 비용으로 빠른 정보검색이 가능하여야 한다

- Visual Query Pattern · visual query 가 error 없이 빠르게 수행되기 위해서는 visual working memory 에 저장가능한

simple 한 object 나 pattern 이어야 한다 · 3 개의 최소단위나 복잡한 1 개 이상의 query 가 visual working memory 에 저장가능하며 , 용량을

초과할 경우에는 다른 인식전략이 필요하다


• Costs of Navigation


- 가장 이상적인 visualization 은 single high-resolution screen 에 모든 정보가 이용 가능토록

하는 것임 , 만약 정보가 각각의 다른 window 에 표시가 되더라도 한번의 eye movement 만이

필요하며 조금 더 나쁜경우는 머리의 움직임이 추가될 것이다 .

- Hypertext Link · hypertext link 를 클릭하는데는 1~2 초의 손의 움직임과 마우스 클릭이 관련되고 완전히 새로운

정보 화면을 가능케 한다 . 따라서 인식이 reorientation 되는데 몇초가 소요된다

- Brushing, Dynamic Queries, and Hover Queries · brushing 과 dynamic queries 는 둘다 연속적인 mouse 움직임이 어떤 data 에 대한 정보를 알려줌

· hover queries 는 data object 에 mouse 를 drag 하면 추가적인 정보를 pop up 시켜 알려줌

· 위 세가지 모두는 효과적이기는 하나 data space 에서 눈의 움직임과 같이 각각의 point 사이를

jump할 수는 없다


Problem Solving with Visualization - Walking or Flying in Virtual Reality

· 가상의 정보공간에서 walking 또는 flying 을 통한 navigation 은 시간적으로 느리고

인식적인 요구사항이 더 많음

· Table 11. 1 은 각각의 navigation technique 과 관련한 대략적인 시간과 cognitive

cost 를 제공함

· 느린 navigation technique 에서 시간대비 cognitive cost 가 높은 이유는 visual and

nonvisual working memory 에서의 내용의 손실이나 붕괴 때문이다 .


• Magnifying Window vs. Zooming


-Zoom 이용시

· zoom in & look one pattern

· hold the pattern(VWM)

· zoom out & compare in VWM

· match is found then zoom back

· cofirm details of the match

-두개의 다른 window

· eye movements 를 통해 빠른

match 가 가능


- visual working memory capacity 는 비교를 위한 필요한 방문을 결정하는 중요한 요소임

- 만약 target pattern 이 visual working memory capacity 에 저장가능한 단순한 pattern

이면 zooming 이 더 효과적일 것이고 , target pattern 이 3 개 이상의 item 일 경우는

반복적인 zoom in & zoom back 이 필요하기 때문에 multiwindow 가 더 빠를 것이다



• Interfaces to Knowledge Structures


- 비록 visual icon 이나 object 가 verbal information 을 활성화시키는데 빠르고 효과적이지만

그것은 위의 정보들간의 image 와 의미가 강하고 사전에 배운것일때 효과적인 것임

- Concept Maps and Mind Maps · 지식구조 (knowledge structure) 를 나타내는 복잡한 방법으로 node-link diagram 이 사용됨

→ 학생들의 학습을 돕는 concept map or mind map 으로 사용 , 또는 어떤 group 의 공통된

이해를 구축하기 위해서도 사용됨

- Constellation( 배열 ) · 높은 상관관계에 있는 시각화된 node-link 는 아주 복잡한 semantic network 에 대한 view 제공

· constellation system 은 hover queries, 커서 움직임에 따른 node highligting, zoom 등의 기법을

사용하여 많은 양의 semantic information 이 아주 빨리 처리될 수 있음

· degree-of-interest tree

→ 많은 양의 data 가 tree구조에 삽입될 경우 이해하거나 다루기가 어렵게 되고 전체적인 통찰력을

잃게 됨 , 따라서 통찰력을 잃지 않으면서 자세한 정보를 볼수있는 사용자의 관심의 정도에 따른

다양한 detail level 을 가진 representing method 를 적용



- Linking Computer-Based Analysis with Visualization · multimentional scaling, SPIRE system, ThemeScape



- Trajectory Mapping · multidimentional scaling 이 concept 들간의 연결 (link) 을 보여주지 못하는데 반해 trajectory mapping 은

분명한 concept 들간의 관계를 보여준다

· 실험은 concept 들간의 cognitive pathway 를 생산토록 design 되었으며 , strong pathway 는

weak 한 것과 구별될 수 있다 .


Creative Problem Solving

- creative thinking 은 세가지 과정으로 나눠지고 visualization 은 세 단계에 모두 도움이 된다

→ preparation, production, judgment

- preparation stage · acquires the background information needed to build a solution

· visual queries 는 중요한 pattern 을 찾는데 있어서 loosely defined 되며 , 진행됨에 따라 더욱

focus 가 이루어짐

- production stage · the problem solver generates a set of potential solutions

· study of architectural perspective drawings

→ precise drawings, realistically shaded image, sketch

- judgement stage · the problem solver analyzes the potential solutions

· 제시된 많은 가설들은 pattern 을 분석하는 과정에서 도태됨

· only a few will be novel and even fewer will lead to a practical solution

Korea University Division of information management engineering User Interface Lab Information...

Documents

Transcript of Korea University Division of information management engineering User Interface Lab Information...