How does Search Behav

ior Change as Search B

ecomes More Difficult?

+ CHI 2011

-Anne Aula

/이남민

x 2011 summer

How does Search Behavior Change asSearch Becomes More Difficult?

by: Anne Aula, Rehan M. Khan and Zhiwei GuanCHI '10 Proceedings of the 28th international conference on Human factors in computing systems

Department of Digital Contents Convergence

UX Lab.

Lee, Nam Min

2011. 08.24

논문 선정

‘ 항상 느끼는 것이지만, 좋은 논문 찾기란 어려워…’

KEYWORD : “SEARCH” “INFORMATION BEHAVIOR” “CHI – “

논문 찾을 땐 항상 좌절감과 갑갑함을 느낀다. 그런 경우 드러나는 행동 패턴이 있다면 궁금,

나는 어떻게 행동할까?

게다가, CHI 2010 Best paper 라니!

Anne AulaSenior User Experience Researcher, April 2009-current. Google, Inc.,

Mountain View, USA.

PhD in Interactive Technology, Computer Sciences, University of Tampere.

Master of Arts in psychology, University of Tampere.

저자 소개저자 소개

Rehan M. KhanGoogle, Inc.,

Zhiwei GuanPh.D. User-centered Design and Engineering (Technical Communication),

University of Washington

M.S. Technical Communication, University of Washington

검색을하다가어려움에직면하면???

- 손톱을 물어뜯는다.

- 한숨을 쉰다.

- 눈을 모니터에 가까이 가져간다.

- 눈살을 찌푸린다.

- think-aloud 수행 중임을 까먹고 중단한다.

Human Computation Games저자 소개INTRODUCTION – 연구 배경

검색중에문제상황에직면했음을짐작케하는,

컴퓨터또한감지할수있는행동신호가있을테지!

changes in language,

body language, facial expressions

Average numbers describing web search

- 2.35 ~ 2.93 terms / 1 query

- query : simple keyword queries (10% contain advanced query operators)

- typing query -> evaluate the results -> click on a result or refine query (7.78 sec)

- 어려움의 정도와 evaluate time은 비례함.

Interaction Flow

- White & Drucker, focused on query, time, structure of interactions, types of web pages user visited

- Navigators: Well-defined fact-finding시. systematic flow.

- Explorers: complex sense making을 위함. 다양, 많은 쿼리, 많은 도메인을 두루 방문.

Expert strategies, 초급자와비교하여

- 검색에 더 적은 시간을 소요함.

- 검색 쿼리를 덜 바꿈.

- 쿼리 작성 툴을 사용하여 에러 없는 긴 쿼리를 작성함.

- depth first, bottom-up strategy 사용

- systematic query refinement

Human Computation Games저자 소개RELATED RESEARCH

Different behavioral strategies

- Aula & Nordhausen, 전문가와 숙련자의 구분 대신, 검색 성공을 설명할 서로 다른 검색 행동 전략에 대한 연구.

- fact-finding task에서는 쿼리를 만들고 결과를 보기까지의 속도와 검색 성공이 비례.

- 문제 설명으로부터 간단한 keyword를 뽑아 쿼리를 시작하며 두번 정도의 쿼리 후 더자세하거나, 자연어로 쿼리를 입력해서 성공하지 못한다.

- 그나마 더 성공적인 검색자는 query formulation시 더 systematic하게 하며, 이 쿼리를작은 범위에서만 수정함.

Advanced search engine users

- White & Morris, 다른 검색 엔진들의 로그를 비교 분석함.

- ‘고급 검색 엔진 사용자’를 고급 연산자를 사용하는 유저로 정의하여, 그렇지 않은 사람들과 비교함.

- 이들은 덜 자주 쿼리하고, 긴 쿼리를 작성하며, 결과 목록을 더욱 멀리, 많이까지 탐색함.

- query – webpage쌍의 통계를 통해 성공률을 측정함.

Hyperlink

- common query로부터 하이퍼링크로 이동하는 것이 더 효과적임.

Human Computation Games저자 소개RELATED RESEARCH – cont.

기존연구들의 한계1) 기존 연구들은 초보자와 숙련자의 검색 전략의 차이에 집중함으로써 숙련자의 성공적인검색 전략과 행동을 관찰하고자 함.하지만,

초보자와 숙련자의 구분의 기준이 모호하고, 많은 연구들에서 다르게 정의하고 있음.‘성공’을 측정하는 기준도 방법도 연구마다 다름.-> 검색 작업의 성공과, 관련된 전략과 방법 사이의 관계가 불분명함.

2) 최근, 검색 엔진의 로그 분석을 통해 검색 성공과 관련된 현상을 확인하고자 함.하지만,

로그의 노이즈 때문에 성공 여부 판단이 어렵고, 어떤 로그가 어떤 의미를 가지는 것인지 판단하기 모호하다.

우리는기존의많은연구들이 연구한 ‘성공’ 케이스대신, ‘실패’ 에집중함으로써,

기존의많은연구결과들을보완하려고한다.

+ 성공여부의판단에용이하도록, closed informational search task에 국한한다.

+ User’s own perception of success or failure를 통해가늠하기로한다.

연구 배경 – 기존의 mechanism저자 소개연구 배경 – 기존 연구들과의 차별성

Participants

23명, used search engines at least several times a week.

Procedure

- 2~3개의 어려운 검색 task, 중간 중간 쉬운 task.

- close informational task: 정답은 하나, 모호하지 않은 답을 가진 문제들.

- 어려운 문제는, 어려워 보이지 않음. 어려운 문제라는 것을 발견했을 때 어떤 행동을보이는지 보고자 함.

- 최대한 사용하던 환경과 맞게: 사용하던 브라우저를 사용할 수 있음.

- 피실험자는, 정답을 찾은 후 답변을 표시하고, 특정 키를 눌러 recording 종료.

- 정답인지 여부는 알려줄 필요 없었음.

- 정답을 찾지 못하면, moderator에게 알려 다음 과제로 넘어가도록 유도.

Data collection

- 방문한 모든 URLs with Time stamp

- task 수행 중 목소리, 화면 변화 등 무슨 일이 일어났는지 볼 수 있는 자료

- task의 성공 여부를 스스로 마킹한 데이터

New mechanism의 단점저자 소개METHODS #1 – Lab Study

“I want to get an answer to a question that has a single, unambiguous answer.”

New mechanism의 단점저자 소개METHODS #2 – Online Study

Participants

179명(18세~54세),

Procedure

- 각각에게는 무작위로 평균 22.3 개의 task가 주어졌다.

- 난이도가 다양한 100개의, 40명 이하에게 완료된, closed informational search task

pool로부터.

- 각자의 컴퓨터를 이용해 온라인으로 이루어짐.

- task가 완료되거나, 7분 경과 시까지 계속 해야 함.

- 문제 설명 보기 -> start button click -> 검색엔진 페이지로 이동 -> 답변 or 포기 후 응답 쓰는 페이지로 이동 -> 5점 척도의 만족도(성공여부) + 만족도(5점 척도)

- 완료까지 걸린 시간이 기록됨.

Data collection

- 방문한 모든 URLs with Time stamp

- user’s answer

- rating of the task(5점 척도)

1) task description의 주요 keyword 포함

- 쉬운 task에서는 대부분 성공했지만, 어려운 task에서는 실패하면 종종 전략을 바꿈.

2) 직접 의문문 사용 (자연어) : 이 경우 대부분이 실패함.

3) 몇몇 user는 다시 keyword 쿼리로 돌아가서 반복하다 포기해버림.

New mechanism의 단점저자 소개RESULTS #1 – Lab Study

User A:

• [prada fashion show models falling]

• [prada fashion show models name falling]

• [prada fashion model name]

• [prada fashion model name fall]

• [prada fashion model name falling]

• [prada fashion models names that fell]

• [prada models fall]

• [what were the names of the models that fell at prada]

User B:

• [Dave matthews band studio Virginia outside charlottesville]

• [Dave matthews band name studio Virginia outside charlottesville]

• [What is the name of studio in Virginia "Dave matthews band"?]

• [What is the name of studio in charlottesville "Dave matthews band"?]

쿼리수정방법

- 기존 연구들에서는, 덜 성공적인 검색자들은 덜 체계적인 쿼리

수정 과정을 거친다고 말함.

- 우리는 이 덜 체계적인 쿼리 수정 과정이 일어났다는 것은, 사용자가 어려움에 처했다는 것을 시사한다고 봄.

- 많은 사용자가 초기 쿼리를 선택하고 미묘하게 쿼리를 약간만 바꾸는 일을 하지만, 이게 충분하지 않다고 느끼면 전략 바꾸기를 멈추어버린다.

(add, remove, change terms, using advanced operators,(“))

New mechanism의 단점저자 소개RESULTS #1 – Lab Study , cont.

• [US presidents late 1900]

• [US presidents]

• [time line US presidents]

• [timeline US presidents]

• [george bush wiki]

• [george bush children names]

• [george H. bush children names]

• [who did george H. bush name his child after?]

• [president's child name after college buddy]

• [president's child name after "college buddy"]

• [US president's child name after "college buddy"]

• [US president child named after "college buddy"]

• [college buddy "US president"]

• [college buddy "US president" child]

• [which US President name child after college buddy?]

• [which US President late 1900s name child after college buddy?]

• [US President late 1900s]

• [US President with children]

쿼리수정방법

- 성공적인 케이스에서는 쿼리 수정 과정이 짧음.

- 좀 더 일반적인 쿼리에서 시작하고, 점차 상세하고 복잡하고 길어지는 과정을 거쳐 성공하곤 함.

- 보통 결과를 선택하거나, 다른 쿼리를 입력하기까지 8초~11초 정도 걸린다고 되어있음.

- 하지만 이 연구에서는 사람들이 포기할 때 , 기존 연구 결과보다 result page에서 훨씬 긴시간을 보냄을 발견.

- 그 시간 동안, 다른 옵션이 있나 스캔 해보고, 쿼리를 수정하기도 함.

- 하지만 결국은 성공하지 못하는 경우가 많음.

New mechanism의 단점저자 소개RESULTS #1 – Lab Study , cont.

• [chelsea hotel singer]

• [chelsea hotel singer name]

• [leonard cohen chelsea hotel song background]

When users are having difficulties in a search task, they will

1) Spend more time on the search result page

2) Use more natural language/question type queries

and/or use advanced operators in their queries, and

3) Have a more unsystematic query refinement process.

New mechanism의 단점저자 소개HYPOTHESES

New mechanism의 단점저자 소개RESULTS #2 – Online Study

1. 성공률과 평균 query의 개수는 반비례한다.

2. 성공률이 낮을 수록 쿼리의 길이가 길다: 80% 이상이 성공한 경우 2~5 terms, 50% 이상이 실패한 경우 4~7 terms 의 쿼리.

3. 성공률이 낮을 수록 쿼리의 maximum length도 길다.(2번과 같은 양상)

New mechanism의 단점저자 소개RESULTS #2 – Online Study

1. 실패한 경우에 더 많은 question 형태의 query를 사용했다.

- start with question word(who, what, where….) or end with question mark“?”

- 비록 question query의 비율은 rare했지만, 실패한 경우에 사용하는 경향이 나타났다.

(보통의 경우 keyword query 가 실패한 경우 시도함)

2. 실패한 경우에 더 많은 고급 연산자를 사용했다.

- Question query와 더불어, 다른 덜 직관적인 전략들도 사용했다.

New mechanism의 단점저자 소개RESULTS #2 – Online Study

1. 성공한 경우에는 가장 긴 쿼리(상세함, 구체적인) 를 검색 세션의 마지막 부분에 입력했지만, 실패한 경우 처음~ 중간 부분에 가장 긴 쿼리를 입력했다.

- 보통의 검색 전략이 실패했을 때, 사용자는 점차 구체적으로 좁혀나가는 것이 아니라,

전략을 바꾸면서 짧게, 길게 쿼리를 빌드하여 입력하는 경향을 보였다.

2. 어려운 상황에 놓였을 때(즉, 실패했을 때) result page에서 상당 시간을 머무른다.

New mechanism의 단점저자 소개RESULTS #2 – Online Study

1. 성공했을 때 일수록, 전체 검색 수행 시간의 많은 비율을 result page에서 보냈다.

- 몇몇 경우 전체 검색 시간의 반 이상을 보내기도 했다.

• users formulated more question queries,

• they used advanced operators more often,

• they spent a longer time on the results page (both on average, and when

looking at the maximum time in the search session),

• they formulate the longest query somewhere in the middle of the search

session (in successful tasks, they are more likely to have the longest query

towards the end of the search session), and

• they spent a larger proportion of the task time on the search results

page.

- 기존 연구에 비해,

더 긴, 더 많은 쿼리를 사용하고, 약간 더 긴 시간을 result page에서 보냈다.

<- one task type – closed information queries에 국한시켰기 때문.

- 흥미로운 점은, 우리의 연구 결과에서는, 고급연산자를 사용한 비율이 더 적게 나왔다.

<- 지금의 search engine의 발달로, 별도의 operator가 없이도 성공적인 검색수행이 가능하기 때문에, 점차 사람들이 operator를 사용하지 않기 때문.

New mechanism의 단점저자 소개DISCUSSION

Closed- informational search task

- 특정 검색 패턴에만 유효한 결과를 낳았지만, 모든 검색 패턴에 대해 아우르지 않았다고 의미 없는 결과인건 아니다. 옳지.

- Open-ended 검색을 할 경우, 상대적으로 사용자는 좌절감을 맞볼 확률이 낮다.

- 우리의 연구 목적에 따르면, 사용자가 검색 시 어려움에 처하는 상황에 대한 연구이기때문에 closed-information search task로 범위를 좁혔다.

Familiarity with the search topics

- 피실험자의, search topic에 대한 익숙함 정도는 고려대상에서 제외했다.

- 일반적으로 domain knowledge는 검색 전략에 영향을 미치고, 이런 경우 제대로 된 실험 결과를 기대할 수 없다.

- 그래서, 우리 연구에서는 많은 피실험자를 대상으로 했고, 그들의 domain은 다르기 때문에 검색 전략에 대한 연구결과에 영향을 미쳤을것이라 보지 않는다.

-> 추후, domain knowledge level에 따른 사용자들의 검색 패턴 차이에 대해 연구 필요.

Level of motivation

- 만일, 실험이 아니고, 실제 생활에서 검색활동이 일어났다면 우리가 발견했던 행동변화를 보이지 않고, 조금 좌절하면 그냥 포기하고 말 것이다.

- 하지만 그래도 이 연구가 의미 있는 것은, 어찌되었든, close-information search는 검색엔진을 이용하는 가장 많은 이유이며, 사용자들은 계속해서 실패감을 맛보기 때문이다.

New mechanism의 단점저자 소개DISCUSSION – cont.

Expert’s vs. novices’

- 기존 연구결과들과 비교하기는 앞서 말한 이유들 때문에 매우 어렵지만, 우리 결과를연결 지어보면, 사용자는 어려움을 느끼기 시작하면 마치 초보자의 검색행동을 하는것처럼 변화한다.

Navigator’s vs. Explorer’s

- 이 역시 비교하기는 힘들지만, 우리 결과를 연결 지어보면, 사용자는 어려움을 느끼기시작하면, 잘 정의된 문제였을지라도 많은 방식으로, unsystematic 한 방식으로, 즉explorer-like가 된다.

새로운흥미로운발견들

- Often scroll up & down the result page 맥락 없이!!!

- 갔던 페이지를 자꾸만 다시 들어가는!

New mechanism의 단점저자 소개DISCUSSION – cont.

의의User가 어려움에 처했음을 가늠케 하는 behavioral signal을 찾고자 했다.

기존에 많은 연구 결과들(expert’s stratagies) 에 더해져, 매우 의미 있는 결과를 낳았다.

방법론에 대해서도,

작은 범위에서의 질적 연구를 통해 나온 가설들을,

수치적으로 뒷받침해 줄 근거를 위한, 큰 범위의 양적 연구를 함으로써 완성도를 높였다.

Search engine provider 입장에서도,

실시간으로 사용자가 어려움에 처했음을 감지하여 서비스 개선에 도움을 줄 수 있을 것이다. : 검색엔진에 대한 만족도를 예측하는 모델을 구축하여, 검색 서비스를 찡그린 채떠나는 이유를 밝히고, 개선하여 비즈니스적으로 매우 유용할 것이다.

CONCLUSION저자 소개CONCLUSION

Method에대한의문

- 많은 경우에, closed informational search task라 하더라도, query를 refine하지 않고, 불만족스러운 결과 페이지를 보다가 힌트를 얻어 refine하고, refine한다. 이런 행동들도 결과에영향을 많이 줄 것 같은데..

- 얼마 동안 task를 수행하게 했는지 명시되어있지 않음. 다만, Method 2에서 한 사람 당22~23개의 task가 주어졌다고 하는데,, 지겨워서 나중엔 그냥 give up하지 않았을까.

결과해석에대한의문

- result page에서 머무르는 시간에 대한 표 해석에서, max time에 비해 mean time에서의 차이는 유의미하다고 느껴지지 않는다.

- result page에서 머무르는 시간 비율에 대한 표 해석에서,

소요 시간에 대한 해석이 있음에도,비율에 대한 데이터는 왜 필요했는지?

가설을 입증하기에는 소요 시간에 대한 해석으로 충분해 보이는데..

- 그래프로 확인한 바로는 큰 의미 있는 차이가 느껴지지 않는 부분이 있는데, 의미 있다고서술함. 내가 통계를 배워야 하는 건가..?

남민 생각저자 소개남민 생각