인지면접을 적용한 조사표 테스트 사례 연구

- 센서스 주요 항목을 중심으로-

박영실 • 박현정

(통계개발원 동향분석실)

국가통계방법론 심포지엄, 대전, 2012.10.24.(수)

I. 인지면접이란?

II. 센서스 항목 인지면접 테스트 절차

III. 주요 분석 결과 요약

IV. 결론

I. 인지면접이란?

I

4

조사표 설계 및 평가 방법론

전문가검토(Expert Review)

인지면접(Cognitive Interviewing) 포커스 그룹(Focus Group)

행동코딩(Behavior Coding) 등

5

응답과정에 대한 인지적 모델 I

질문이해

(comprehension)

정보인출

(retrieval)

판단추정

(judgment and estimation)

응답보고

(reporting)

CASM(Cognitive Aspects of Survey Methodology)의 출발

→ 조사방법론(Survey Methodology) + 인지심리학(Cognitive Psychology)

질문에 대한 인지적 응답과정 (Groves et al., 2004)

6

CASM 이론 적용을 통한 인지면접 I

응답오차 감소에

인지면접이

기여할 수 있는 부분

(Eurostat, 2006)

조사원 응답자

정보체계

자료수집방법

조사표

환경

소규모(10~15명 가량) 자발적인 참가자들을 대상으로 응답형성과정을 파악할 수

있는 질문을 함으로써 조사표 상에서 발생할 수 있는 오차 진단

☜

Think aloud

목적: 응답자의 사고

과정에 대한 정보인출

방법: “당신이 생각하는 것에 대해 말씀해 주십시오”

Probing

목적: 응답자가 자발적으로 말하지 않는 특정 질문 혹은 응답범주에 대한

추가적 정보 요구

방법: “~는 포함해서

대답하셨습니까? ”

Vignette

목적:좀더 구체적인

상황에서의 응답자의

이해과정 파악

방법: ‘이야기’를 만들어 응답자에게 제시하면, 응답자는 주어진

정보 내에서 응답

인지면접 주요 기법 I

생각발화 프로빙 비네트

Paraphrasing

목적:질문의 이해 과정에서 응답자가 사용하는 용어의 식별

방법: “이 질문을 자신의 표현으로 다시 말씀 해 주시겠습니까?”

바꾸어말하기

(예시) 프로빙 기법 적용을 통한 질문 개선안 I

• How long has (name) used the (cane, wheelchair …)? 질문 초안

• 장기간의 기억 인출을 요구하는 질문으로 응답자가 어떻게 기억하는지가 관건 잠재 이슈 도출

• How did you get the answer of x years?

• When did [person] first use the [device]?

• How well do you remember this? 프로빙 질문

• 기억인출과 관련된 문제를 예상했으나, 더 심각한 이해의 문제 발생. 도중에 휠체어 등을 사용하지 않은 경우, 사용하지 않은 기간을 전체 기간에 포함할 지 여부에 따른 해석 차이 발생

진단된 문제점

• How long ago did [person] first use a [device]? 개선안 제언

< 예 시 >

II. 센서스 항목 인지면접 테스트

10

(선정항목) 최근 3회(2010~2000) 센서스 공통 항목 중

(방법론) 반복적 인지면접

-1라운드: 주요 용어 및 질문에 대한 전반적인 이해 문제 진단

- 2라운드: 수정된 조사항목의 효과 파악

연구 개요 II

인구(9개) 가구 및 주택(5개)

연령, 가구주와의 관계, 혼인상태,5년전 거주지, 통근통학여부/장소,

통근통학시간/교통수단, 총출생아수

가구구분, 점유형태, 사용방수

주인가구여부, 연면적

(연구목적) 자기기입식(인터넷 조사) 증가에 따른 조사 질문에 대한 응답자

이해도 파악, 문제점을 개선하여 조사표 설계에 반영

11

II

참가자 모집 인지면접 준비

전문가 검토를 통한 이슈 도출

인지면접 프로토콜 개발

면접원 훈련

참가자 유형 결정

참가자 모집 공고

채용 및 면접 일정 확정

센서스 인지면접 수행 절차

인지면접수행

면접실시

면접결과 녹취 및 자료분석

분석결과 협의

약 3개월 정도 소요

인지면접 준비 II

• 이분과 가구주는 어떤 관계입니까?

• 평소 직장(일터, 근무지) 또는 학교로 통근∙통학을 하고 있습니까? •••

• 이 주택의 주거용 연면적(건물 연면적)은 몇 제곱미터입니까?

질문 초안

• 각각의 항목별로 응답자의 인지적 문제와 관련된 이슈 파악 잠재 이슈 도출

• 조사 질문에 대한 이해를 묻는 프로빙 기법 중심으로 작성하되, 생각발화 및 비네트 기법 등을 혼용

• 2라운드에서는 수정된 조사항목의 효과를 파악하기 위해 1라운드와 동일한 질문 사용하되, 일부 추가적인 프로빙 질문 개발

프로빙 질문

지

침

서

개

발

• 연구진 및 실무진이 면접원으로 참여

• 면접진행절차 및 면접방법에 대한 교육 면접원 훈련

13

(예시) 인지면접 지침서 II

생각발화, 바꾸어말하기

but, 한국인들에게 부적합

프로빙

비네트

14

참가자 모집 II

참가자 모집 채널

통계청 및 개발원 홈페이지, 벼룩시장 등

사전 선별(screening) 질문을 통한 지원자 특성 파악 후 응답자 선정

지원자의 주요 인구사회학적 특성

센서스 관련 업무 경험 유무

추출된 응답자 특성 (지원 1차: 49명, 2차 69명)

• 인터넷 접속가능자 및 통계청 업무

관심자로 제한 우려

15

(예시) 참가자 모집 공고 II

16

인지면접 수행 II

1라운드

- 일시: 4.12.~4.17.

- 장소: 대전

2라운드

- 일시: 6.7.~6.12

- 장소: 서울, 대전

면접 실시

• 인지면접 안내, 동의서 작성(녹음 및 자료제공)

• 참가자: 조사표 기입→면접원: 해당 질문에 대한 프로빙 등 실시

• 감사인사 및 사례비 지급(3만원)

자료 분석

• 면접 후 1일 이내 관찰 상황을 정리한 요약 보고서 등 제출

• 녹음된 인지면접 과정을 녹취, 질문별 면접 결과 자료 구축

• 질문 별, 응답자 특성 별 내용 분석 (질적 방법론)

• 실무부서와 협의 및 개선방안 제언

반복적으로 나타나는 문제점

혹은

Discoveries

17

(예시) 인지면접 안내문 및 동의서 II

III. 주요 분석 결과 요약

III

19

혼인상태

1라운드 (2010 원버전) 2라운드 제언

기존 응답범주에서는 실제 상태 보다 법적 상태 중심으로 응답하는 경향

(1R) 동거는 미혼에 응답해야 7/15명, 별거는 배우자 있음에 응답해야 13/15명

(2R) 동거 및 별거 항목의 민감성??

ⓡ (60대 여성) : 내가 보기에 여기서 뭐 죄지은 것도 아니고 조선시대도 아니고. 나는 글쎄 모르

겠네. 이혼이나 별거 같은 것은 … 응답할거 같어

조사정의

☞ 사실상의 이혼상태에 있는 별거는 이혼에 포함

III

20

가구구분

1라운드 (2010 원버전) 2라운드 제언

친척은 가족이 아니다 : 66.7% (10/15명,1R), 64.3%(9/14명,2R)

ⓘ : 가족의 범위를 어디까지로 보세요?

ⓡ (40대 남) : 부모님하고 우리 형제하고 그리 뿐이 생각 안해요

ⓘ : 2번에 보면 가족과 가족 이외의 사람이 함께 사는 가구라고 되어 있거든요.. 그러면 이

경우 가족 이외의 사람이 누구를 의미할까요?

ⓡ (50대 여) : 음 보통 예를 들어서 친척이라든지…

조사정의

☞ 가족에는 친인척이 포함됨

III

21

영업겸용

1라운드 (2010 원버전) 2라운드 제언

가구가 거주하고 있는 집(housing)과 해당 집이 있는 건물(building) 구분 혼돈

가구 내 영업겸용을 건물 내 영업겸용으로 잘못 이해: 46.2%(6/13명,1R),

66.7%(8/12명, 2R)

ⓡ : 1,2 층에 상가가 있는데, 3,4층은 주택으로 되어 있는게 영업겸용이고요, 저희 처럼 상가가

없고 전체 다 주거형태로 되어 있는 게 주거전용

조사정의

☞ 해당가구 주거부분에 영업겸용이 있는지를 파악하는 것으로 건물의

일부에 영업부분이 있다는 이유로 영업겸용으로 조사하면 안됨

III

22

주거용 연면적

1라운드 (2010 원버전) 2라운드 제언

(1R) 주거용 연면적에 응답하지 못한 경우 5/12명

(2R) 주택 전체의 층별 주거용 연면적을 합산해야 하나 그렇지 않은 경우 대부분

@ 주인 가구는 이를 인지하고 합산하는지 물어보는 경우 있음

조사정의

☞ 주거에 이용되는 부분만을 기입하되, 건물 각 층의 바닥 면적을 합한

전체 면적을 말함

III

23

기타 항목

1라운드 (2010 원버전) 인지면접결과 제언

가구주 개념을 세대주, 호주 등으로 본다는 경우 다수 - 53.3%(8/15, 1R) - 64.3%(9/14, 2R)

‘평소’에 대한 준거기간을 응답자 상황에 따라 다양

통근통학 모두 하는 경우 둘 다 응답하겠다는 경우 발생 - 42.9%(6/14명, 2R)

중간경유시간을 포함하지 않는다는 경우 - 61.5%(8/13명, 1R) - 58.3%(7/12명, 2R)

IV. 결론

25

인지면접 한계

한계 및 시사점 IV

참가자 응답자

소규모 대규모

면접원 조사원

현장 실험실

≠

≠

≠

≠

자료분석의 목적이 통계적인 추정이 아니며,

구축된 자료 또한 양적 자료 아닌 질적 자료

질문 유형에 따른 적합한 테스트 방법 결정

- 이해와 관련된 문제는 실험실 상황 영향을 받지 않음

- 민감한 항목의 경우, 실험실 상황 영향을 받음

26

조사표 설계 관련 시사점

한계 및 시사점 IV

(방향) 현장조사 평가를 통한 인지면접 한계 보완

실험실 효과(artificial effect) 상쇄

다른 측면의 문제점 진단 가능

(의의) 경험적 근거를 통한 조사표 개선안 제언

응답자의 이해와 관련된 문제 진단

응답오차 감소를 통한 자료품질향상 기대

감 사 합 니 다