밸브의 플레이테스트 접근:경험적 적용

(VALVE’S APPROACH TO PLAYTESTING : THE APPLICATION OF EMPIRICISM)

Mike Ambinder, PhDExperimental Psychologist 번역자 : 중원

번역자말 나 만화가인데, 내용이 궁금해 번역했음요.비공식 번역이니깐 님들만 몰래 보세요!원본 링크 : http://www.valvesoftware.com/publications/2009/GDC2009_ValvesApproachToPlaytesting.pdf

중원 (http://postgame.tistory.com)-한경닷컴 게임톡 게임개발자전 연재 등-엔파이 게임즈 서버 실장

Dear Mike Ambinder, VALVEThank you for opening your presentation.I think you not be offended for this unofficial Korean translation.Thanks~

목표

□ 다양한 플레이 테스트 방법론의 장단점 리뷰□ 방법론에서 가장 잘 도출된 데이터를 논의□ 유저 리서치 내에서 리서치에 보다 집중

개요

□ 밸브 (외부)의 플레이 테스트 철학 □ 전통적인 플레이테스트 방법론들 ■ 질적□ 기술적인 플레이테스트 방법론들 ■ 측정적

개요

● 전통적 플레이테스트 방법론- 직접적인 관찰- 구두 리포트 - Q&A들● 기술적인 플레이테스트 방법론- 상태 수집/데이터 분석- 디자인 실험- 설문조사- 생리적 측정

밸브의 게임 디자인 프로세스

목표는 재밌는 게임->게임 디자인은 가설->플레이테스트는 실험->플레이테스트 결과 기반으로 디자인 평가->리포트

플레이테스트 목표

재미

버그 테스트 아님게임 밸런싱 아님테스트 자체는 절대 아님

부가적 이익

□ 아이디어 발생□ 문제영역 확인□ 디자인 논의 해결□ 다른 제작 측면에 도움

밸브의 철학

□ 우리는 현명한 결정을 하길 원한다. ■ 데이터를 일찍 얻고, 자주 얻는다. ■ 끊임없이 반복□ 우리는 무엇이 최고인지 모른다. (플레이어의 행위)□ 디자인과 플레이테스트의 피드백 루프를 만든다.

컨텐츠 생산+

게임 디자인플레이테스트

아이디어

피드백

밸브의 철학

□ 플레이테스트는 출시 이후에도 계속 된다. ■ 게임플레이 상태 ■ 포럼 응답 ■ 팬 피드백□ 항상 미래를 위해 데이터를 모은다. ■ 패치/업데이트 ■ 차기작

전통적 방법들

■ 직접 관찰 ■ 구두 리포트 ■ Q&A들

직접 관찰

직접관찰

□ “전형적인” 플레이테스트 ■ 게임 플레이 하는 사람을 지켜본다. ■ 그들의 게임플레이/행동을 관찰한다. ■ 집에서의 경험을 시뮬레이트 □ 디자인 목표를 갖는다.

직접 관찰

+ 게임과 플레이간 상호작용 느낌을 얻음 + 사람들이 말하지 않고 행하는 것의 중요성

- 관찰자의 존재가 결과의 편견을 가져올 수 있음. - 핵심 이벤트 해석이 편향될 수 있음. - 행동에 해석이 요구됨.

구두 리포트

좀비가 무섭고요… 음.. 어설트 라이플은 제가 제일 좋아해요.

구두 리포트

□ 생각을 말하는 방법 : ■ 사람들이 플레이하는 액션을 설명한다. ■ 지시하지 않고 수정하지 않음.□ 직접관찰과 함께 시행

구두 리포트

+ 실시간을 플레이의 생각,느낌,동기를 얻음 + 눈에 띄지 않는 디테일을 꺼내 봄 + ”왜” 질문에 효과적

- 게임플레이를 방해한다/인공적 경험을 만듬 /심란함. - 부정확하고 편향됨.

Q&A

Q&A

■ 플레이테스트에 대한 구조화된 질의(보통)■ 플레이테스트 목표 검증■ 추가정보의 원천

Q&A

+ 구체적으로 디자인 질문에 답변 + 구체적인 플레이어 의향을 알아냄

- 그룹 편견(고착화, 사회적 압박, 특성 등) - 사람들은 그들이 왜 그렇게 행동했는지 알지 못한다. - 편향된 질문의 가능성

우리 Q&A 절차

■ 설문조사■ 개별 Q&A■ 그룹 Q&A■ 자중한다.

전통적 방법의 이익

+ 직접 게임 플레이 관찰보다 나은 건 없다. + 주류 게임플레이, 길찾기, 컨텐츠 이슈 등을 알아낼 수 있다. + 플레이어의 생각에 대한 아이디어와 멘탈 모델 얻는다. + 디자인 선택의 피드백을 얻는다.

전통적 방법의 이슈

- 인공적인 게임플레이 측면 - 잠재적인 편향이 많음. - 왜곡된 데이터(해석된 행동) - 경험적 방법 결여 - 객관화 요소를 잃어버림 - 때때로 감정, 기준점, 독립성 확립이 어렵다.

기술적 접근

■ 상태 수집/ 분석■ 디자인 실험■ 설문조사■ 생리학적 측정

상태 수집 / 분석

상태 수집/ 분석

■ 게임플레이 행동 기록 □ 죽음, 레벨 시간, 프렌들리 파이어…■ 목표 측정■ 관점 종합■ 행동 정량화■ 분석할 기회 □ T-test □ 회귀 □ ...

상태 수집/ 분석

+ 플레이어 행동의 개념 객관화 + 전반적인 흐름을 본다. + 비교, 기준선 확립, 창출 계측이 손쉬워짐 + 시간에 따른 변화 추적 - 평균은 극단적인 샘플을 숨김 - 뉘앙스를 잃어 버림(문맥 상실) - 엄격함이 요구됨. - ’환영’ 패턴을 볼 수도

실험 설계

실험 설계

■ 가설 테스트 □ 하나 또는 둘의 상태를 비교 □ 데이터 수집 □ 가설 검증■ 플레이어 행동 예측 □ 변수 설정 정의 □ 초래된 관계를 조사

실험 설계

+ 정립된 의사 결정을 보다 확립 + 객관적 답변 + 길게 봤을 때 시간을 아낌. - 시간과 비용이 많이 든다.(단기적으로) - 정답이 항상 명확하지 않다. - 제대로 된 실험적 설계는 프로세스임.

설문조사

설문조사

■ 표준화된 질문 설정■ 강제 선택지 답변■ 피드백/의견 정량화■ 플레이어 범주화

다음 적들 중 도전하기가 어떠한가요? (1 = 매우 쉬움; 7 = 매우 어려움)

다음 무기 중 1(가장 좋음)부터 12(가장 나쁨) 까지 선호하는 순서를 매겨주세요 .

설문조사

+ 보다 적은 편향 응답 + 답변 검증(반복된 질문) + 선호도에 유용한 강제 선택지 + 설문답변은 시간축 비교도 가능케 함. - 뉘앙스 제거됨. - 설문답변을 의미있는 결정 변환이 어렵다. - 제약된 해결 공간.

생리학적 측정

생리학적 측정

■ 생리적 응답을 측정■ 플레이어 상태의 대리인을 만듬■ 무의식적■ 객관적 - 속일 수 없다.■ 감정 정량화

유의성과 자극

유의성(valence) = 긍정 또는 부정의 감정 자극 = 감정의 감도

자극

유의성

-

+-

흥분된

화난두려운

정렬적인환희

수동적인

슬픈

행복한

지루한피곤한

느긋한평화로운

+

심박수

■ 맥박 간 간격■ 기준비와 변화를 측정■ 가장 기초적인 자극 측정 ■ 감정 구분을 위한 푸리에 변환

심박수

+ 수집이 간단 + 각성에 정확히 연관됨 +비교에 대한 계측에 좋다 - 거슬림 - (때때로) 자극의 응답이 늦음. - 가변적임

피부 전도 레벨

■ 피부의 전기적 저항 □ 각성과 연관 □ 아마도 다른 감정들과도 잘 연결■ 스파이크를 볼 수 있음 (즉각 대응과 예상되는 것 둘다)

피부 전도 레벨

+ 자극과 연관성이 탁월 + 비교를 위한 측정에 좋음 + 순간적인 응답을 감지하기가 수월 - 거슬림 - 다른 요인에 민감함 - 직접적인 I/O 관계는 존재하지 않는다.

아이 트래킹

■ 카메라를 눈에 집중 시킨다.■ 눈이 어디를 보고 있는지 알아낸다.■ 플레이어의 생각을 실시간으로 간파하는 프로세스■ 눈깜빡임 비율/동공 팽창

아이 트래킹

+ 효율적인 플레이어 주의/응시 측정 + 인터페이스 디자인에 대한 훌륭한 툴 + 장면 해석 이해를 제공 - 비쌈 - 거슬릴 수 있음 - 시간 소모가 크다 - 과잉 분석으로 유도될 수 있음

페이스 레코딩

■ 얼굴 표정의 관찰 ■ 플레이어 감정을 알아낼 수 있다■ 게임플레이와 묶음

페이스 레코딩

+ 감정적 문맥을 제공 + 탁월한 플레이어 감정 측정에 탁월함 - 거슬림 - 경험 있는 기록인이 요구됨 - 항상 신뢰할 수 없음 - 편향된 반응

EGG

■ 뇌의 전위 측정■ 여러가지 전파는 감정적 상태와 연관됨 □ 알파(이완) □ 베타(생각, 집중) □ 델타(피로)

EGG

+ 자극, 집중 측정에 좋음 + 상당히 세련된 위치값 앞으로를 예측할 수 있음 - 비쌈 - 매우 거스림 - 어수선 - 제어/측정의 어려움

EMG

■ 센서를 얼굴 여러 포인트에 위치 시킨다.■ 얼굴 근육의 수축과 이완을 측정한다.■ ‘행동 단위’ 기반 감정 결정 요인

EMG

+ 감정 측정에 가장 정확 문맥을 제공 + 실시간 확인 - 비싸다 - 매우 거슬림

다른 테크닉들

■ 신체 온도■ 제스쳐를 알아봄■ 근육 긴장■ ...

생리학적인 측정

+ 플레이어의 상태 측정을 보다 객관적 + 감정 응답의 정량화 + 분석/비교 계측 - 비싸다 - 인공적인 경험 - 실험적 통제를 요구

기술적 접근의 이익

+ 게임 디자인에 실증적 데이터 적용 + 객관적(대체적으로) + 행동의 정량화 + 플레이어 감정 상태에 대해 가설 검증 가능

기술적 접근의 이슈

- 비싸다 - 자원 집약적 - 비실용적 - 뉘앙스 결핍

요약

■ QA를 일찍 하세요.■ 존재하는 방법들의 장단점을 이해하세요■ 올바른 디자인 질문들을 짜세요■ 떠오르는 기술들을 알고 계세요

감사의 말

■ Charlie burgin■ Lars Jensvold■ Marc Nagel■ Steve Bond■ John Morello