MMD 유니티에서 사용해 봤다.~튜토리얼~

정문철(flashscope) mail@limecolor.com

이 슬라이드는~ !

처음 사용해 보면서 삽질한 내용을 두서없이 서술합니다. 삽질하면서 잘못된 내용, 불필요한 내용, 잡담이 섞여 있을 수 있습니다.

!전 mmd를 직접 만들어 본적은 없습니다.

mmd의 구조나 원리에 대해는 잘 모릅니다. !

플러그인 제작자의 튜토리얼이 훌륭하여 이건 번역문에 가깝습니다. !

슬라이드쉐어 페이지보다 다운받아 보시길 권장합니다.

이 슬라이드에서 사용되는 3d모델은 피아프로 캐릭터 라이센스(PCL)에 따라

크립튼 퓨쳐 미디어 주식회사의 캐릭터 ‘하츠네 미쿠’를 사용하였습니다.

!http://piapro.jp/license/pcl/summary

MMD모델 데이터나 모션데이터 사용에 대하여 !

모델 데이터나 모션데이터에 동부되어있는 설명서등에 기록되어 있는 이용규약을 꼭 한번 보고 준수해 주세요 !공개, 배포를 목적으로한 게임이나 콘텐츠에서의 이용은 이용규약에 명시적으로 허가를 하고 있는 경우를 제외하고 작품내에서의 사용이나 데이터를 포함한 상태에서의 배포를 해도 좋으나 반드시 모델이나 모션 제작자의 확인을 부탁드립니다. ※많은 모델이나 모션 데이터는 동영상이나 정지 화상에서의 사용을 전제로 하고 있어 그 이외에는 사용을 전제로 하고 있지 않습니다. !크립튼 퓨쳐 메디어 주식회사가 권리를 갖고 있는 캐릭터를 이용해 제작 활동을 할때에는 반드시 가이드라인을 봐주시길 바랍니다. !피아프로 캐릭터 이용 가이드라인 http://piapro.jp/license/character_guideline

어느 일본의 블로거…

http://2vr.jp/2014/12/20/unity-assets-christmas-room-set/

연인과 최고의 크리스마스를 보내는 방법 간단! 크리스마스까지 좋아하는 여자애와 사이좋게 되는 방법

갑작스럽디만 여자와 친해지는데는 여러 장애물이 있습니다. -여자와 만나지도 못하고, 대화도 못하고 접하는 방법도 모르고… -쳐다보지고 못하고 눈도 못마추고 미움받을까 걱정이 된다. -유니티와 어셋 스토어를 잘쓰지 못하면 여자애를 꼬실수 없을것 같다… (응??)

2시간 정해진 순서대로 따라하면 유니티를 최강의 연애 툴로 만들수 있습니다.

그리고 그는… 자신의 방?을 만들고 오큘러스를 사용해서…

심지어 음성인식 api -> 인공지능 api - > 음성합성 api로 상호 대화까지 구현…(개인적으로 이런 프로젝트 정말 좋아합니다.)

사용 라이브러리, 최적화등 정보도 많으니 꼭 들러보시길…

http://www.slideshare.net/gamjanim/ndc-14-mmd-mv-35300215

사실 작년 ndc를 듣고 돌아와서 mmd를 Unity3d에 올리는 것을 해봤음!

ndc15끝나고 지금 시도해 봤으니 딱 1년 후?!

당시에 테스트 후 이유는 잘 기억안나지만

사용에 불충분하다고 판단하고 포기…

1년이 지난 지금 다시 도전해 보기로

이제와서 MMD란?

http://vignette3.wikia.nocookie.net/mikumikudance/images/e/e9/MMD_newGUI.png/revision/latest?cb=20130705180110

3D 동영상 제작 소프트(프리웨어)

http://www.geocities.jp/higuchuu4/

MikuMikuDance(미쿠미쿠댄스)라는 이름의 이 프로그램은 Vocaloid의 하츠네 미쿠의 3D 모델을 조작하여 쉽고 간편하게 3D영상을 만들수가 있습니다.

(물론 미쿠가 아닌 다른 모델도 사용 가능) !

모델링 기능은 없지만 모델을 불러와 모션을 넣고 쉐이더, 이펙트등의 기능을 지원하며

avi나 정지 이미지로 출력이 가능합니다. (그리고 실행파일이 1mb정도의 가벼움!)

!특히 애니메이션 블랜딩을 지원하고, 물리엔진(Bullet),

사운드 동기화도 지원해서 많은 2차제작 뮤직비디오가 많습니다. !

미쿠나 mmd문화에 대해서는 앞의 ndc자료에서…

mmd 주요 확장자

모델 파일 : .pmd, .pmx (포저파일 아님)(PolygonModelData, eXtend) 모션 파일 : .vmd (Vocalod Motion Data) 포즈 데이터 : .vpd (Vocalod Pose Data) 프로젝트 파일 : .mmd .pmm 사운드 : .wav 립싱크 : .vsq (보컬로이드 데이터) 키넥트 : .oni (OpenNI) !등등…

mmd 주요 확장자

모델 파일 : .pmd, .pmx (포저파일 아님)(PolygonModelData, eXtend) 모션 파일 : .vmd (Vocalod Motion Data) 포즈 데이터 : .vpd (Vocalod Pose Data) 프로젝트 파일 : .mmd .pmm 사운드 : .wav 립싱크 : .vsq (보컬로이드 데이터) 키넥트 : .oni (OpenNI) !등등…

주로 볼 확장자

이제 본격적으로 유니티3d에서 사용해보기…

테스트 환경 !

Windows7 64bit Unity3D 5.0.2f1 personal

사용할 mmd 모델, 모션 !

-모델- 【MMD】よ式初音ミクv1.2.1【モデル配布】 / よっさん

http://piapro.jp/t/QcRy (피아프로 가입 필요)

!!

-모션- WAVEFILE fullver. モ〡ション / hino

https://bowlroll.net/file/5983

일본에서 배포되는 많은 mmd관련 파일들이 일본어 파일명을 사용하고 있어 압축풀기가 오류가 나는 경우가 있습니다.

!이런 경우 아래의 압축 프로그램을 추천합니다.

!zipj(간단 압축 풀기)

https://kippler.com/win/zipj/ !

반디집(발전판) http://www.bandisoft.co.kr/bandizip/

주로 사용되는 플러그인은 두가지 !

MikuMikuDance for Unity http://mmd-for-unity-proj.github.io/mmd-for-unity/

!MMD4Mecanim http://stereoarts.jp/

주로 사용되는 플러그인은 두가지 !

MikuMikuDance for Unity http://mmd-for-unity-proj.github.io/mmd-for-unity/

!MMD4Mecanim http://stereoarts.jp/

먼저 테스트 해봅니다.

MikuMikuDance for Unity

http://mmd-for-unity-proj.github.io/mmd-for-unity/

홈페이지에서 바로 다운 가능 (오픈소스)

package로 묶여 있지는 않지만 압축 푼 폴더를그냥 Asset폴더에 복사하면 됨(하지만 Api Update창이…)

SetAnimationType API가 없어졌다는 듯…ㅠㅠ 대채하는 함수가 뭔지 찾아볼까 했지만 일단 해당 부분 주석처리 하기로…

유니티 윈도우에 MMD for Unity가 표시됨! Loader로 파일 로딩 가능!

모델, 모션파일도 Asset폴더에 복사 후 pmd파일을 선택하면 Inspector상에서도 Prefab변환이 가능함

등장! 어라… 왜 콜라이더가… 모델문제인가…

모션을 선택 후 아까 변환한 모델을 선택해서 변환 가능

잘 변환되어 들어갔습니다!

애니메이션 적용해서 플레이!

잘 된다!

가…?

https://youtu.be/EBCCs6EQitE샘플 영상1

물리처리에 문제가 있는것 같은데 어디를 손대야 될지 모르겠다…

!Legacy Animation이 아니라 Generic으로 변환해도 마찬가지…

!또 저 문제가

간헐적으로 일어난다!! ← 가장 큰 문제

깃허브를 보니 혼자서 열심히 하시는 ㅠㅠ 종종 에러 메시지가 발생하는데 처리에는 시간이 걸릴지도…

그래서 이번에는 MMD4Mecanim을 테스트해 보기로… !

MikuMikuDance for Unity http://mmd-for-unity-proj.github.io/mmd-for-unity/

!MMD4Mecanim http://stereoarts.jp/

대충 주석 처리하고 넘긴것도 마음에 걸리고…

굉장히 단순한 홈페이지!알고보니 예전 오큘러스관련 자료 찾을때 신세를 진곳! 감사합니다!

http://stereoarts.jp/

패키지 형태의 파일과 친절한 메뉴얼들!! (뒷 슬라이드의 설명은 저 튜토리얼을 기반으로 제작되었습니다.)

MMD4Mecanim을 불러 온 후 모델 파일과 모션 파일도 Asset폴더에 복사하였습니다.

모델 파일을 선택하면 라이센스 동의 창이 나옵니다. 동의를 하면…

PMX2FMX세팅창이 나옵니다. 여기서 모션(VMD)를 세팅합니다.

새 창이 뜨면서 변환 작업이 시작합니다.

혹 msvcr100.dll이 없다고 나오시면 http://www.microsoft.com/ko-kr/download/confirmation.aspx?id=5555

설치를 하시면 됩니다.

파일이 잘 변환이 되었습니다! 애니메이션 타입은 Generic으로 하겠습니다.(이유는 후술)

씬 위에 모델을 올리고…

Animator Controller를 하나 만들겠습니다.

Animator Controller를 더블클릭하면 Animator창이 나옵니다.

애니메이션 파일을 등록합니다.

그리고 모델의 Animator에 Animation Controller를 등록합니다.

https://youtu.be/dHNkgYdjL3o샘플 영상2

잘 된다!

정말로…

애니메이션도 잘 되고… 또 이쪽 쉐이더가 맘에 든다!

메뉴얼도 친절!

보충MMD4Mecanim의 큰 동작 흐름

MMD데이터

PMX2FBX

MMD4Mecanim

Mecanim 대응 모델

-PMX/PMD + VMD를 FBX로 변환해서 Unity에서 불러올 수 있도록 함 -Mecanim에 적합하도록 본 조정 -Bullet Physics에 의한 머리카락, 스커트의 동작을 재현(모션에 미리 적용)

-Material과 Shader의 초기 설정 -표정 모프(변화)를 위한 보정 스크립트 -플러그인판 Bullet Physics에 의한 리얼 타임에서의 물리동작의 재현

-AnimationType : Generic이나 Humanoid로 초기화 Generic : VMD의 재현성 중시, 단 Humanoid모션은 재생 못함 Humanoid : VMD외에도 Mecanim(Humanoid) 모션 대응

보충Rig > Animation Type에 대하여

Animation Type은 아래의 두개에서 고를 수 있습니다. 용도에 맞게 선택해주세요. Generic : VMD의 재생성 중시, 단 제한 사항이 있습니다. -Humanoid모션을 사용 못합니다. (변환시 같이 변환한 VMD만 재생가능) -시선이동(LookAt), 인체IK등 Humanoid 특유의 인터렉티브한 기능을 사용 못합니다. VMD모션을 단순히 재생기키고 싶을때 (그냥 춤추기 등)에는 이쪽 설정을 추천합니다. !Humanoid: Mecanim모션도 재생이 가능합니다. 또, 시선 이동(LookAt)이나 인체IK등 Humanoid 특유의 기능이 사용 가능합니다. 단 VMD의 재현성은 떨어집니다. (모션에 따라 약간의 어긋남이나 간접 동작이 무너집니다. 이 옵션을 사용할 경우 플러그인판 Bullet Physics의 사용을 추천합니다.

보충모델의 스케일 변경

모델의 스케일을 조정하고 싶을 때에는 PMX2FBX의 변환 설정을 이용해주세요. 단 0.01 이하로 낮추면 본의 위치 관계가 무너집니다.

유니티에서도 스케일을 조정할 수 있으나 1이 아니면 CPU의 처리 부담이 올라갑니다. (자세하게는 Bake Scaled Mesh Physx Collision Data 검색)

오디오 동기화 맞추기

MMD4MecanimModel의 Anim탭에서 AudioClip항목을 추가합니다. 여기에 해당 모션이 재생중일때 재생시키고 싶은 음성파일을 설정하는 것으로 동기 재생이 됩니다.

만약 모델이 여러개면… 일단 기준이 되는 모델의 Inspector를 잠군 후 새 Inspector를 추가합니다.

마우스 오른쪽 버튼 클릭

둘다 Anim탭에서 AudioClip을 등록한 후

Model1 Model2

한쪽에 AudioSource를 만들고 양 모델의 Model탭에서 동일한 AudioSource를 사용하도록 설정합니다.

Model1 Model2

Mecanim(Humanoid)의 Avatar세팅 리얼타임 버젼 Bullet Physics의 설정

공식(유니티) Mecanim 튜토리얼의 Mecanim 모션 적용 방법

이번에는 Rig > Animation Type에서 Humanoid를 선택합니다.

Configure를 눌렀을때 만약 몸이 붉게 나타나면 수동으로 조정할 필요가 있습니다. 문제가 없으면 Done을 누릅니다.

모델의 Physics Engine을 Bullet Physics로 선택해줍니다.

Asset Store에서 Mecanim Example Scenes를 다운 받습니다. Mecanim의 좋은 예제 파일들이 들어 있습니다.

만약 Mecanim에 대해 학습하길 원하시면 위의 영상을 추천드립니다.https://www.youtube.com/watch?v=Xx21y9eJq1U

모델에 RigidBody와 Charactor Controller를 추가하였습니다.

Collider의 크기를 조절합시다. 이 예제에서는 Center :(0.0, 0.8, 0.0), Radius:0.25, Height: 1.6을 사용합니다.

애니메이션 컨트롤러를 Example에서 다운받은 Layer Controller로 교체하였습니다.

그리고 그 컨트롤러를 제어할 IdleRunJump스크립트를 추가하였습니다.컨트롤러 스크립트 제작 방법은 유니티 튜토리얼 영상에서!

그리고 적당히 Terrain을 만들고…

덤으로 메인 카메라에 Example에 있던 ThirdPersonCamera를 추가하였습니다.

마지막으로 추적당할 대상인 모델에 Tag로 Player를 설정합니다. ThirdPersonCamera스크립트는 tag가 Player로 된 오브젝트를 따라 다닙니다…

W달리기

W옆으로 달리기

D +

회전!

Mouse L Click

점프…

Mouse L Click

손 흔들기…

Mouse R Click

https://youtu.be/9Oad-IIMa8g샘플 영상3

보충Avatar세팅에서 몸의 일부가 붉게 나올 때

Avatar세팅에서 자동 매핑이 실패할 경우 몸의 일부가 붉게 됩니다. 그때에는 그 부위에 맞는 본을 Hierarchy에서

직접 드래그드롭해서 수정합니다.

보충Character is not in T pose가 표시될 때

Mecanim(Humanoid)에서는 캐릭터의 초기 자세가 T포즈(팔을 수평으로 한 자세)이여야 합니다.

Inspector에 있는 Pose > Enforce T_Pose를 선택하면 됩니다.

MMD4Mecanim 리얼타임 버젼 Bullet Physics의 보충 설명

MMD4MecanimModel의 Physics Engine항목을 None에서 Bullet Physics로 바꾸면 모델에 박혀있던 물리정보를 기반으로 모델의 동작에 맞춰서 머리카락이나 스커트의 본 등이 물리운동을 하도록 변합니다.

그럴 경우 물리정보가 유효화된 본에는 VMD모션에 박혀있는 움직임은 무시됩니다.

Bullet Physics 보충모델쪽의 Bullet Physics의 유효화

Bullet Physics 보충Bullet Physics 월드에 임의의 강체 추가 ※상급자용

MMD4MecanimModel의 Join Local World 체크를 풀면 모델을 생성하는 월드를 로컬(모델의 고유 월드)로부터 글로벌 월드로 변경합니다.

※체크를 풀지 않으면 모델은 글로벌월드에 간섭하지 않으므로 주의

Bullet Physics 보충Bullet Physics 월드에 임의의 강체 추가 ※상급자용

강체로 임의의 콜라이더(Box, Sphere, Capsule Collider)와 MMD4MecanimRigidBody의 콤포넌트 세트를 추가한

GameObject를 준비합니다. 아래의 내용은 설정 예입니다.

IsKinematic ON 좌표의 제어는 Unity쪽에서 하고, BulletPhysics에게 좌표치를 보낸다. OFF 좌표의 제어는 BulletPhysics에서 하고 매 프레임 Unity쪽에 좌표치를 덮어 쓴다.

Bullet Physics 보충Bullet Physics의 최적화 설정

초기 설정은 재형성이나 각종 제약을 위해, 부하가 큰 설정을 하고 있습니다. 아래의 항목을 조정하는것으로 동작속도가 개선되는 경우가 있습니다.

준비 : MMD4MecanimBulletPhysics 오브젝트의 추가, 설정씬에 MMD4MecanimBulletPhysics 오브젝트를 추가합니다. 이건 싱글톤으로 작성되어 있습니다.(MMD4Mecanim > Scripts > Internal 에 있습니다.)

Bullet Physics 보충퍼포먼스에 영향을 주는 옵션 해설(MMD4MecanimBulletPhysics)

Multi Threading(기본 on) : on이면 물리처리를 별도의 스레드에서 합니다. 애니메이션등에서 문제가 없으면 on 추천 !Join Local World(기본 on) : on이면 캐릭터별로 로컬 월드를 준비해 캐릭터간의 물리적인 간섭을 억제합니다. off면 캐릭터 전부를 하나의 월드에서 갱신, 관리를 합니다. 또 멀티스레드를 병용하는것으로 처리속도가 꽤 빨라집니다. 모델이 여러개 표시하는 경우 or 캐릭터간에 간섭을 하지 않는 경우 off 추천 !Use CCD(기본 on) : on이면 BulletPhysics표준 CCD 처리가 유효화 됩니다. 좀 관통이 힘들어지는 대신, 처리가 무거워집니다. (모델에 따라 별로 효과가 없을 수 있습니다.) 캐릭터가 별로 움직이지 않는 경우 or 모델이 관동하는 것을 어느정도 허용할 수 있으면 off추천

Bullet Physics 보충퍼포먼스에 영향을 주는 옵션 해설(MMD4MecanimBulletPhysics)

Frame Per Second(기본 0) : 기본으로 0 설정 = 내부에선 120FPS로 동작 합니다. 이걸 동작시의 프레임레이트(예:75)로 제한하면 처리시간을 벌수 있습니다. !Iterations(기본 0) : 기본으로 600 / FPS로 동작합니다. (예 : 120FPS면 5, 60FPS면 10) 이걸 예를들면 4같은 낮은 수치로 하면 처리시간을 벌수 있습니다. 단, 극단적으로 낮은 수치를 쓰면 모델이 관통하기 쉽게 되고 머리카락등의 연결되어있는 강체의 동작이 부자연스러워 집니다.

모프(morph) 기능 설명 !

MMD4MecanimMorphHelper MMD4MecanimSpeechHelper

MMD4MecanimModel의 Morph를 보면 모델의 여러 Morph속성들이 표시됩니다.

View English를 체크하면 속성을 영문으로 볼 수 있습니다.

각 속성에 맞게 모델이 변화 합니다.

blink 0.0

blink 0.5

blink 1.0

눈썹, 눈, 눈동자, 악세사리 등등 여러 속성들을 조작할 수 있습니다.

!(모델에 따라 보유하고 있는 속성은 다 다릅니다.)

MMD4Mecanim에서는 편리하게 값을 조작할 스크립트도 제공합니다. (MMD4Mecanim > Scripts > MMD4MecanimMorphHelper)

Speed에 따라 속성 값에 lerp로 적용됨

https://youtu.be/QdpQPRFd-6c샘플 영상4

이번에는 음성 파일로 립싱크를 만들어 주는 스크립트를 사용해 봅니다. (MMD4Mecanim > Scripts > MMD4MecanimSpeechHelper)

음성 파일명에 립싱크를 할 대사가 적혀야 합니다. 문제는 히라가나 카타카나만 인식을 합니다…

속도 (기본0.1)

https://youtu.be/74coqDNCLs8샘플 영상5

속도를 조정해도 조금 느린 느낌도 있지만…

Helper 보충재생 종료의 검지

MMD4MecanimMorphHelper isProcessing : 모프의 재생중인지 아닌지 true면 재생중 isAnimationg : MorphHelper에서는 isProcessing과 동일 !MMD4MecanimSpeechHelper isProcessing : 음성파일을 재생중인지 아닌지 true면 음성 재생중 isAnimationg : 입 모프가 재생중인지 아닌지(움직이는지) 음성파일이 끝나도 입이 완전히 닫히지 않으면 true가 됩니다.

상태 변화 판정을 할때 두개의 대사를 쉬지않고 재생하고 싶으면 isProcessing을 입이 닫힐때까지 조금의 틈을 가지게 하고 싶으면 isAnimating을 사용합니다.

모델 변환후에 Unity가 종료되는 경우의 대책

PMX2FBX로 모델 + 모션 변환 후 위와 같은 에러 다일로그가 표시되면서 유니티가 종료되는 경우가 있습니다.

이건 메모리 부족에 의한 것으로 모델이 복잡하고 모션이 길수록 발생 확률이 높습니다.

Helper 보충모델 변환후에 Unity가 종료되는 경우

컴퓨터의 메모리를 증설한다. 노트북등 메모리가 적으면 종료되는 경우가 있습니다. 복잡한 모션을 변환할 때에는 8GB정도를 추천합니다. !가능한 소비 메모리를 줄인 상태에서 변환을 실행 한다. 1. File > New Scene을 선택해 빈 씬을 생성 2. 유니티를 재실행 3. 대상 모델의 변환 시작

Helper 보충모델 변환후에 Unity가 종료되는 경우

변환옵션에서 물리 시뮬레이션을 무효화 한다 & 리얼타임 판 Bullet Physics를 사용한다. 변환시의 물리 시뮬레이션을 사용하지 않음으로써 파일 사이즈가 줄어들고 유니티 임포트시의 메모리 소비를 줄입니다. !머리카락등 리얼타임으로 움직임을 주고 싶으면 Model에서 BulletPhysics를 선택합니다. 단 모션을 미리 계산해 반영한것에 비해 CPU의 부담이 커집니다. 특히 낡은 환경이나 모바일 환경에서는 동작이 느리게 됩니다.

Helper 보충모델 변환후에 Unity가 종료되는 경우

가능하면 변환만이라도 좋은 컴퓨터를 빌려서라도 합시다…

MMD정보, 모델, 모션 데이터 구하기

http://www6.atwiki.jp/vpvpwiki

VPVP(Vocaloid Promotion Video Project) Wiki

모델데이터

모션데이터

배포처동영상 링크

(주로 니코니코동화)

다운로드키는 영상 설명에

보통 데이터에 암호가 걸려있는 경우가 많음 주로 영상의 설명에 암호키가 적혀있는 경우가 많음

!영상 사이트에서 암호키를 얻어 배포처에서 다운…

다운로드 예

다운로드 예

배포처와 암호키

영상 설명에 암호키가… (니코니코동화 회원가입 필요)

다운로드 예

암호키를 입력하고 다운로드 가능

감사합니다.

이 슬라이드를 총공깽님에게 받침니다.

http://piapro.jp/ !http://2vr.jp/2014/12/20/unity-assets-christmas-room-set/ !http://www.slideshare.net/gamjanim/ndc-14-mmd-mv-35300215 !http://www.geocities.jp/higuchuu4/ !http://mmd-for-unity-proj.github.io/mmd-for-unity/ !http://stereoarts.jp/ !http://www6.atwiki.jp/vpvpwiki/ !http://www.nicovideo.jp/

https://bowlroll.net/