惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

66
惯性动作捕捉系统 FOHEART·X 使用手册 惯性动作捕捉系统 FOHEART·X 使用手册 北京孚心科技有限公司 www.foheart.com

Transcript of 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

Page 1: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册

惯性动作捕捉系统 FOHEART·X 使用手册

北京孚心科技有限公司

www.foheart.com

Page 2: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

前言

⚫ 释义

1.北京孚心科技有限公司简称为“孚心科技”,以下出现的“孚心科技”均指“北京孚心科技有

限公司”。

2.英文解释

Roll 横滚角 Pitch 俯仰角 Yaw 偏航角

⚫ 版权

使用手册包含的信息是孚心科技的专有技术信息,未经许可,不得复制、传播、编辑本手册

以及使用本手册的内容,违法者将被追究赔偿责任。孚心科技保留一切权利。

⚫ 声明

孚心科技将这些信息作为服务提供给客户。所提供的信息是根据客户的需求而定的。孚心科

技竭尽全力确保所提供信息的准确性。孚心科技对本手册中所包含的信息不作任何保证,也不对

因使用或依赖本手册信息而造成的任何伤害、损失或损害承担任何责任。所有资料如有更改,恕

不另行通知。

⚫ 手册适用范围

适合参阅本手册的产品为惯性动作捕捉系统 FOHEART®·X 及软件 MotionVenus®。

由于软件 MotionVenus®在不断的升级中,会因软件版本的不同功能上会有所区别,本手册是根据

MotionVenus1.5.0 编写而成,请您升级最新版本的软件。

注意:请参阅最新版本的手册。

手册更新日期:2019 年 11 月 25 日,手册版本号:20191125150

Page 3: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

简介

FOHEART·X 惯性动作捕捉系统采用了加速度计、陀螺仪、磁力计等 MEMS 传感器并通过

数据融合算法使之输出更高精度的姿态数据。其软件 MotionVenus 是 FOHEART·X 的电脑客户

端软件,软件采用了反向运动学、卡尔曼滤波、生物力学等算法,可以实时显示 3D 人物、各项

数据及转发数据,同时可以兼容 Unity、UE、MotionBuilder、Maya、3dMax 等软件。FOHEART·X

广泛应用于体育运动、医疗康复、动画影视游戏制作、虚拟主播、人机交互等领域。

Page 4: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

目 录

简介 ........................................................................................................................................................... II

目 录 ....................................................................................................................................................

第一部分 硬件 ........................................................................................................................................... 1

1 姿态传感器 ......................................................................................................................................... 1

1.1 传感器参数 .................................................................................................................................. 1

1.2 姿态传感器开关机..................................................................................................................... 1

2 路由器 ................................................................................................................................................. 2

2.1 参数 ............................................................................................................................................. 2

2.2 外置天线....................................................................................................................................... 2

3 充电底座 ............................................................................................................................................. 2

3.1 参数 ............................................................................................................................................. 3

第二部分 快速使用设备 ............................................................................................................................ 3

1 连接及软件下载 ................................................................................................................................. 3

1.1 连接路由器 .................................................................................................................................. 3

1.2 软件下载...................................................................................................................................... 3

2 穿戴 .................................................................................................................................................... 4

2.1 穿戴示意图 .................................................................................................................................. 4

2.2 安装传感器 .................................................................................................................................. 6

第三部分 关于软件 ................................................................................................................................... 7

1 简介 .................................................................................................................................................... 7

2 软件下载 ............................................................................................................................................. 7

3 软件安装及运行 ................................................................................................................................. 7

3.1 软件安装...................................................................................................................................... 7

3.2 软件运行.................................................................................................................................... 10

4 软件版本描述 ................................................................................................................................... 11

5 设备列表栏 ....................................................................................................................................... 13

5.1 基本功能.................................................................................................................................... 13

5.2 显示数据.................................................................................................................................... 14

5.3 属性 ........................................................................................................................................... 16

6 传感器磁场校准 ............................................................................................................................... 16

Page 5: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

7 身体骨骼长度设置 ............................................................................................................................ 18

8 姿态校准 ........................................................................................................................................... 19

9 3D 人物显示窗口 .............................................................................................................................. 21

9.2 实时模式与回放模式 ................................................................................................................. 22

9.3 其他按钮.................................................................................................................................... 22

10 时间轴 ............................................................................................................................................. 22

11 数据文件 ......................................................................................................................................... 23

11.1 功能概述 .................................................................................................................................. 23

11.2 打包文件 .................................................................................................................................. 24

11.3 导出时间轴范围内的数据 ....................................................................................................... 24

11.4 播放列表 .................................................................................................................................. 27

11.5 属性 ......................................................................................................................................... 28

12 制图区 ............................................................................................................................................. 28

13 运动学 ............................................................................................................................................. 29

14 菜单栏-设置-选项 ........................................................................................................................... 30

14.1 快捷键 ...................................................................................................................................... 30

14.2 插件 ......................................................................................................................................... 31

14.3 姿态校准 .................................................................................................................................. 32

14.4 数据导出 .................................................................................................................................. 33

14.5 数据文件 .................................................................................................................................. 33

14.6 软件设置 .................................................................................................................................. 34

15 相机录制 ......................................................................................................................................... 34

15.1 使用准备 .................................................................................................................................. 35

15.2. 视频录制参数 ......................................................................................................................... 35

16 坐标系定义 ...................................................................................................................................... 36

16.1 传感器坐标系定义................................................................................................................... 36

16.2 四元数、欧拉角坐标系定义 ................................................................................................... 36

16.3 骨骼坐标系定义 ....................................................................................................................... 36

16.4 Unity3D 坐标系 ........................................................................................................................ 37

17 常见问题 ......................................................................................................................................... 38

Q:为什么动画录制功能无法使用? .............................................................................................. 38

Q:为什么多套设备同时使用时,只有一套设备可以显示运动动画? ......................................... 38

Q:单个传感器的校准是否也可以在游戏引擎中进行?................................................................ 38

Q:若使用游戏引擎控制人物校准,MotionVenus 是否可以不运行? .......................................... 38

Q:为什么在 Unity 端点击校准后 MotionVenus 端无反应? ......................................................... 38

Page 6: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

18 设备使用问题 ................................................................................................................................. 38

Q:磁干扰以及如何避免? ............................................................................................................. 38

Q:FOHEART X/C1 可同时支持多少套设备同场景使用? ........................................................... 38

Q:使用过程中脚部抖动? ............................................................................................................. 38

Q:软件使用过程中传感器突然全部掉线? .................................................................................. 38

Q:磁干扰会对动作捕捉造成如何影响? ...................................................................................... 38

Q:传感器上传数据的速率? ......................................................................................................... 39

Q:MotionVenus 转发数据流到 Unity3D 或者 Unreal Engine 的数据速率? ................................. 39

Q:MotionVenus 转发数据流包含什么数据? ................................................................................ 39

Q:MotionVenus 转发数据流可选的格式? .................................................................................... 39

19 注意事项 ......................................................................................................................................... 39

第四部分 SDK 及插件 ............................................................................................................................ 39

1 MOTIONVENUS SDK ...................................................................................................................... 39

1.1 简介 ........................................................................................................................................... 39

1.2 使用方法.................................................................................................................................... 40

1.3 功能描述.................................................................................................................................... 40

1.4 数据类型单位制 ........................................................................................................................ 40

1.5 骨骼对应关系 ............................................................................................................................ 40

1.6 使用场景.................................................................................................................................... 41

2 UNITY 实时插件 ................................................................................................................................ 42

2.1 下载插件包 ................................................................................................................................ 42

2.2 建模建议.................................................................................................................................... 42

2.3 插件使用流程 ............................................................................................................................ 42

2.4 Demo .......................................................................................................................................... 48

2.5 绑定后的模型滑步/浮空或者脚部在地面下等问题如何解决? ............................................... 48

2.6 注意事项.................................................................................................................................... 50

3 UE4 实时插件 .................................................................................................................................... 50

3.1 简介 ........................................................................................................................................... 50

3.2 使用方法.................................................................................................................................... 50

4 MOTIONBUILDER 实时插件 ................................................................................................................ 55

4.1 简介 ........................................................................................................................................... 55

4.2 使用方法.................................................................................................................................... 55

4.3 功能与问题描述 ........................................................................................................................ 59

联系我们 .................................................................................................................................................. 60

Page 7: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

1 / 66 探索未知的美好 ©FOHEART www.foheart.com

第一部分 硬件

1 姿态传感器

简介:传感器内置了三轴加速度计、三轴陀螺仪、三轴磁力计。

1.1 传感器参数

序号 参数 备注

1 姿态精度

动态精度

Roll/Pitch≤0.5deg

Pitch≤2deg(RMS)

在不同的环境条件下测

量精度会有所区别。

静态精度

Roll/Pitch≤0.2deg

Pitch≤1deg(RMS)

2 重量 20 克 ————————

3 加速度测量范围 ±8g/±16g 出厂默认为±16g

4 角速度量程 ±2000dps/s ————————

5 角度测量分辨率 0.02deg ————————

6 姿态测量范围 三轴 360deg ————————

7 最大速率 200fps ————————

8 工作时长 3-3.5 小时 随着使用电池会有衰减

9 无线传输频段 2.4GHz ————————

10 尺寸 直径:44mm,厚度:16mm ————————

1.2 姿态传感器开关机

开机:短按(<1 秒)开关按键;关机:长按开关按键 2 秒以上并松开按键。

Page 8: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

2 / 66 探索未知的美好 ©FOHEART www.foheart.com

2 路由器

2.1 参数

序号 参数 备注

1 重量 87 克 ———————

2 尺寸 直径:100mm;厚度: 23mm ———————

3 与传感器连接模式 无线 2.4 GHz ———————

4 与电脑连接模式 USB2.0 ———————

2.2 外置天线

如需获得更远的通信距离,请连接路由器外置高增益天线。

3 充电底座

简介:底座可同时为 17 个传感器充电。使用时请先将适配器的插头插入充电底座后再插入另

一端插头,然后按下插排的“圆形”开关按键,当开关灯亮起且传感器灯光亮起,说明传

感器开始正常充电。传感器充电时间为 2 小时。

Page 9: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

3 / 66 探索未知的美好 ©FOHEART www.foheart.com

3.1 参数

序号 参数 备注

1 重量 670g ———————

2 尺寸 直径:230mm, 厚度: 37mm ———————

第二部分 快速使用设备

1 连接及软件下载

1.1 连接路由器

第一步:USB 线一端插入电脑,另一端插入路由器 USB 口。

第二部:接通路由器电源。

1.2 软件下载

从官方网站 http://www.foheart.com/software/motionvenus.html 下载最新版本软件。

Page 10: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

4 / 66 探索未知的美好 ©FOHEART www.foheart.com

2 穿戴

2.1 穿戴示意图

Page 11: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

5 / 66 探索未知的美好 ©FOHEART www.foheart.com

Page 12: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

6 / 66 探索未知的美好 ©FOHEART www.foheart.com

注意:双足上的传感器的导光柱一定平行朝向正前方。其他部位的传感器无限制,但是一定根据

传感器标签标示的身体部位对应。

2.2 安装传感器

传感器安装时导光柱方向与底座箭头方向一致放入,然后顺时针旋转 90°即可固定传感器,逆时

针方向旋转 90°即可取下传感器。

Lock

Unlock

Page 13: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

7 / 66 探索未知的美好 ©FOHEART www.foheart.com

第三部分 关于软件

1 简介

MotionVenus®是与 FOHEART·X 动作捕捉系统套装配套的电脑客户端软件。它的主要功能

是拟合传感器的数据、录制数据,并将数据导出为 BVH、FBX 等动画行业常用数据格式,另外

它还可以将动作数据流实时(或离线)发送到 Unity3D 、Unreal Engine 4、Motionbuilder 等软件

中,以驱动任意虚拟动画人物运动。同时它也可以显示人体运动学的各项指标数据,如加速

度、角速度、关节角度等。

2 软件下载

(1)软件及插件下载地址 http://www.foheart.com/software/motionvenus.html 或

https://github.com/foheart

(2)www.foheart.com 和 https://github.com/foheart 是目前唯一的官方下载地址,请一定从指定

地址下载软件及插件。

3 软件安装及运行

3.1 软件安装

图 3.1.1 安装页面 1

Page 14: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

8 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 3.1.2 安装页面 2

图 3.1.3 安装页面 3

Page 15: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

9 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 3.1.4 安装页面 4

图 3.1.5 安装页面 5

Page 16: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

10 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 3.1.6 安装页面 6

(1) 安装页面 1 你可以选择安装软件后的初始化界面语言,目前软件支持“简体中文”、

“英语”、“日语”三种语言,点击“确定”按钮进入下一个页面。

(2) 只有你同意“软件许可条款”才可以进入下一步的安装页面。如图 3.1.2.

(3) 选择安装目录。点击“下一步”进入下一页。注意:安装目录不要出现中文字符。如图

3.1.3。初次安装本软件或卸载本软件后再次安装会出现此页面,如您升级软件或安装不

同的版本不会出现此页面,默认安装目录会选择你电脑上已经存在的此软件目录,也就

是会覆盖掉之前已经安装的此软件。

(4) 默认情况下会“创建桌面快捷方式”,点击下一步。如图 3.1.4.

(5) 点击“安装”按钮,开始安装软件。如图 3.1.5.

(6) 安装完成。默认情况下不会运行 MotionVenus。点击“完成”按钮,至此,软件安装完

成。如图 3.1.6.注:图 3.1.6 中的红色框“install hands driver”为安装第三方公司的数据

手套的驱动,如您不需要第三方公司的数据手套,则不需要勾选此处。

3.2 软件运行

图 3.2 管理员身份运行(A)

软件应以“以管理员身份运行(A)”权限运行。如图 3.2。

Page 17: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

11 / 66 探索未知的美好 ©FOHEART www.foheart.com

4 软件版本描述

软件版本描述

序号 版本 发布日期 描述

1 V1.0.1 2017 年 1 月 9 日 _____________________________________

2 V1.2.1 2017 年 4 月 17

______________________________________

3 V1.2.6 2017 年 6 月 10

______________________________________

4 V1.2.8 2017 年 7 月 24

5 V1.3.0 2017 年 8 月 26

1、增加了离线数据的网络发送,最多支持五

组,可在 Unity3D、UE4 中播放多人离线数据

流。

2、修改网络数据发送为后台自动转发。

3、增加了 RAW 文件的详情页,可查看文件内

部信息。

4、增加了绘图区欧拉角旋转顺序设置,支持所

有六种旋转顺序。

5、增加了多语言切换,现已支持英文。

6、增加了交互性帮助功能,单击每个组件右上

角的问号按钮,可获得与本组件相关的网络帮助

文档。

7、增加了 BVH 直接导出到 3Ds Max 中的 Biped

BVH 格式。

8、增加了传感器校准视频。

9、完整支持所有电影、电视播放及导出的帧率

选择,添加例如 PAL、NTSC 等制式的支持。

10、其它细节 bug 修正。

6 V1.3.2 2017 年 12 月 3

______________________________________

7 V.1.3.4 2018 年 2 月 11

1. 增加传感器受到严重磁干扰后的明显视觉提

示。

2. 增加录制文件夹的自动监控功能,文件增删

后列表会自动更新。

3. 修正了检测路由器和充电底座数目不正确的

问题。

Page 18: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

12 / 66 探索未知的美好 ©FOHEART www.foheart.com

4. 增加了软件自动更新功能,请在帮助->检查更

新中检查是否有新版本。

5. 修正了网络数据流中位移数据微小差异的问

题(此问题会影响 Unity3D. UE4 及

MotionVenusSDK)。

6. 传感器校准界面为每个传感器都增加了单独

校准的按钮。

7. 优化了算法,提高了传感器校准的速度及成

功率。

8. 修改了非整数帧率播放 bug。

9. 修改了 UDP 发送配置中四元数. 欧拉角的旋

转顺序无效的问题。

10. 数十项 bug 及细节优化。

8 V1.3.6 2018 年 4 月 5 日 1.修正了 bvh 导出数据帧数不正确的问题。

2. 内置 Unroll 与 Gimble 修复机制,直接导出正

确的 fbx,无需在 MotionBuilder 中进行修正。

3. 增加了使用游戏引擎控制 MotionVenus 功

能,详见该功能技术博客:

http://blog.foheart.com/?p=66

4. bug 及细节优化。

9 V1.3.8 2018 年 4 月 29

1. 姿态解算能够自动处理大部分上下跳动、滑

动等问题。

2. 增加了文件打包功能,便于将动捕文件快速

复制到任意位置。

3. 增加了原始数据导出功能,详见博客

http://blog.foheart.com/

4. bug 及细节优化。

10 V1.4.0 2018 年 5 月 19

1. 姿态解算性能优化。

2. 软件主页面优化。

3. 用户配置保留功能。

4. 自定义动画库路径/.RAW 文件关联等功能。

5. bug 及细节优化。

11 V1.4.2 2018 年 7 月 7 日 1. UDP 协议增加扩展数据(加速度、磁力计、

陀螺仪)支持。

2. 修正 UDP 协议字符串类型精度。

3. 修改.csv 文件格式,并增加 bone、joint、

gravity 数据支持。

4. 优化 USB 设备连接稳定性。

5. 部分 bug 及细节优化。

12 V1.4.4 2019 年 4 月 3 日 _____________________________________

Page 19: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

13 / 66 探索未知的美好 ©FOHEART www.foheart.com

13 V1.4.6 2019 年 6 月 13

_____________________________________

14 V1.4.8 2019 年 6 月 25

1. 增加了接收器的免驱动模式支持,兼容

Win7/8/10;该模式需要新版硬件的支持。但是

此版本软件兼容孚心科技所有动作捕捉系统。

2. bug 及细节优化。

15 V1.5.0 2019 年 11 月 25

1. 优化了人体下半身姿态解算模型。

2. 增强了人体运动学数据。

3. 改进了软件界面。

备注 为了获得更多的信息,请浏览我们的官方网站。

5 设备列表栏

图 5.1 设备列表栏

5.1 基本功能

(1)连接到软件的每套设备加载为一个树状列表,树状列表详细的显示了每一个传感器的“连

接状态”、“磁干扰状态”和“剩余电量”及“固件版本”。

(2)在“数据文件”窗体中打开的数据文件同样会显示在这里。

(3)当 MotionVenus 同时连接多套设备时,系统为设备自动编号,例如:Actor1(Live)、

Actor2(Live)、Actor3(Live)...,每个列表下是本套装的所有传感器;您可以用鼠标点击列表表头

“Actor1(Live)”,点击后表明为当前选中了此套设备,接下来的操作(校准等操作)都是针对选

Page 20: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

14 / 66 探索未知的美好 ©FOHEART www.foheart.com

中的这套设备进行,选中后名称背景色会变成蓝色。

(3)连接状态:当连接状态是“红色圆点”时, 传感器与软件没有连接上. 请检查传感器是否

开启。当连接状态是“绿色圆点”时, 传感器即是正常连接。如图 5.1 所示。

(4)磁场强度:磁场强度一栏显示为“Weak”字样时表示此部位传感器没有受到周围环境的磁

干扰,显示为“Strong”字样时表示受到了周围环境的磁干扰。当靠近磁干扰时,软件端会有磁

干扰视觉提示,这样即使在距离软件较远的距离,也能看到某个部位受到磁干扰。

(5)电量:显示了对应部位传感器的电量,电量的显示每 10 秒刷新一次。

图 5.2 关机及复制

(6)在名称上右键点击“关机”可以关闭所有的传感器。点击“复制”可以复制当前的人物名

称, 例如 "Actor1(Live)"。

(7)注意: 在使用过程中,由于脚部最容易受到磁干扰,所以当磁干扰一栏显示异常时,应检

查周围是否有强磁干扰源,如有应远离,当远离磁干扰后,脚部传感器可以自动恢复正常状

态。

5.2 显示数据

图 5.2.1 显示数据(一)

Page 21: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

15 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 5.2.2 显示数据(二)

(1 ) 鼠标左键点击任意传感器,然后鼠标右键即可显示传感器的各项数据指标。如图 5.2.1 所

示。

(2) 将任意传感器拖动到制图区鼠标右键同样可以显示各项数据指标。如图 5.2.2 所示。

加速度 传感器的加速度,单位 g,坐标系为传感器自身的本地坐标系。

线性加速度 传感器的线性加速度(加速度去除重力加速度分量),单位 g,坐标系为

传感器自身的本地坐标系。

角速度 传感器的角速度,单位 Degree/s,坐标系为传感器自身的本地坐标系。

四元数 传感器的旋转角度,坐标系为传感器自身的本地坐标系。

欧拉角 传感器的旋转角度,坐标系为传感器自身的本地坐标系。

磁力值 传感器的磁场值,单位 mGauss,坐标系为传感器自身的本地坐标系。

Page 22: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

16 / 66 探索未知的美好 ©FOHEART www.foheart.com

5.3 属性

图 5.3.1 高级设置选项

图 5.3.1 高级设置

6 传感器磁场校准

传感器磁场校准,选择软件菜单栏:动作->传感器磁场校准。

点击页面下方“开始校准”按钮,传感器校准状态变为未校准,如图 6.1

图 6.1 未校准状态

各个轴向 360°旋转传感器,校准进度会持续增加,继续旋转传感器,直到进度为 100%,如图

6.2 所示。

Page 23: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

17 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 6.2 已校准

点击页面右下方“完成”按钮,结束传感器校准。

特别说明:当传感器的磁场不受周围环境干扰影响的情况下,每次开机使用不必重新校准传

感器。当更换使用地点(比如将传感器拿到另外一个城市使用)时,请务必重新校准传感器。当

传感器使用环境磁场干扰特别严重时,您可以打开校准框,查看相应部位的校准状态是否处于“×”

或者“M”的状态,当显示成“×”时,请您重新校准此部位的传感器,当显示为“M”时,请远离周围

强磁干扰,再重新校准此部位的传感器。

Page 24: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

18 / 66 探索未知的美好 ©FOHEART www.foheart.com

7 身体骨骼长度设置

图 7 身体骨骼长度设置

在“骨骼长度”窗体,在这里您可以选择适合您身高的骨骼长度模板。或者精确量取并设定

骨骼长度。可以点击查看设定您的实际身高、骨骼长度,使 3D 人物模型的身体参数与您保持一

致。

正确的身体参数设置可以使您的动作更加准确,例如双手合十动作,就需要设定正确的大

臂小臂以及手的长度,否则会出现 3D 人物双手无法合十或者双臂交叉等问题。

选择了模板之后,必须点击"应用"按钮确定使用。

Page 25: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

19 / 66 探索未知的美好 ©FOHEART www.foheart.com

如果使用了自行更改的骨骼长度,请务必点击“另存为”保存当前配置,这样下次可以手动

选择加载自定义的骨骼长度。

8 姿态校准

校准的目的是消除传感器在身体上的穿戴误差。校准共有四种校正方式,分别为:

“Z_Pose”、“I_Pose”、“T_Pose”、“S_Pose”。 单独校准人体上肢部分,可以勾选“手臂”前面的选

择框。点击“开始校准”你可以观看上面的人物图片,做出与之相对应的动作,每一种校准动作

的系统默认时间为 3 秒钟,可以点击软件菜单栏里面的“设置”、“选项”自定义校准间隔时间。

8.1 Z-Pose

8.2 I-Pose

Page 26: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

20 / 66 探索未知的美好 ©FOHEART www.foheart.com

8.3 T-Pose

胳膊向身体两侧平举,确保胳膊为伸直状态。

8.4 S-Pose

胳膊向身体前方平举,确保胳膊为伸直状态。

注意:校准时脚上的传感器的导光柱一定平行且朝向正前方。

Page 27: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

21 / 66 探索未知的美好 ©FOHEART www.foheart.com

9 3D 人物显示窗口

9.1 视图

图 9.1 视图

点击图 9.1 中的 1“视图”按钮,依次显示“主视图”、“四窗口”、“全屏幕”、“地平线”,默认情况下

显示的状态为“主视图”和“地平面”。

图 9.2 视图选择

“全屏幕”为全屏显示当前选中的视图,您可以按“Esc”键退出全屏状态。

Page 28: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

22 / 66 探索未知的美好 ©FOHEART www.foheart.com

9.2 实时模式与回放模式

“实时模式”与“回放模式”如下图所示,实时模式中的 3D 人物与穿戴动作捕捉设备实时表演的

人物保持同步;当打开一个已经录制好的数据文件进行回放时,便处于“回放模式”,如果从“回

放模式”回到“实时模式”可以点击此处切换。

图 9.3 播放模式

9.3 其他按钮

(1)按住图 9.1 中的标 4 拖动,则可以 360°旋转场景,从多个角度观看 3D 人物模型。

(2)按住图 9.1 中的 5 拖动,则可以前后左右四个方向,平移拖动场景。

(3)按住图 9.1 中的 6 拖动,则可以缩小或放大场景。

(4)点击图 9.1 中的 7 为“人物跟随”功能,单击按钮,使场景跟随 3D 人物移动。

(5)图 9.1 中的“Active1(Live)”为当前 3D 人物的名称。

10 时间轴

图 10.1 时间轴

时间轴栏用来管理数据的录制、回放、快速慢速播放等功能。

序号 名称 说明

1 录制按钮 点击录制按钮录制实时数据流,录制完成的数据流会显示在录制文

件管理模块中。录制时主窗体会用红色边框标红。

2 播放模式 播放模式有四种:正常播放,按帧拖动,按帧播放,按帧拖动播

放。

“正常播放”; “按帧拖动”播放为拖动时间轴滑块时,最小间隔为一

帧; “按帧播放”为播放时最小间隔为一帧; “按帧拖动播放”为播放

及拖动时,最小间隔均为一帧。

3 至文件开始 直接跳转到文件开始

4 上一帧 —————

5 反向播放 —————

6 暂停 —————

7 正向播放 —————

8 下一帧 —————

9 至文件结束 直接跳转到文件结束

10 循环播放 —————

11 帧率选择 —————

12 播放速度选择 —————

13 左滑块

Page 29: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

23 / 66 探索未知的美好 ©FOHEART www.foheart.com

14 右滑块 中间左右两个滑块用来控制时间轴显示的区域。可以直接双击滑块

输入帧号实现快速跳转。

注意:在录制时,无法同时回放文件,如果切换到回放模式,会造成录制内容为空白。回放帧

率可更改,用来预览以此帧率导出为 BVH 或 FBX 后的实际效果。帧率选择支持多种制式帧

率。

11 数据文件

图 11.1 数据文件

11.1 功能概述

“数据文件”模块主要负责:存储、管理、回放录制的动作捕捉文件;导出文件为 BVH、FBX

等通用格式;

文件命名规则:录制日期+时间+角色名。

如 20170713_172853_Actor1(Live),20170713 代表录制的时间 2017 年 7 月 13 日,_172853 代表

录制时间 17 点 28 分 53 秒,_Actor1(Live)代表角色名;

Page 30: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

24 / 66 探索未知的美好 ©FOHEART www.foheart.com

11.2 打包文件

图 11.1 中的“打包文件”。

当需要在不同存储位置移动动作捕捉文件时,为了方便操作,可以使用 MotionVenus 内置的文

件打包功能,快速压缩当前文件及其所有相关文件到指定存储位置。

图 11.2 打包文件

RAW 文件 动作捕捉系统数据原始文件。

HRAW 手指动作数据原始文件(数据手套的数据)。

TRE 文件 保存了接触点编辑的信息,如果编辑过接触点,建议勾选此项。

CSV 文件 保存了 Sensor 的原始数据(四元数、欧拉角、加速度、角速度、磁

力值)信息,如果在录制时在设置中打开了原始数据导出选项,则会

产生此文件。

AVI 文件 保存了同步视频录像,如果在动作捕捉过程中使用了摄像头捕捉功

能,则会产生同步录像文件。

压缩后生成以文件名命名的.zip 文件。

如果需要使用打包后的动作捕捉文件,需要将其解压到 MotionVenus 的数据文件夹中的根目录

下。

11.3 导出时间轴范围内的数据

导出数据为时间轴模块中间两个滑块确定的范围。只有先打开文件后才能导出此文件的数据。

如图 11.3 所示。

图 11.3 导出时间轴范围内的数据

Page 31: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

25 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 11.4 导出文件

11.3.1 导出选项

对于同名文件的处理,有三种选择:

自动重命名:会自动在重名文件后添加"_1"后缀。

覆盖:自动覆盖重名文件。

询问:每次都弹出对话框询问是否覆盖。

当导出文件为“3Ds Max Biped BVH”时,在文件末尾自动添加_biped 后缀。

11.3.2 帧率选择

帧率选择支持各种标准帧率:

PAL 25 fps

NTSC Full 29.97 fps

NTSC Drop 29.97 fps

11.3.3 3D Max Biped BVH

图 11.5 3Ds Max Biped BVH

首先在场景中拖拽创建出一个默认的 Biped 模型,

Page 32: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

26 / 66 探索未知的美好 ©FOHEART www.foheart.com

然后选择 Load Motion Capture File,

选择刚才导出的 ActorM_biped.bvh 即可,最终显示如下:

Page 33: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

27 / 66 探索未知的美好 ©FOHEART www.foheart.com

11.3.4 其他导出

Biovision BVH

FBX binary

FBX ascii

FBX encrypted

FBX 6.0 binary

FBX 6.0 ascii

11.4 播放列表

右键选择添加到播放队列,是指将当前文件添加到回放流中,所有在播放列表中的文件,均会

在后台转发其数据到网络端口(例如发送到 Unity3D、Unreal Engine 4 等第三方软件或引擎

中)。

Page 34: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

28 / 66 探索未知的美好 ©FOHEART www.foheart.com

11.5 属性

图 11.5.1 文件属性

右键选择属性,查看录制文件的详细信息,包括使用的硬件套装、总帧数、骨骼长度等信息。

12 制图区

图 12.1 制图区

制图区用来显示各项数据。

在制图模块左上方下拉框选择显示区域的排列方式。角度旋转顺序有以下六种,XYZ、XZY、

YXZ、YZX、ZXY、ZYX,可以在下拉框中选择。“停止/播放”按钮,“停止”绘制后,可以鼠标

拖动每个制图区的数据查看历史数据,也可使用鼠标滚轮缩放显示的数据。

Page 35: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

29 / 66 探索未知的美好 ©FOHEART www.foheart.com

13 运动学

图 13.1 运动学 1

Page 36: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

30 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 13.2 运动学 2

右键点击每段骨骼或关节可以查看此骨骼或关节的欧拉角数据,比如“右肩”,也可以直接点

击骨骼或关节,将其拖拽到制图窗口中。

在这里我们可以分别查看我们感兴趣的骨骼或关节的角度变化信息,并且可以同时监视(至多四

段)骨骼或关节的角度变化信息。

Kinematics 骨骼欧拉角 Global 坐标系,相对于 3D 场景左下角坐标系所指示的全

局坐标系。

Joints 关节欧拉角 Local 坐标系,相对于父骨骼的旋转角度

关节向量角 当前骨骼旋转所表示的方向向量相对于父骨骼旋转所表

示的方向向量的矢量角。

关节位移 Global 坐标系,相对于 3D 场景左下角坐标系所指示的全

局坐标系。

Center of Mass 人体重心位移 Global 坐标系,相对于 3D 场景左下角坐标系所指示的全

局坐标系。

14 菜单栏-设置-选项

14.1 快捷键

图 14.1 快捷键

Page 37: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

31 / 66 探索未知的美好 ©FOHEART www.foheart.com

14.2 插件

14.2.1 数据转发

图 14.2.1 数据转发

在同一个局域网内,你可以设定目标主机的 IP 地址及端口号,数据可以自动转发到你设定的目

的主机。

14.2.2 转发规则

Page 38: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

32 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 14.2.2 转发规则

14.2.3 命令接收

图 14.2.3 命令接收

14.3 姿态校准

图 14.3 姿态校准

你可以自定义每个动作校准完成后至下一个校准动作的等待时长,软件默认时间为 3 秒。

Page 39: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

33 / 66 探索未知的美好 ©FOHEART www.foheart.com

14.4 数据导出

图 14.4 数据导出

请勾选“导出原始数据和骨骼解算数据”。

注意:数据导出功能只有在动作录制时才进行数据保存,所以使用此项功能一定要进行动作录

制。

14.5 数据文件

Page 40: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

34 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 14.5 数据文件

在这里你可以设置自己的数据保存位置。

14.6 软件设置

图 14.6 软件设置

(1) 自动检查更新:当勾选上后,软件会自动检测该版本软件是否是最新版本的软件。

(2) 文件关联:当勾选上后,软件会自动检查.RAW 文件是否本软件关联。

15 相机录制

MotionVenus 可以使用相机录制视频。

Page 41: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

35 / 66 探索未知的美好 ©FOHEART www.foheart.com

15.1 使用准备

图 15.1 相机录制

(1)能够与系统兼容的相机。

(2)确保已经正确安装相机驱动程序。 如图 15.1 所示,在 MotionVenus 的右侧停靠栏,选择“相

机录制”,点击“刷新”按钮获取已连接的相机。如果系统中存在多个摄像头,可以在下拉列表中

选择需要使用的摄像头设备。

如果有打开的 USB 摄像头设备,则在点击录制动捕文件时,后台默认同步录制来自摄像头的视

频流,录制结束后,视频保存为后缀为.avi 的同名视频文件。

视频回放时,如果存在同名的视频文件,则自动在视频窗口同步回放视频文件。

15.2. 视频录制参数

分辨率 640 x 480px

帧率 30fps

同时录制的视频个数 1 个

Page 42: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

36 / 66 探索未知的美好 ©FOHEART www.foheart.com

16 坐标系定义

16.1 传感器坐标系定义

导光柱指向 Y 轴,右侧指向 X 轴,Z 轴指向传感器正上方。

符合该坐标系的输出值:传感器加速度值、角速度值。

16.2 四元数、欧拉角坐标系定义

符合东(X)北(Y)天(Z)坐标系定义。

符合该坐标系的输出值:直接拖拽设备列表中的某个传感器到制图区窗口,显示的实时曲线值。

16.3 骨骼坐标系定义

符合右手坐标系定义。

图 16.3 骨骼坐标系

Page 43: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

37 / 66 探索未知的美好 ©FOHEART www.foheart.com

如上图所示,世界坐标系为右手坐标系,T-Pose 时每段骨骼的 local 及 global 坐标系也均为右

手坐标系。

每段骨骼在 T-Pose 时角度定义为(0,0,0)。

可以输出每段骨骼的本地(Local)旋转值或者全局(Global)旋转值。

符合该坐标系的输出值:23 段骨骼旋转角度、22 个关节旋转角度。

16.4 Unity3D 坐标系

3D 坐标系是 3D 游戏开发的基础概念。一般 3D 软件都是采用笛卡尔坐标系来描述物体的坐标

信息。笛卡尔坐标系分为左手坐标系和右手坐标系:

左手坐标系是 Y 轴指向上方,X 轴指向右方,Z 轴指向前方。

右手坐标系是 Y 轴指向上方,X 轴指向右方,Z 轴指向后方。

在 Unity3D 中使用的是左手坐标系,其中 X 轴代表水平方向,Y 轴代表垂直方向,而 Z 轴代表

深度。

在 MotionVenus 中使用的是右手坐标系,其中 X 轴代表水平方向,Z 轴代表垂直方向,而 Y 轴

代表深度。

Page 44: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

38 / 66 探索未知的美好 ©FOHEART www.foheart.com

17 常见问题

Q:为什么动画录制功能无法使用?

A:MotionVenus 的安装目录若在系统盘 C 盘,则需以管理员模式运行,否则无法执行数据录制

的操作。软件安装在非系统盘则不存在此问题。

Q:为什么多套设备同时使用时,只有一套设备可以显示运动动画?

A:多套设备同时使用时,应分别校准每套设备,点击选择左侧列表中的设备根传感器,在右侧

点击校准按钮进行 N-Pose、T-Pose 等校准流程。

Q:单个传感器的校准是否也可以在游戏引擎中进行?

A:不可以。现阶段在游戏引擎只支持人体级别的初始动作校准。

Q:若使用游戏引擎控制人物校准,MotionVenus 是否可以不运行?

A:不可以。MotionVenus 需要运行。

Q:为什么在 Unity 端点击校准后 MotionVenus 端无反应?

A:请检查 Unity 端人物名称是否填写正确。检查 Unity 端 UDP_Target_IP 与 UDP_Target_Port 是

否填写正确。

18 设备使用问题

Q:磁干扰以及如何避免?

如果传感器角度显示有问题,或者未靠近干扰源仍显示磁干扰,请按照本手册校准传感器。

A:传感器校准及使用时,应远离磁干扰,例如:

(1)手机、手表等电子设备及钥匙硬币;

(2)铁、钴、镍以及它们组成的合金等磁体;

(3)大功率变电站、无线基站、空调机柜、或大功率电机等工作时周围数米之内;

对于上述所述(1)(2)类干扰需要距离 20cm 以上,对于(3)类干扰视干扰强度需要距离至少

1m。

Q:FOHEART X/C1 可同时支持多少套设备同场景使用?

A:可以在一个软件中同时支持四套设备使用。

Q:使用过程中脚部抖动?

A:远离严重的磁场干扰;调整校准栏下方的“身体倾斜角度值”(从默认值 6°开始逐渐加大),

逐渐增大或减小找到适合自己的角度。(由于不同人体的腿部倾斜角度并不相同,所以最好手动

调整)

Q:软件使用过程中传感器突然全部掉线?

A:PC 端更换到其它的 USB 口。更换 USB 线。另外可能是使用了 USB 集线器,并且由于 USB

集线器的供电不足造成的设备掉线,请确定您使用的 USB 集线器能够提供至少 350mA 供电电流,

或者使用有独立电源供电的 USB 集线器。

Q:磁干扰会对动作捕捉造成如何影响?

A:FOHEART 动作捕捉系统传感器内置磁干扰屏蔽算法,能够屏蔽突发的磁干扰,例如忽然握

Page 45: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

39 / 66 探索未知的美好 ©FOHEART www.foheart.com

住手机;屏蔽过程最长持续 30 秒,若 30 秒内无法脱离磁干扰,会对最终的效果造成明显的较差

影响。

Q:传感器上传数据的速率?

A:24~96fps,默认 96fps。

Q:MotionVenus 转发数据流到 Unity3D 或者 Unreal Engine 的数据速率?

A:60fps。

Q:MotionVenus 转发数据流包含什么数据?

A:23 段骨骼的欧拉角;23 段骨骼的四元数;23 段骨骼的本地坐标;23 段骨骼的全局坐标;17

个传感器的加速度计原始值;17 个传感器的陀螺仪原始值;17 个传感器的磁力计原始值;(原始

值出厂设置不输出)

Q:MotionVenus 转发数据流可选的格式?

A:二进制流(此种方式数据包最小);可读字符串;Json 格式;

19 注意事项

— 勿在热源(如火或加热器)附近使用或贮存动作捕捉传感器;

— 请使用原厂充电插排充电;

— 勿将传感器投入水中或将其弄湿;

— 勿给传感器加热;

— 禁止撞击、投掷或者使动作捕捉传感器受到机械震动;

— 禁止锤击或脚踏传感器;

— 禁止以任何方式拆解传感器;

— 禁止在火源或极热条件下给传感器充电;

请使用原装适配器给充电插排供电,劣质适配器可能会导致传感器电池损坏。

第四部分 SDK 及插件

1 MotionVenus SDK

1.1 简介

(1)下载地址:

http://www.foheart.com/resource.html 或 https://github.com/FOHEART/MotionVenusSDK

(2)SDK 及 Demo 程序所有部分均提供源码。

(3)SDK 部分使用 C 语言开发,Demo 程序使用 C++开发。

(4)工程使用 Visual Studio 2013 打包。

Page 46: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

40 / 66 探索未知的美好 ©FOHEART www.foheart.com

1.2 使用方法

(1)设置 MotionVenusSDK_Test 工程为启动程序。

(2)编译运行。

1.3 功能描述

(1)通过 UDP 接收来自一个或多个 MotionVenus 客户端的实时数据流。

(2)实时的 23 段人体骨骼的空间位置与旋转。

(3)SDK 已封装为 dll 库,支持多线程处理。

(4)配有 DEMO 程序。

1.4 数据类型单位制

名称 单位

位置 meter(米)

欧拉角 angle(度,角度制)

1.5 骨骼对应关系

索引 名称 备注 索引 名称 备注

0 Spine

或 Hips

类人模型的根

传感器,控制

整个人体的位

移和根关传感

器的旋转

12 LeftUpperArm 左上臂

1 Spine1 相 当 于 人 体

L3~L5 段骨骼 13 LeftForearm 左小臂

2 Spine2

相 当 于 人 体

T12~L2 段 骨

14 LeftHand 左手

3 Spine3

相 当 于 人 体

T8~T11 段 骨

15 RightUpperLeg 右大腿

4 Spine4 相 当 于 人 体

T1~T7 段骨骼 16 LeftUpperLeg 左大腿

5 Neck 脖子 17 RightFoot 右脚

Page 47: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

41 / 66 探索未知的美好 ©FOHEART www.foheart.com

1.6 使用场景

本 SDK 提供了基于人体动力学的 23 段骨骼模型,同时给出了每段骨骼的旋转与空间位

置,可应用于例如:医学应用,例如肘、肩关节运动分析,脊柱弯曲度分析,下肢动力学分析

等等方面。体育分析,例如投掷动作中手、小臂、大臂的连锁动作分析;落地过程中脚、大腿

小腿的冲击力分析[注 1]等等。道具映射,例如可将手部传感器固定到枪械类道具上,该道具就有

了空间 360°旋转及位移信息;或将传感器放置到需要测量旋转信息的任意物体上,就可以获取

该物体实时的旋转信息。

第三方软件集成,可利用本 SDK 与任意第三方软件集成,快速获得标准的人体动力学数据。

6 Head 头 18 RightToeBase 右脚尖

7 RightSho

ulder 右肩 19 LeftLowerLeg 左小腿

8 RightUpp

erArm 右上臂 20

RightLowerLe

g 右小腿

9 RightFore

arm 右小臂 21 LeftFoot 左脚

10 RightHan

d 右手 22 LeftToeBase 左脚尖

11 LeftShoul

der 左肩

Page 48: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

42 / 66 探索未知的美好 ©FOHEART www.foheart.com

2 Unity 实时插件

2.1 下载插件包

(1) http://www.foheart.com/resource.html 下载 Unity3D 插件。

(2) https://github.com/foheart git clone 本库到硬盘任意位置即可。

2.2 建模建议

建模及导出 fbx 时,需将模型调整为 T-Pose。

在 MotionVenus 中,以模型 T-POSE 为起始旋转输出每段骨骼相对于父骨骼的相对(Local)

旋转值或相对于世界坐标的全局(Global)旋转值。所以在建模及绑定蒙皮时,建议使用 T-

Pose 进行建模,要保证在 T-Pose 时模型肩部无耸起、拉扯等情况。

为什么使用 T-Pose?

T-Pose 能够消除由于不同公司的工作习惯造成的 A-Pose 中肩部骨骼与大臂的夹角不确定问题。

在 A-Pose 中很难确定肩部与大臂的夹角,而此夹角对于上臂的动作形成至关重要,由于上臂运

动链解算多使用 FK,而在 FK 中越靠近根传感器的运动会越对末传感器的位置造成大量误差。

此误差若过大会造成整个上肢的 IK 运算无法运行,所以确定肩部与大臂的初始角度至关重要。

在现实情况下,穿戴动捕很难做出一个标准的 A-Pose 校准动作。

T-Pose 的每一段骨骼的初始朝向都有明确定义,为动捕校准、运算都提供了准确的起始参考。

2.3 插件使用流程

(1) 配置 MotionVenus 转发协议【设置-选项-转发规则】如下图:

Page 49: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

43 / 66 探索未知的美好 ©FOHEART www.foheart.com

(2) 打开 unity,新建工程:

(3) 找到工程创建目录下的 Assets 文件夹,将 FOHEART unity 插件拷贝到此文件

夹下:

Page 50: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

44 / 66 探索未知的美好 ©FOHEART www.foheart.com

在 Unity3D Project 下出现插件及脚本:

Assets 文件夹下新建 Model 文件夹,放入待绑定的模型(.fbx 格式):

返回 Unity3D 界面。

在场景中任意创建一个物体,这里创建一个 Cube:

在右侧 Inspector 中点击 Add Component,添加 NetFrameDataReceiver 脚本:

Page 51: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

45 / 66 探索未知的美好 ©FOHEART www.foheart.com

将 Cube 的 Mesh Renderer 选项去掉,从而将 Cube 隐藏:

(4)将模型拖入场景中,并在右侧 Inspector 中点击 Add Component,添加 FoheartModel.cs 脚本:

在 Cube 的脚本中展开 PlayerList,Size 填入 1,然后 Element 0 中拖入刚才操作的模型:

Page 52: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

46 / 66 探索未知的美好 ©FOHEART www.foheart.com

(5)点击模型脚本中 Self-binding bones 按钮,脚本会自动填入名称相近的骨骼:

否则,则需要将左侧未识别的骨骼拖拽到右侧对应的部位上,假设 Neck 未识别到,将左侧的 Neck

拖入右侧 Neck 栏:

Page 53: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

47 / 66 探索未知的美好 ©FOHEART www.foheart.com

其它未识别的骨骼按照同样方法操作。

ActorName 中填入 MotionVenus 左侧列表中的套装名称:

保存工程并运行:

Page 54: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

48 / 66 探索未知的美好 ©FOHEART www.foheart.com

2.4 Demo

下载的插件包中有 Demo 工程,使用 Unity5.6.0 以上版本打开运行。

2.5 绑定后的模型滑步/浮空或者脚部在地面下等问题如何解决?

(1)问题分析

在 MotionVenus 中,按照严格流程,需要详细准确测量人体每段骨骼的长度,填入【骨骼】参数

后,再进行动作捕捉。然而为了方便,大部分情况下我们只选用内置模版,但是即使选择了与自

身不完全匹配的尺寸模版,MotionVenus 也能通过算法计算出没有漂移和滑步的位置信息。

但是由于在 Unity3D 中的绑定模型尺寸、比例与 MotionVenus 中输出位移数据的模型不一致,所

以会导致腰部位移一致,但是脚部悬空或者伸入地面以下的情况,这种情况是正常的,我们需要

采取措施进行修复即可。

例如,在 unity3D 中绑定了一个身高只有半米的矮人模型,当运行时,由于正常的腰部位置在 0.95m,

所以此矮人模型的脚部会腾空。

(2)确定骨骼长度

实时模式:在实时模式下,通过人物栏->骨骼长度设置,设置或者查看当前使用的骨骼长度,设置

方法请参考身体骨骼长度设置。

回放模式:在已经录制完成的文件上使用右键->属性打开属性窗口,如下所示:

Page 55: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

49 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 2.11.2 文件属性

图 2.11.2 骨骼信息即为录制文件时使用的骨骼长度信息。

(3)确定根骨骼位置

首先应该确定在 MotionVenus 中 Hips,也就是根骨骼的起始高度,即:胯高,在此设为

H1。若在 Unity3D 中绑定的模型,胯高若小于 H1(胯部到脚跟的距离,不包括鞋底厚度),则

模型运动过程中脚部会腾空,若胯高大于 H1 则脚部会踩到地面以下。(3)设置胯高偏移

假设需要模型在距离地面某个高度,或在地面下某个高度,或任意一个区域。需要将模型

整体平移一个位移,这个位移在 Location Offset XYZ 中设置。

选中绑定的模型,在右侧设置 Location Offset XYZ:确定模型的偏移量,填入 XYZ 中即可。

(4)设置 XYZ 轴倍率值

选中绑定的模型,在右侧设置 Location Scale XYZ: 在设置完成胯高之后,只是确定了模型

的整体空间位置,但是若 H2 小于 H1(腿短),则模型运动时,会出现走路过快的情形,若 H2 大

于 H1 则会出现模型运动过慢的情形,这时需要缩放 XYZ 轴运动的倍率为 H2/H1。

Page 56: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

50 / 66 探索未知的美好 ©FOHEART www.foheart.com

(5)仅适用于相近比例骨骼模型

以上所说方法仅适用于 U3D 中模型腿部大腿/小腿/脚长比例与 MotionVenus 中使用模版比例相

同,或接近相同的情况。

大部分类人模型或正常人体模型大腿:小腿:脚长基本符合 1:0.70.8:0.40.5,若模型符合此比例那

么绑定效果可以达到理想效果。

例如,MotionVenus 中男 175cm 模版,其中大腿长 44.34cm、小腿长 36.74cm、脚长 24.99cm,比

例为 1:0.83:0.56,那么 Unity3D 中的模型下半身也要与此比例相符或者接近,经过第五节的步

骤之后,脚部可以做到紧贴地面无滑步、陷地、腾空。

(6)非正常比例骨骼模型如何处理

若在 Unity3D 中使用的模型已经制作完成不便更改,或者骨骼比例需要以一种夸张的比例设

置,那么必须在动捕开始之前就在 MotionVenus 中提前设置夸张的长度或者比例,具体方法可以

按照以下方式实现:在“身体骨骼长度”设置窗体中,详细设置大腿、小腿、脚长的数值,使之

与 Unity3D 中需要绑定的模型保持长度一致,或者比例一致,然后穿戴动捕进行表演实时捕捉、

或捕捉完成后回放数据。

2.6 注意事项

插件使用时,需要注意以下地方:

(1)需要首先将模型调整到标准的 T 姿势,并且人物正面朝向 Unity3D 的 Z 轴正方向。

(2)使用 Unity3D 的过程中 MotionVenus 软件不可最小化。

3 UE4 实时插件

3.1 简介

(1)下载地址: http://www.foheart.com/resource.html 或 https://github.com/foheart

3.2 使用方法

(1)下载并打开工程

Page 57: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

51 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 3.2.1

(2)选择内容文件夹里的 DemoMap,双击并打开。

图 3.2.2

(3)配置

单击视图中的 BP_FOHEARTNetworkManager,查看 Host Name、 Port 等参数配

Page 58: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

52 / 66 探索未知的美好 ©FOHEART www.foheart.com

置是否与 MotionVenus 中保持一致。

图 3.2.3

Page 59: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

53 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 3.2.4

图 3.2.5

单击视图中的 HeroTPPBlueprint2,查看其 ActorName 是否与 MotionVenus 中保持一致。

Page 60: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

54 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 3.2.6

图 3.2.7

(4) 完成。

点击开始运行,即可看到场景中人物与 MotionVenus 中人物运动保持一致了。

Page 61: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

55 / 66 探索未知的美好 ©FOHEART www.foheart.com

4 MotionBuilder 实时插件

4.1 简介

(1)下载地址:http://www.foheart.com/resource.html 或 https://github.com/foheart

(2)插件提供安装包,支持 MotionBuilder 版本 2014、2016、2018。

(3)插件支持数据手套数据对接。

(4)支持 4 个模型同时动作绑定。

4.2 使用方法

(1)安装 MotionBuilder 软件(2014/2016/2018)。

(2)下载插件,并安装到默认目录即可,安装程序会自动获取 MotionBuilder 版本对应插件。

(3)打开 MotionBuilder,在 Resources 窗口中的 AssetBrowser 选项卡中,点击 foheart 目录,拖

动 Foheart4Chars 到场景中,如下图:

图 4.2.1

(4)打开后,Navigator 窗口中 Navigator 选项卡的 I/O Devices 下会自动创建出 Motion Input 项,

双击打开,如下图:

Page 62: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

56 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 4.2.2

(5)导入模型,并配置数据源与模型绑定。下面使用 MotionBuilder 自带模型,在 Resources 窗

口中的 AssetBrowser 选项卡中,点击 Tutorials 目录选中自带模型,如下图:

图 4.2.3

将模型加入到场景中,并配置数据源与被驱动模型,如下图:

图 4.2.4

上图中配置为以 C2_Foheart 为数据源,驱动模型 Gremlin。

(6)绑定模型名称与目的 IP 和端口号,以及配置数据格式。通过与 MotionVenus 中当前正在实

时录制或回放的模型名称意义绑定,实现与数据源接通,如下图:

Page 63: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

57 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 4.2.5

插件中最多可以配置 4 个模型名称作为数据源,当前仅填写了回放数据模型名称 NPC2 和

wushu_3_30,若为实时动作捕捉,需要填入 Actor1(Live)。

填写 MotionVenus 所运行机器的 IP 地址,以及设置的通信端口号,如下图:

图 4.2.6

配置数据转发规则,如下图:

Page 64: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

58 / 66 探索未知的美好 ©FOHEART www.foheart.com

图 4.2.7

此时我们在 MotionVenus 中播放 wushu_3_30 的数据文件,并保持 MotionVenus 软件窗口不被最

小化。

(7)回到 MotionBuilder 中,MotionInput 插件设置中,勾选 Online 按钮,即完成配置,如下

图:

图 4.2.8

Page 65: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

59 / 66 探索未知的美好 ©FOHEART www.foheart.com

4.3 功能与问题描述

(1)MotionBuilder 插件是通过 UDP 接收来自一个或多个 MotionVenus 客户端的实时数据流。

(2)插件最多支持 4 个模型同时进行数据绑定。

(3)如果安装插件后,没有找到 foheart提供的相关文件,请到安装目录中,拷贝对应 MotionBuilder

版 本 的 dll 插 件 文 件 到 MotionBuilder 版 本 的 plugins 目 录 下 ( 如 : C:\Program

Files\Autodesk\MotionBuilder 2014\bin\x64\plugins),再重新打开 MotionBuilder 软件,然后通过

MotionBuild 中 File-Open 菜单打开插件安装目录下的 Foheart4Chars.fbx 文件后再按照以上使用步

骤即可。

Page 66: 惯性动作捕捉系统 FOHEART·X 惯性动作捕捉系统 FOHEART·X 使 …

惯性动作捕捉系统 FOHEART·X 使用手册 V20191125150

60 / 66 探索未知的美好 ©FOHEART www.foheart.com

联系我们

网址:www.foheart.com

电话:(+86)010-56106165

邮箱:[email protected]

地址:北京市海淀区黑山扈路红山口 8 号