Kinect v2 応用事例

28
Kinect SDK v2の 応用機能を使った事例 2015/06/06 中村 薫

Transcript of Kinect v2 応用事例

Page 1: Kinect v2 応用事例

Kinect SDK v2の応用機能を使った事例

2015/06/06

中村 薫

Page 2: Kinect v2 応用事例

自己紹介

中村 薫フリーランスで主にDepthセンサー系の仕事をしています

アプリケーション開発

講演、ハンズオンセミナー

執筆など

Microsoft MVP for Kinect for Windows

http://www.naturalsoftware.jp/

[email protected]

Copyright © 2015 Natural Software All rights reserved. 2

Page 3: Kinect v2 応用事例

Copyright © 2015 Natural Software All rights reserved. 3

Page 4: Kinect v2 応用事例

Copyright © 2015 Natural Software All rights reserved. 4

Page 5: Kinect v2 応用事例

Kinect SDK v2の応用機能

•Face

•HD Face

•Kinect Fusion

•Gesture

Copyright © 2015 Natural Software All rights reserved. 5

Page 6: Kinect v2 応用事例

Kinect SDK v2の応用機能

•Face

•HD Face

•Kinect Fusion

•Gesture

Copyright © 2015 Natural Software All rights reserved.

今日の事例

6

Page 7: Kinect v2 応用事例

HD FaceCTスキャンされた自分の顔を動かす

Copyright © 2015 Natural Software All rights reserved. 7

Page 8: Kinect v2 応用事例

Copyright © 2015 Natural Software All rights reserved. 8

Page 9: Kinect v2 応用事例

ソフトウェア構成

Copyright © 2015 Natural Software All rights reserved. 9

Page 10: Kinect v2 応用事例

HD Face

•1347の顔特徴点を検出

•顔の角度を検出

Copyright © 2015 Natural Software All rights reserved. 11

Page 11: Kinect v2 応用事例

PCL(Point Cloud Library)

•3次元の点の集まりを処理するライブラリ

•OpenCVの3次元版

http://pointclouds.org/Copyright © 2015 Natural Software All rights reserved. 12

Page 12: Kinect v2 応用事例

3DモデルとHD Faceの位置合わせ

Copyright © 2015 Natural Software All rights reserved. 13

Page 13: Kinect v2 応用事例

3Dモデルを動かす

Copyright © 2015 Natural Software All rights reserved.

https://www.youtube.com/watch?v=KVhdJgnPak414

Page 14: Kinect v2 応用事例

Kinect Fusion3Dスキャンして3Dプリンターで出力する

Copyright © 2015 Natural Software All rights reserved. 15

Page 15: Kinect v2 応用事例

3Dプリントの課題

•何をプリントするのか?• 3Dモデル

•3Dモデルはどこから調達するのか• 3Dモデルサイトからダウンロードする•自分でモデリングする

•モデリングには技量が必要

•センサーでスキャンできない?

Copyright © 2015 Natural Software All rights reserved. 16

Page 16: Kinect v2 応用事例

やってみました

Copyright © 2015 Natural Software All rights reserved. 17

Page 17: Kinect v2 応用事例

流れ

• Kinect Fusionで3Dスキャン

• 3Dプリンタで出力する

Copyright © 2015 Natural Software All rights reserved. 18

Page 18: Kinect v2 応用事例

配置

Copyright © 2015 Natural Software All rights reserved. 19

Page 19: Kinect v2 応用事例

スキャン@Kinect Fusion

Copyright © 2015 Natural Software All rights reserved. 20

Page 20: Kinect v2 応用事例

モデル出力

Copyright © 2015 Natural Software All rights reserved. 21

Page 21: Kinect v2 応用事例

モデル出力

穴があるとプリントできない

Copyright © 2015 Natural Software All rights reserved. 22

Page 22: Kinect v2 応用事例

穴埋め@3D Builder

Copyright © 2015 Natural Software All rights reserved.

穴が開いている

23

Page 23: Kinect v2 応用事例

穴埋め@3D Builder

穴が埋まった

Copyright © 2015 Natural Software All rights reserved. 24

Page 24: Kinect v2 応用事例

3Dプリント

Copyright © 2015 Natural Software All rights reserved. 25

Page 25: Kinect v2 応用事例

余談(Intel RealSense)

Copyright © 2015 Natural Software All rights reserved. 26

Page 26: Kinect v2 応用事例

余談(Intel RealSense)

Copyright © 2015 Natural Software All rights reserved. 27

Page 27: Kinect v2 応用事例

余談(Intel RealSense)

Copyright © 2015 Natural Software All rights reserved. 28

Page 28: Kinect v2 応用事例

www.naturalsoftware.jp

Copyright © 2015 Natural Software All rights reserved. 29