HoloLens first impression & development蜜葉 優

• H.N. :蜜葉 優 [@mitsuba_tan] • silkyfeel ,LLC. CEO • UX Designer / Interaction Developer

• Keynoteの表紙はいつも自分で撮影

• 最近のお仕事はWPFとUWPとデザインちょこちょこ • Microsoft MVP for Windows Development

• http://c-mitsuba.hatenablog.com

profile

注意：2016/9/12現在のお話です 明日には変わってるかも？

日本で発売は未定

• HoloLensとは • Mixed Realityとは • ハードウェア特性 • HoloLensでできることとできないこと • HoloLensの開発 • Designing HoloLens Apps • まとめ

Agenda

• VRとARとMRについて説明できる • HoloLensでできること、できないこと • HoloLensがいかに辛いか！

今日のおもちかえり

• VRとARとMRについて説明できる • HoloLensでできること、できないこと • HoloLensがいかに辛いか！

今日のおもちかえり

HoloLensはいいぞ って言えるようになる

HoloLensとは

とりあえず DEMO からいってみよー(・ω < )

まっ、こんなもんです

Q & A

HoloLensとは

• Microsoftが開発者向けに販売しているPC(!= HMD :Oculus,HTC Vive..)

• ケーブルレスでHoloLens単体で動作する • ホログラムを網膜走査して、Mixed Realityを実現するデバ

イス • HoloLens用のWindows 10がインストール

• 正規ルートで3000ドル • いまならひとり5台まで購入できるよ！

HoloLensとは

Mixed Reality

• よく日本語が仮想現実とか間違われてるやつ • ただしくは人工現実感

• 機能として本質と同等の環境を、ユーザーの五感を刺激して創りだす技術。

• 人工的に作った環境で、本物っぽい体験ができる技術。

• マトリックスが題材に使っている

Virtual Realityとは

Virtual RealityとはThe Ultimate Japanese Otaku Experience 見回せるVR空間+立体音響 =見回した状態によって反応するモデル

• 拡張現実感 • 現実環境に情報を付加・削除・強調・減衰させ、

人が五感を通して得られる現実世界の情報拡張する技術。

• 「いま」に合わせて情報を提供する技術。

• マイノリティリポートとかアイアンマンとか

Augmented Realityとは

Augmented RealityとはGPSやコンパス、カメラで取得したマーカーや画像などで取得したデータから いま欲しい情報を重ねて提示する技術

• 複合現実感

• 現実環境に情報を付加・削除・

強調・減衰させ、ユーザーの五感を刺激して体験を創りだす表

現あるいは仕組み。

• まさに電脳コイル！ • google glass、、うっあたまが、、（

Mixed Realityとは

VR AR MR

世界 仮想世界 現実世界 現実世界

情報の方向情報と五感を通してやり取りする双方向

(体験)

情報を受取るだけの一方通行

(情報提示)

情報と五感を通してやり取りする双方向

(体験)

VR -(技術的進化)-> AR -(表現的進化)-> MR

• MRはARの代替可能手段ではない • カメラを通してしか、表現できない世界もある • 例えば減算型AR • 情報密集地域における情報識別性の向上を目指し

た提示手法の検討 • Google Project Tango

ARは終わった？

ハードウェア特性

ハードウェア

http://www.buildinsider.net/small/hololens/01

• 16:9 1280*720 60fps • 0.5-5mまでホログラムを配置可能(遠ければ動けばいい • 慣性計測ユニット（IMU）1個（加速度、ジャイロ、方位を測定 • depthセンサー 1個　水平、垂直120度 • 環境認識カメラ 4個 • RGBカメラ 2MP×1個 • 複合現実感キャプチャ 1個 • マイク 4個（左右2個ずつ） • 周辺光センサー

HoloLensでできること、 あるいはできないこと。

• 視野角80度ぐらいの中にHologramが見れる • 操作方法：Gaze, Gesture, Voice Command • ジェスチャー3種 Air Tap ,Tap and Hold, Bloom • 領域を気にせず歩き回れる • 空間形状をセンシングして蓄積してメッシュ化 • 蓄積した空間形状をデバイスポータルでobjで保存可 • HoloLensがサーバになって映像を共有できる • BTで基本的なデバイスにはつながる

HoloLensでできること

• ピンチとか両手でどうこうとかはできない • 触れないし、叩けない • 人のボーンは取れない • 複数のHoloLensで同じものを見る機能はHoloLensには

ない (HoloToolkitにサーバがあって、自分でアプリレベルで実装する)

• USBホスト非対応

HoloLensでできないこと

MagicLeapとMeta

https://www.metavision.com/

https://www.magicleap.com/#/home

Merged Reality Augmented Virtuality

Project Alloy

Windows Holographic

開発

• Windows 10 x64 Pro/Enterprise • 64bit 4Core / 8GB RAM • Hyper-V • Visual Studio 2015 Update 2 • Windows 10 SDK • HoloLens Emulator • Unity HoloLens Technical Preview

開発環境

• 2D • Windowの枠で表示されるアプリ • 特に何も気にせずにふつーーにうごく。 • Capabilityだけ注意 • 1280x720 150%で動作

UWP

• ていうかこれも結局UWPになるので、厳密にはWindows HolographicsをOnにしたアプリ

• カメラの座標と距離設定 • 空間を使うMRな設定 • 背景色の設定 • ここまでやって、とりあえずHolo用の基礎環境 • 実行時に起動した自分の位置 = (0,0,0)座標

Unity

Live HoloDeveloping

Designing HoloLens Apps

• BodyLock • 自分にホログラムがついてくる • スタートメニュー(補足)

• WorldLock • 実際の環境にホログラムを置いておく • UWPアプリ(補足)

• 排他的表現 • 一つのアプリだけがホログラムを表示できる • Unityの全天アプリ(補足)

Design

• HoloLensの弱点 = やっぱり視野角 • 大きすぎるホログラムはどうしても視野領域から見切れ

る • 大きすぎるホログラムはどうしても違和感がある

• ぱっと見て全体を見渡せるサイズのホログラムがいい • あるいは注目点がわかりやすい3Dモデルをデザイン

• 人なら顔を見るとか。

Design

Hologram 表示領域

Hologram 表示領域

• HoloLensの特徴 = 気配のデザイン

• ホログラムには気配がない

• 気配がないホログラムで驚かす -> 振り向いたらいた！

• 気配を作る • 空間音響でホログラムに存在感をだす

• 人のホログラムだったら、雑談してる声だったり動

作にSEをつけたり。

Design

• 人は五感を駆使して生きている • 視覚、聴覚、触覚、味覚、嗅覚

• HoloLensが影響できる感覚 = 視覚と聴覚 • 視覚と聴覚が一致するようなホログラムはより自然に

• 例えば口の動きと声 • 関係性がなければ不自然に

• 動きに対して声が遅れて聞こえればストレス • 声が、遅れて、きこえて、くるよ

Design

• でも、あえて視覚と聴覚をずらしたコンテンツで不思議なコンテンツを制作できる。 • 見えるけど存在感のないホログラム • 見えないけど気配の感じる空間

-> 自分の位置に応じて違うものが聞こえる-> 見えない声を捕まえる

Design

まとめ

• ARでもVRでもなくMR(複合現実感) • HoloLensでUWPが動く！けどウィンドウに

縛られる（HolographicsはMS製なのでお察し • Unityでちょこっと3Dモデル出すだけなら簡単

• Hologramの存在感はすごい（ただし気配はない

まとめ

• 真面目にコンテンツを作りこむなら、3Dプログラミング、3Dモデリング、テクスチャ、

アニメーション、3Dな数学、ゲームAIが必要 • １人でやろうとするとめっちゃツライ

• ていうか無理 • キーボード入力が発狂するレベル

まとめ

• デバイスとしてはかなり素晴らしい • ハードウェアとしてしっかり作られてる • 視野角やディスプレイ部分はもう一声

(と言いつつ個人的には満足で気にならない • デバイスのいいとこを伸ばして、悪いところを補うアプリ

デザインをすると没入感++

• 画面みせてどう見えるのか理解して、かぶって画面との違いを体験するのが一番いい

まとめ

未来はある あとはなにをつくるか

HoloLensはいいぞ

• 電脳コイル • SF映画で学ぶインタフェースデザイン アイデアと

想像力を鍛え上げるための141のレッスン • HoloLens Academy

• Build 2016 • http://www.naturalsoftware.jp/

参考文献

Q & A