#FTMA15 第六回課題 全コースサーベイ
-
Upload
yoichi-ochiai -
Category
Education
-
view
627 -
download
2
Transcript of #FTMA15 第六回課題 全コースサーベイ
Food Messaging: Using an Edible Medium for Social Messaging Jun Wei, Xiaojuan Ma, Shengdong Zhao
先行研究と比べてどこがすごい?
どんなもの?
SMSとしての食べ物の利用について考察したもの
技術や手法のキモは? 次に読むべき論文は?
議論はある?
どうやって有効だと検証した?
食べ物をメディアとしたコミュニケーションの可能性を考察しただけの論文なので特に特徴的な工夫は見られなかった
キャノンやエプソンが販売している可食印刷機を使用している。また食べられるSMSメディアを作るものとして3Dプリンタについても触れている。
被験者を募り実際に食べ物をメディアとしたSMSを利用してもらい、アンケートやインタビューをした。
食べられるSMSには他のメディアによるSMSにはない有形で可食であるという特徴がある。この特徴はコミュにケーションに大きな影響を与える。
食べ物をメディアとして使ったもの。
La8e Art Machine
Gamelunch: Forging a Dining Experience through Sound
Pietro PoloA , Stefano PapeA
Stefano Delle Monache, Davide Rocchesso
音の発生を物体と物体のインタラクションと捉え、日常の動きに音をつけることで生活をデジタルな
制御を与えるもの
h(ps://www.youtube.com/watch?v=JY8UqSaYC1o
TangibleInterfacesfor Remote CollaboraHonand CommunicaHon
Sco( Brave, Hiroshi Ishii, and Andrew Dahley
遠くに離れているユーザー同士が同じ物体を触って操作してい
る感覚を作るもの
La8e Art Machine Oleksiy Pikalo∗ OnLa(e
ラテアートをする機械
Celebratory Technology: New DirecHons for Food Research in HCI
Andrea Grimes
Georgia InsRtute of Technology 85 5th St. NW Atlanta, GA 30332 USA [email protected]
Richard Harper
Microso\ Research 7 J J Thomson Ave Cambridge, CB3 0FB, UK
r.harper@microso\.com
食べものを人間の生活や文化においてとても重要な意味を持つものと考え、人と食べもののインタラクションについて述べたもの
Wan2tlk?: Everyday Text Messaging
Rebecca E. Grinter , Margery Eldridge
電子メールなどテキストを用いたコミュニケーションの不便な部分などについて
Active click: tactile feedback for touch panels
Makaki FUKUMOtO, Toshiaki SUGIMARU:Active click: tactile feedback for touch panels, CHI EA ’01, 2001.
どんなもの?
先行研究と比べてどこがすごい?
技術や手法のキモはどこ? どうやって有効だと検証した?
論議はある? 次に進むべき論文は?
音やボタン表示の大きさを調整したりする必要がないため,操作に支障をきたしにくい.また,振動でわかりやすい入力ができる.
An emperical comparison of pie vs.Linear menus.とか
音やボタンの大きさを気にせず,画面操作中のタッチフィードバックを得ることができる.
デバイスのフィードバックシステム,Active clickというもの.フィードバックは物理的な振動.
大きなスクリーンは画面全体を振動させなければならないので消費電力が大きい.
被験者に実際に操作してもらい検証した.ビーブ音との比較等を行った.
論文URL: http://dl.acm.org.ezproxy.tulips.tsukuba.ac.jp/citation.cfm?id=634141
どんなもの?
手持ちのカメラで頭のモデルを作る
先行研究との違い
特別な機械がいらない
技術や手法のキモ
リアルタイムで動的にフェイスリグを適用する
検証方法
様々な角度から撮影し、ポイントを計測しながらテクスチャを作る
結論
ハンドカメラを用い、限られた情報から3Dのフェイスを作ることができるようになった
次
なんだろう
Dynamic 3D Avatar Creation from Hand-held Video Input
CREATING A PHOTOREALDIGITALACTOR:THE DIGITALE MILY
PROJECT
コンピュータグラフィックスによりデジタルの俳優を作り出す
High-Quality Single-Shot Capture ofFacial Geometry
多数のカメラではなく、1台のカメラの1枚の写真から高精細な顔のモデルを作り出す
先行研究と比べてどこがすごい?
どんなもの?
次に読むべき論文は?どうやって有用だと検証した?
技術や手法のキモはどこ? 議論はある?
これまでのARグラスによって表示可能であったのが視野角40°程度なのに対し110°まで広がっている点。
表示された文字が読むことができるようにするための実験や、リアルタイムデモが可能な点によって。
HIURA, S., MOHAN, A., AND RASKAR, R. 2010. Krill-eye: Superposition compound eye for wide-angle imaging via grin lenses.
より実用的なものとする為には視線追跡機能や表現可能な色の数など改善すべき点はおおくのこっている。
小さな孔に光を通すことでそれがレンズの役割を果たし映像を広げることで視野角を拡大させている。
細かい穴をあけた透明な板をシースルーディスプレイの外側に配置したARグラスの開発
どんなもの?先行技術と比べてどこがすごい?
技術や手法のキモはどこ?
議論はある?
次に読む論文は?
英文で絵を作るアルゴリズム。簡単に作ることができ、その文字を読むことができる。
前代の技術は専門的な技術を必要とし、地道な作業を強いられていたのに対し、コンピュータで自動的に作れるようになり、手軽に作れるようになった点。また、文字の色・フォントも変えることができ、文字の並びを変えることもできる。
ベクトルで文字の流れ・曲線を計算し、形の輪郭をコントロールした点。
極端な曲線はこのアルゴリズムには不適なのでは?
Spin-It: Optimizing Moment of Inertia for Spinnable Objects
ユーザーが物体と軸を設定することで安定したコマを自動で計算するアルゴリズム。
先に物体の転がる音を入力することで、それに対応した物体の動きを再現する。数百の音に対応でき、約12パターンもの物体の動きが設定されている。
Proprioceptive Interaction
Pedro Lopes, Daniel Hoffmann, Alexandra Ion, Patrik Jonell, Willi Mueller, Patrick Baudisch
どういうものか
どうやって有効だと検証したか
次に読みたい論文:GestureWrist and GesturePad: Unobtrusive Wearable Interaction Devices
議論はあるのか
加速度センサーで指の動きを認識し(入力)、EMS(ElectricalMuscle Stimulation)アクチュエータを用いて筋肉に電流を流して手首を動かす(出力)インタラクションデバイスPose-‐IO
EMSによって手をポージングさせたのち、使用者が同じポーズをしてそれを学習させた。何人かの被験者にPose-‐IOを用いたゲームの例を体験してもらいフィードバックをもらった。
視覚障害者の支援ツールにもなりえるのではないか?手首だけではなく色々な筋肉を入出力に使えるのではないか?
先行技術と比べて何がすごいかアイズフリー(目で確認する必要のない)インタラクションデバイスは今までは視覚や聴覚、外部の刺激を用いるものが多かったが、このPose-‐IOは関節のポーズを入力、関節の動きで 出力とするところがすごい
User Interfaces for Interac-ve Control of Physic-‐based 3D Character
• 検証
ダイビングやフリースタイルスキー、ハーフパイプなどの競技のモーションの描画によって検証
• 議論の余地
より抽象的な動きをシミュレーション
• 次に読むべき論文
Compu'ng Smooth Surface Contours withAccurate Topology
• どんなもの?3Dキャラを物理法則に則ってコントロールするイン
ターフェースのプロトタイプ
• 新規性3Dキャラの種々のスポーツ特有の動きを実現させ
ることができ、コントローラをスポーツごとに対応させられる• 手法の肝ボタン入力にモデルを動かすためのパラメータと
タイムラインにおける描画上重要なイベントのマーカーを対応させて描画に用いる(アクションパレットインターフェース)
Synthesis of Complex Dynamic Character Mo'on from Simple Anima'on
• 2次元のアニメを解析し、それを基にしたCGによるモーションの再現
Layered Dynamic Control for Interactive Character Swimming
• 現実の水泳の動きを解析し、刻々と変化する3Dの泳ぎやその周囲のモーションを描画する手法
Playing Atari with Deep Reinforcement Learning Shoya Ishimaru. Yuji Uema. Kai Kunze. Koichi Kise . Katsuma Tanaka. Masahiko Inami
どんなものか
先行研究と比べてどこがすごい?
技術のキモはどこか
どうやって有効だと検証した?
議論はある?
次に進むべき論文は?
論文自体にはなし、ただ強化学習のポイントである報酬についてが曖昧で今回は環境に依存したと言っても過言ではない
Human-level control through deep reinforcement learning
深層学習と強化学習を用いて高次元の入力に対しての制御を学習.家庭用ゲーム機,Atariの2600ゲームのうち7つほどをプレイさせる.基本的に人為的な入力は0. 現Google の人工知能DQNの元の論文
実際にatariのゲームをプレイさせ過去の研究の成果、およびエキスパートユーザと対比, 過去の研究に対して6/7.人間に対して3/7で勝利.
訓練データが大量に必要.ルールなどを教え込むことが必要.これらを学習によって解決. 強化学習の注目点である”報酬”に関して遅延報酬をに関する問題を解決.過去の経験を平均化させ利用
入力データ,画面ラスト4フレームに対して画像を粗くさせて高速化,サンプリングしたデータ同士の相関を低下させる.出力がパラメータに依存
Sketch-‐based linear value func@on approxima@on
強化学習において線形近似関数の新たなデータ構造を提案
強化学習においてハッシュとタイル符号化を組み合わせて連続空間内の状態を表現
↓ tug-of-war sketch を使用し強化学習で
傾向を評価するより少ないハッシュのオーダで実現.
評価にatari2600の50ゲームほどを使用
Context-Dependent Pre-Trained Deep Neural Networks for Large-Vocabulary Speech
Recognition
携帯電話認識においてDBNをもちいて 大語彙の連続音声認識(LVSR)
新しいコンテキスト依存(CD)モデルを提案 事前学習において過学習と隠れマルコフモデル
(DNN-HMM)の用いたモデルを用いる。
DBN-LVSR-DNN-HMMを提案。
George E. Dahl, Dong Yu, Senior Member, IEEE, Li Deng, Fellow, IEEE, and Alex Acero, Fellow, IEEE
Marc G. Bellemare Joel Veness Michael Bowling
The arcade learning environment: An evaluation platform for general agents
強化学習、モデル学習などに用いられるアーケード学習用の環境(ALE)の導入
ATARIの2600ゲームに対応した環境の設計
ドメイン(種類?)に依存しないベンチマークの開発
55以上の異なるゲームで実証結果
ALEにより可能となる評価手法を提案
SPEECH RECOGNITION WITH DEEP RECURRENT NEURAL NETWORK
Alex Graves, Abdel-rahman Mohamed and Geoffrey HintonKai Kunze, Masai Katsutoshi, Yuji Uema, Masahiko Inami
リカレントニューラルネットワーク(RNNs)↑シーケンシャルなデータの処理が得意
音声認識のためにディープラーニングをもちいたRNNを使用
また、その性能を評価TIMIT音素認識ベンチマークで
17.7パーセントのテスト·セット·エラー
TD-Gammon→強化学習を用いたバックギャモンを行うシステム↑
精巧だがブレイクスルーにつながっていない
この研究では誤差逆伝播法,強化学習,TD学習を用いないで 4000個のパラメータでfeed-forward neural networkを用いた 評価関数を開発しTD-Gammonの機能を一部複製した。
Why did TD-Gammon WorkJordan B. Pollack & Alan D. Blair
BaseLase: An Interac.ve Focus + Context Laser Floor
どんなものか
デバイスの周囲5mの地面にレーザで文字や図形を投影でき、そのレーザと相互に作用することが出来るシステム。
先行研究と比べてどこが凄いか
一つの面に高解像度のレーザー光と低解像度のレーザー光の2種類を同時に投影出来る。
技術や手法のキモはどこなのか
間に鏡を設置しそこで反射させて投影することで、上面のポリウレタンで反射させるより投影距離が短くなり高解像度に投影出来る 。
どうやって有効だと検証したか
アプリケーションを2つ作った。また、実際に12人の人にモード切り替え方法を教えず模索してもらったり、手や足で図形を描いてもらった
。今後の課題や議論
目や顔を検出してレーザーを当たらないようにし安全性を高めたい。context mirrorを円筒状のアクリルガラスで固定し雨などに強くしたい。自律ロボットに載せてみたい。
次に読むべき論文 The Everywhere Displays Projector: A Device to Create Ubiquitous Graphical Interfaces
The Everywhere Displays Projector: A Device to Create Ubiquitous Graphical Interfaces
液晶プロジェクターの光を回転鏡により逸らし、部屋中のあらゆる場所へ投影出来る
GravitySpace: Tracking Users and Their Poses ina Smart Room Using a Pressure-‐Sensing Floor
床にかかる圧力からユーザの場所やポーズ、あるいは家具の位置の推定
Looking Glass: A Field Study on NoQcing InteracQvity of a Shop Window
お店の窓のうち3つをインタラクティブなディスプレイに変更し、通行人の反応を調査する
Munehiko Sato Shigeo Yoshida Alex Olwal Boxin Shi Atsushi Hiyama Tomohiro Tanikawa Michitaka Hirose Ramesh Raskar CHI 2015
どんな研究か? 波長の違うLED4セットとイメージセンサを用いて物体のセンシングを行うデバイスの開発.リアルタイムユビキタスコンピューティングに向いている.評価実験も行った.
先行研究と比べて何がすごいか? LEDとイメージセンサとマイコンにBluetoothモジュールを取り付けるだけでスマートフォンやタブレットと通信をして素材ごとに違う動作をさせることができる.
この手法のキモは? 物体の表面で反射した光をイメージセンサで測定し,素材と波長ごとのLEDの光の反射率の違いから物体の表面の素材を推定する.
検証方法・結果 いろいろな光の状況でいろいろな素材に当てて試した.高い確率で素材を判別することができた.実際にプロトタイプを作って,6面がそれぞれ違う素材でで
きたショーケースにかざして使ってみた.iPhoneと連携させて使ってみた.
議論はあるか? 特になし
次に読むべきもの
Yang, X., Grossman, T., Wigdor, D., and Fitzmaurice, G. Magic finger: Always-‐available input through finger instrumentaUon. In Proc. ACM UIST ’12, 147–156.
SpecTrans: VersaUle Material ClassificaUon for InteracUon with Textureless, Specular and Transparent Surfaces
A Data-‐Driven Reflectance Model
Wojciech Matusik Hanspeter Pfister Mad Brand Leonard McMillan
A PracUcal Model for Subsurface Light Transport Henrik Wann Jensen Stephen R. Marschner Marc Levoy
Pat Hanrahan
双方向反射率分布関数(BRDF)を用いて物体の表面に質感をレンダリングするデータベースの作成
BRDFを用いて物体の表面に光が当たった時の物体の表面の質感と影の部分のレンダリングする手法の提案.
Magic Finger: Always-‐Available Input through Finger InstrumentaUon
Xing-‐Dong Yang Tovi Grossman Daniel Wigdor George Fitzmaurice
SpeckleEye: Gestural InteracUon for Embedded Electronics in Ubiquitous CompuUng
Alex Olwal Andy Bardagjy Jan Zizka Ramesh Raskar
人間の指先につけたLEDとRGBカメラによって物体の表面の質感を検知するデバイスの開発. 22種類の質感の種類を98.9%の精度で検出することがか可能.
レーザーを用いたリアルタイム動作追跡によってジェスチャーを検出するシステムの実装例を示した論文.
SpeckleSense: Fast, Precise, Low-‐cost and Compact MoUon Sensing using Laser Speckle Jan Zizka Alex Olwal Ramesh Raskar
Laser Specklesを用いたモーションセンシング技術を用いて,人間とコンピュータ間のインタラクションを生み出すデバイスの開発.
どんなもの?
見えているもの以上のものを見る。(画像情報のみでナビゲーション。)
他と比べてどこがすごい?
通常のコンピュータビジョンと異なり、画像に写っているもの以上のものを見ることを目指した。GPSやインターネットなしに、画像情報のみからナビゲーションや犯罪発生率推定を行う。
技術のキモ・手法は?
画像に対し、骨子、テクスチャ、色、勾配を用いたアルゴリズムやディープラーニングにより、目的地までの距離と犯罪の発生率を推定し、ナビゲーションを行う。
次に読むべき論文は?
議論・結論は?
視覚的な情報のみを用いて、将来の犯罪や、経済・政治の情勢を予測するなど、この道には様々な可能性があると考えている。
IM2GPS SUN A-ribute Database (個人的に読みたいのはFrame Break)
どうやって有用だと示した?
人間にも画像から推定してもらって、その場合との比較を行い、人間の直感よりも優れていることを示した。
CVPR, 2014
純粋なデータ重視型シーンマッチングを用いて、単一の画像から地球上の地理的な位置を確率分布として推定する。インターネット上の600万枚のGPSタグ付き画像をデータセットとして利用している。
ネット上で人気になる画像は、どうして人気があるのか?人気の予測は可能なのか?という研究。今回読んだ論文の動機となった論文でもある。
WWW, 2014
CVPR, 2008
シーンについて、新しい属性に基づく表現を提案し、それをベースに、初の大規模属性データベースを作成、検証した。これまでの研究より一般的な属性認識を実現している。
CVPR, 2012
グローバルな幾何学的関係に基づき、シーンのカテゴリを認識する。4600以上も引用されている論文。
CVPR, 2006
Scene Comple+on Using Millions of PhotographsJames Hays, Alexei A. Efros.
先行研究と比べてどこがすごい?
どんなもの?
技術や手法のキモはどこ?
どうやって有効と検証した?
議論はある?
次に読むべき論文は?
空いた部分に適切な画像をデータベースの中から探して穴を修復する
入力イメージごとに多様な出力結果を提示し、ユーザに選択させることが可能になった
230万もの元データ、二段階の検索(意味的に類似した画像の検索→穴にマッ
さらにデータ数を増やすと完成画像が良質になる?
元画像、他のアルゴリズムを用いて埋めた画像、本研究のアルゴリズムを用いて埋めた画像を用意し、被験者に本物か合成化質問する
Region Filling and Object Removal by チするパッチを検索) Exemplar-‐Based Image Inpain+ng[2004]
どんなもの?
先行研究と比べてどこがすごい?
どうやって有効だと検証した?
技術や手法のキモはどこ?
議論はある?
次に読むべき論文は?
A Layered Fabric 3D Printer for Soft Interactive Objects
既製の生地の層から柔らかく変形可能な3Dオブジェクトを形成する3Dプリンタの提案。
既製の布のロールから層を切り出し接着し、正確な形を形成することができる。ひとつのプリントに2つの別の生地を使用することも可能。
レーザーカッターを使用して層の2次元輪郭に沿ってカットした後に感熱性接着剤で層を接着する。
2Dの層状にレーザーカットした生地を感熱性接着剤で接着していくことで3D形状にしていく。任意の形を表現でき、柔軟性もある。
Cherenack, K., Zysset, C., Kinkeldei, T., Munzenrieder, ¨N., and Troster, G. Wearable electronics: Woven ¨electronic fibers with sensing and display functions forsmart textiles. Advanced Materials (2010)
接着に時間がかかり印刷時間が比較的遅い。
Paper Generators: Harves/ng Energy from Touching, Rubbing and Sliding
発電したものを貯蓄する仕組みが作れるといい。
Advanced Linear Devices. EH300/301, Epad Energy Harvest-‐ ing Modules, h@p://www.aldinc.com/pdf/EH300.pdf .
Back, M., Cohen, J., Gold, R., Harrison, S., and Minneman, S. Listen reader: an electronically augmented paper-‐based book. In Proc. CHI 2001, ACM Press, (2001), pp. 23–29.
Zhong, J., Zhong, Q., Fan, F., Zhang, Y., Wang, S., Hu, B., Lin Wang, Z., and Zhou, J. Finger typing driven triboelectric nanogenerator and its use for instantaneously lighYng up leds. Nano Energy (2012).
研究内容ユーザーがこする・たたくなどのインタラクションを与えることで電力が発生する紙発電機
材料がPTFEシート(テフロン)、紙、シルバーコートポリエステルや伝導性のある接着剤があればいいので軽く薄く安く作ることができる。
摩擦帯電と電子親和力の違いから電力を作る極めてシンプルな仕組み。紙に限らず様々な物質に伝導性のプリントやペイントを施すと同じ技術を利用することができる。ローカルでもリモートでも動作のするデバイスの実現が可能。 動画:h@ps://www.youtube.com/watch?v=4WaUcXSfPTg
先行研究と比べてどこがすごい?
技術や手法のキモはどこ?
議論はある?
次に読むべき論文は?
どんなもの?
Make It Stand : Balancing Shapes for 3D FabricaYon Romain Prévost1 Emily WhiYng1 Sylvain Lefebvre2 Olga Sorkine-‐Hornung1 1ETH Zurich 2INRIA
☆どんなもの? 3Dプリンタ等で生成した場合に適切に物理的なバランスが取れるようなモデリングを可能にする
☆先行研究と比べて ・実際に制作されたときに支柱や台座を使用しない ・外側の変形に加え、内部を彫るようにモデリングを行う
☆技術のキモ モデルの外観に大きな影響を与えることなく、質量の分布を操作するためのアルゴリズム
☆どうやって有効だと証明した? ・平面に置くもの、上からつるされるものについて実際にモデリングを行い、制作した
☆議論はある? ・製品の転倒防止など、安全性を高める目的での使用も期待できる。
☆次に読むべき論文は? ・FabricaYng arYculated characters from skinned meshes. BÄCHER, M., BICKEL, B., JAMES, D. L., AND PFISTER, H. (2012)
Plas%c Trees: Interac%ve Self-‐Adap%ng Botanical Tree Models Soren Pirk Ondrej Stava Julian Kra4 Michel Abdul Massih Said Boris Neubert
Radomir Mech Bedrich Benes Oliver Deussen
どんなもの?壁などの障害や木同士の重なりを含めた木のモデリング
どうやって有効だと証明した? 従来のモデリングと本研究のモデリングで、壁の有無や木の成長の度合い、木の種類を変えて構成スピードやノード数を算出して検定した。 先行研究と比べてどこがすごい?
複雑なシーンや環境の変化にも瞬時に対応し、動的でインタラクティブな操作が可能
議論はある?・主軸への枝の追加や、すでに曲がった幹に壁を当てた時のモデリングが不自然 ・風の影響を追加したい 技術や手法のキモは?
・L-‐Systemsでモデルの生成と計算、GPUで小枝や葉のかたまりをモデリング ・木の成長と光の当たり方を加味したモデ
次に読むべき論文は? InteracFve modeling of virtual ecosystems
h4p://graphics.uni-‐konstanz.de/publikaFonen/2012/plasFc_trees/website/
リング
どんなもの? ユーザーが直感的に簡単に、自由な大きさ・サイズにカットできるマ
ルチタッチセンサー
先行研究と比べてどこがすごい?
従来の電子部品及び機器はアドホックな方法でその大きさと形状を
カスタマイズするために切断することができなかったが、非常に薄く、柔軟で、切断が可能で、プリントアウト費用が安価な電子機器の発明
技術や手法のキモは? 印刷静電容量マルチタッチセンサを用いて、符号理論から生物学
的システム、コンピューターネットワークにおけるトポロジからインスピレーションを取り、物理的切断、と除去領域に対する回路レイアウトを強固にした
どうやって有効だと検証した? 詳細なシミュレーションと電子感知特性の評価、およびいくつか
のレターサイズの切断可能なセンサシートの概念実証の実装によって検証した。
議論はある? 電極1ピンあたりの設計は、スケーラビリティの問題を提起する伝統的なグリッドよりも多くの配線が必要であり、混合トポロ
ジーとセンサーの模索が必要。
次に読むべき論文は? Flexpad: Highly Flexible Bending Interac%ons for Projected Handheld Displays
どんなもの? オリジナルの風景写真に対し、「秋っぽく」「暖かそうに」「霧がかかったように」「雪景色に」など様々な加工を自動で施す。
先行研究と比べてどこがすごい? 色味やコントラストを自動で加工するものはすでにあるが、「一瞬の風景の振る舞い」をデータベースにし、細か
く大きなスケールで研究した。
技術や手法のキモはどこ? 連続した101 個のWeb カメラを用いることで、風景が気候によってどう変わるのかをデータベースに記録できるようにした。
どのようにして有効性を証明したか? 同じ写真に対し、気候などのパラメータが違う実際の写真と、元の写真から加工されてできた写真を見比べ、ちゃんと言葉によるイメージ通りに加工されていることが確認できた。
議論はある? 元のデータベースとなる実際の写真が101 個のカメラからしか与えられないことと、それに正しいパラメータを与えることがクラウドソーシングで出来ているのか、ということが疑問である。
次に読むべき論文は? BELL, S., UPCHURCH, P., SNAVELY, N., AND BALA, K. 2013. Opensurfaces: A richly annotated catalog of surface appearance. ACM Trans. Graph. (proc. SIGGRAPH) 32, 4.
概要人間へのコーチングテクニックを参考にしてモデルに動作を反復練習させる研究
先行研究との比較の動きを制御するためのさまざまなパラメータを決めるまでに既存の最適化方法では多くの時間やリソースを消費する。それを人間に教えるような表現を用いて教え、
自動で最適化をさせるようにする。
手法のキモ言語から理解した意味を用いて関節角や動きのマッピングを行い、その中で可能性が高いものを抽出、実装する。
有効性いくつかの動作を教えたところ、それぞれ15~30回の指導でモデルはうまくその動作をこなせるようになった。
議論の余地比較的単純な1動作に対しては有効であるが、複雑でタイミングに敏感な動作に対しては不十分な手法である。
次に読むべき論文BORNO, M. A., DE LASA, M., AND HERTZMANN, A.
2013.Trajectory optimization for full-body movements
with complex contacts.
先端技術とメディア表現
Unified Par+cle Physics for Real-‐Time Applica+onsMiles Macklin, Ma<hias Müller, Nu<apong Chentanez, Tae-‐Yong Kim
どんなもの?
これまで個別に提案されてきたゲーム物理の技術を統合的に扱う手法を提案。
先行研究と比べて
接触や衝突を考慮し、剛体やガスなどをすべて表現でき、異なる表現の相互作用も扱えるのは初。
技術や手法のキモ
物体同士が刺さった状態になってしまう問題をSigned Distance Fieldを各パーティ クルに保存することで回避。
どうやって検証したか
剛体などの表現、相互作用をシミュレーションした。
議論はあるか
粒子は単独で正確に大型のフラット面を表すことが出来ず、SDFは不十分な形状のサ ンプルに対し正確ではない。
次に読むべき論文
CORBETT, R. D. 2005. Point–Based Level Sets and Progress To-‐ wards Unorganised Par+cle Based Fluids . PhD thesis, The Uni-‐ versity of Bri+sh Columbia.
Computa+onal Design of Linkage-‐Based Characters Bernhard Thomaszewski, Stelian Coros, Damien Gauge, Vi<orio Megaro
Eitan Grinspun, Markus Gross
どんなもの?
いくつかの関節で繋がっているネットワークを 使って動きを表現できるキャラクタをデザイン する手法。
先行研究と比べて
仮想のキャラクタの物理的な表現を作成す るのは新たな領域。
技術や手法のキモ
始めにすべての関節に動力源が与えられて いるような状態を考えた後に、一つの動力源 の代わりに剛体を繋げ、動力が関節を伝わる ようにした。
どうやって検証したか
アニメーションをインプットし、その動きをす るキャラクタを作成した。
議論はあるか
設計プロセス中に別の部品との交点をチェック していないため、衝突を防ぐ後処理が必要に なってしまっている。
次に読むべき論文
ZHU, L., XU, W., SNYDER, J., LIU, Y., WANG, G.,AND GUO,B. 2012. Mo+on-‐guided mechanical toy modeling. In Proc. Of ACM SIGGRAPH Asia ’12
どんなもの?
先行研究と比べてどこがすごい?
技術や手法のキモはどこ?
どうやって有効だと検証した?
VRとARを使った室内の視覚ナビゲーションのためのUIの実験的評価。
ナビゲーションにVRを組み込んだこと。 議論はある?
現在地の推定度により、自動でVRとARを 切り替えられる方がよい。VRと現実が異なる場合がある。
次に読むべき論文は?
Mo ̈ller , 2012. A mobile indoor naviga8on system interface adapted to vision-‐based localiza8on.
以下の3点を評価実験から検証した。①VRとARの使い分け方。②視覚UIを活用する効果。③ARのための物体の認識法。
hIps://www.youtube.com/watch?v=83sm52l4smw
①インターフェースではARとVRのどちらでナビをするか選択できる。②UIにカメラを持ち上げるように誘導する水準機能をつけている。
どんなもの?
先行研究と比べてどこがすごい?
次に読むべき論文は?
議論はある?
Robust Realtime Physics-based Motion Control for Human Grasping
技術や手法のキモはどこ?
服の表と裏を区別するために,二つ
のレイヤーを使用し,その間に境界
パーティクルを配置する
服を着るアニメーションを作成する方法の提案
Anima8ng Human Dressing
多様なシチュエーションで布の状態に応じて自律的に行うことができる
今後の課題
服を解析し,自分で着方を考えるシステム への発展
人間なら布の状態から考えて動けるが, この方法は一番近いところから着るなど 視覚的な情報からしか判断できない 人間の体の動きを計算する代わりに運動学 を使用しているので,本来あるべきバランス による影響などはない
どんなもの?
先行研究と比べてどこがすごい?
議論
どうやって有効だと証明したか?
次に進むべき論文
技術や手法のキモはどこか?
机の上に並べられたブロックFiconを使い、立体的な映像表現と入力を実現する
ブロックの認識のためにあえて光ファイバー束にねじれを持たせる新手法を採用している
実際にプロトタイプを作り、意図通りの動作ができることを確認した。
Ficon:a 3D Displaying Tangible Device for Tabletop System かな
複雑な形のFiconでは、光の屈折により、見え方が不自然になる。
Ficon: a tangible display device for tabletop system using op8cal fiber
ブロックを上下に貫く光ファイバーでモニタ経由でブロック表面に画像を表示できる。ブロック自体は様々な形があるので、様々な表現が可能。
どんなもの?
先行研究と比べてどこがすごい?
議論
どうやって有効だと証明したか?
次に進むべき論文
技術や手法のキモはどこか? ジェスチャーはデバイスで入力するより効率が低く疲れやすい。
壁サイズのディスプレイのパン・ズーム機能などの複雑なポインティングを実現する為のもの
一次元、二次元、三次元的なアプローチの為の入力装置
12通り(片手か両手か、円の動きか線の動きか、 入力が一次元か二次元か三次元か)の相互作用実験を行い、入力の精密性を比較した。
Move to improve
Mid-‐air Pan-‐and-‐Zoom on Wall-‐sized Displays
パン・ズーム機能のもっとも有効的な実現
Solid Simulation with Oriented Particles
どうやって有効だと検証した?
どんなもの?
先行研究と比べてどこがすごい?
技術や手法のキモはどこ?
議論はある?
次に読むべき論文は?
どんなもの?
シュミレーションの過程を書き出すのは困難。液体中にある固形物の相互作用を統一的な枠組みで表現するのが次の研究目標。
Real-Time Eulerian Water SimulationMatthias Müller-Fischer
Siggraph 2011
3DCGの物体を楕円とそれが連結したものと置き換えることで、物体を自然かつ自由
に変形させる。
視覚的なメッシュをスキニングしている。パーティクルを使っているので衝突判定が可能。等方性でない動きが表現できる。
位置および向きの両方を有するパーティクルを使用すること。
水中での魚と海藻や、バギーのモデルに適用させてオブジェクト間の相互作用を含めたリアルタイムレンダリングを行った。
どうやって有効だと検証した?
どんなもの?
先行研究と比べてどこがすごい?
技術や手法のキモはどこ?
議論はある?
次に読むべき論文は?
どんなもの?
Cliplets: Juxtaposing Still and Dynamic Imagery
プロ用のソフトや技術を使わずに、動画と静止画を組み合わせた作品をつくるツール
直感的な操作で、即時に高品質なものを提供できる単なるGIFアニメとは違う
幾何学的、時間的にレイヤーをまとめ、時空間領域分割を最適化し、レイヤーの境界の画素の色を混ぜ、なじませる技術
Towards moment images: Automaticcinemagraphs.(CVMP 2011)
約1000人に対してデモを行って実際に体験してもらい、その後アンケートを行った。また、アプリをダウンロードしてもらい、オンライン調査も行った。
ある物体が選択した動画範囲のみにしか出現しない場合、静止画との矛盾が生じるため利用できない
Electromagnetic Radiation under Explicit Symmetry Breaking
どこがすごい?
どんなもの?
技術や手法のキモはどこ?
どうやって有効性を検証した?
議論はある?
次に読むべき論文は?
誘電体アンテナの動作原理を証明した論文
通常は、金属などで主に構成されるアンテナを誘電体メインで超小型に作成し、その仕組が明かされている点。
電解の変化に対しての、誘電体内の電子移動、それをMaxwell方程式で計算し、実際にアンテナを作成している点。
計算方法を元に制作したアンテナのSWRが2.0に近いことで証明した。
現在は、誘電体アンテナやパッチアンテナなど動作原理ごとにアンテナができているので、大型アンテナに負けずに小型アンテナ分野もハイブリッドされるだろう。
C. A. Balanis, Antenna Theory, Analysis and Design (JohnWiley & Sons, Hoboken, New Jersey, 1982).
Dhiraj Sinha, and Gehan A. J. Amaratunga
WoBo: Multisensorial travels through Oculus Rift
どこがすごい?
どんなもの?
技術や手法のキモはどこ?
どうやって有効性を検証した?
議論はある?
次に読むべき論文は?
360度の映像や3Dステレオサウンドを利用して、離れた場所の景色や音をリアルタイムで体感し、仮想の旅行経験を提供する技術.
複数のWoBo(World in a Box)を利用することで遠く離れた場所での景色や音をリアルタイムで現実のように体感することができる.
360度の映像を撮るための6つのカメラを固定する装置の設計や6つのカメラの映像の撮影・合成方法、3Dステレオサウンドの録音・再現方法.
22-29歳の男性9名,女性3名の計12名に数分間海の景色の映像を観てもらい、1から7までのLikert scale評価をしてもらった. 映像・音・全体を通しての評価は高く、不自然さに対する評価も良かった.
Oculus Riftとヘッドホンの有線接続が課題. 将来的にはスマートフォンやタブレットを埋め込むような形で無線のヘッドマウントディスプレイをつくりたい.
・Object recognition from local scale-invariant features.(ICCV '99)
Stefano Fibbi, Fabio Sorrentino, Lucio Davide Spano, Riccardo Scateni
CHI 2015, Crossings, Seoul, Korea
Depixelizing Pixel ArtJohannes Kopf, Dani Lischinski
どんなもの?
• 荒い絵を滑らかにする手法
先行研究と比べてどこがすごい?
• 上に比較。従来のVectorizationを使った手法だが特徴が失われにくい
技術や手法のキモはどこ?
• 基本的にはスプライン曲線によるVectorization。同じような特徴を持つ隣接ピクセルの接続のために正方形のpixel cellの形状を変更する。
どうやって有効だと判断した?
次に読むべき論文は?
議論はある?
• 実際に利用してみて従来のものよりそれらしいことを確認
GLASNER, D., BAGON, S., AND IRANI, M.2009. Super- resolution from a single image.In Proc. ICCV, IEEE.
• エミュレータにリアルタイムで適用するためにはまだ最適化が必要
Breathing Life into Shape:Caputuring, Modeling and Animating 3D Human Breathing
Aggeliki Tsoli* Naureen Mahmood Michael J. Black
どんなもの?
先行研究と比べてどこがすごい?
技術や手汰のキモは何?
どうやって有効だと検証した?
議論はある?
次に読むべき論文は?
動画のリンク https://www.youtube.com/watch?v=4CRMgPcgKp4
3Dアニメーションにおける、生きているような呼吸を再現する方法を研究した。
呼吸を再現する研究は他にもあったが、モデルが違うと様々なパラメータを操作して生成しなくてはいけなかった。この研究では、より簡単に様々な もモデルの呼吸を再現することができ、呼吸の仕方についても指定できる ようになっている。
58人の呼吸をモデリング。それをもとにひな形を作成。違うモデルの体系 ポーズにそのひな形の形を変化させていくことで呼吸での動きも再現して いるところ。また、胸式、複式などの呼吸法もパタメータで変化させられる。
呼吸は体系やポーズによってのみに変わるものではなく、個人差や、内部の構造が影響してくる。そこにどう踏み込むか。また、今回は自然な呼吸のみだが、せきや息を吹きかけるときなどの動きについても再現していきたい
ひな形を変形させて生成された、呼吸の動きと、実際に人が呼吸した際の違いを実際に比べてみることで検証した。
「SCAPE: Shape Completion and Animation of People」、今回の研究で使っているひな形のモデルがありその体形とポーズと変形させ合成する ことで任意の体系とポーズを取らせる研究
FTMA15
Digital Micrography
どんなもの?
先行文献と比べてどこがすごい?
技術や手法のキモはどこ?
どうやって有効だと検証した?
議論はある?
次に読むべき論文は?
文章で埋め尽くされた絵を生成するアルゴリズム。従来は熟練のデザイナーが時間をかけて作っていた。美しくバランス良くしかも文字として読みやすい配置を計算する。
元画像と内部に埋め尽くしたい文章さえあればものの数分でマイクログラフィを生成できる。読むのに無理のない曲線に沿わせる。
輪郭から図形内部の点のベクトルを計算して繋ぎ曲線を生成。
様々な形状の絵や複数のフォントでアルゴリズムを試してマイクログラフィを生成して綺麗かどうかを検証した。
通常の筆跡には対応していない。あくまでデジタルなフォントで可能になっているだけ。
JOBARD, B., AND LEFER, W. 1997. Crea<ng evenly-‐spaced streamlines of arbitrary density.
Stable Spaces for Real-‐6me Clothing
どんなものか
先行研究と比べてすごいところ
技術や手法について
有効だと検証した方法
議論
次に読むべき論文
衣服の形状を学習し、衣服の何千もの詳細なアニメーションをリアルタイムでシミュレートする。
細部を表現するには高解像度メッシュ、複雑で時間のかかる方式が必要であるが、低次元のシミュレートの利点と組み合わせることでリアルタイムのシミュレートを可能にしている。
複雑なモデルをシンプルな線形モデルとして表現し、データだけから物理的相互作用の現象を学習させていく。
歩く、走る、ジャンプなどの基本的な動作をさせてその時の衣服の動きを検証した。
データに基づいたものであるため、一般的でない場合に対応できない。例えば風のように外部からの力や、重力の変化、体が大きく歪んだ場合には対応できない。
Op<mizing cubature for efficient integra<on of subspace deforma<ons.
Concept Tahoe: Microphone Midi Control■どんなもの?
■先行研究と比べてどこがすごい?
■技術や手法のキモはどこ?
■どうやって有効だと検証した?
■議論はある?
■次に進むべき論文は?
ボタンとフェーダーと位置・加速度センサーを搭載したワイヤレスマイク
従来のフットペダルでエフェクトを付ける方法では,①観客の注目が脚にいってしまう.②正確なコントロールが難しい.③視覚的情報と聴覚的情報が一致しない.いう問題があった
実際に使用してもらって使い心地をきいた
この論文では記されていませんでした
E. Miranda and M. Wanderley. New DigitalMusical Instruments: Control And InteractionBeyond the Keyboard. A-R EDITIONS, INC.,Middleton, WI, 2004.
脚で操作していたエフェクターをマイクだけで操作できるようにした
https://www.youtube.com/watch?v=C1WY3jkw4js
An Emotion Model For Music Using Brain Waves Rafael Cabredo, Roberto Lagaspi, Paul Salvador Inventado, Masayuki Numap
どんなもの? どうやって有効だと検証した?
技術や手法のキモはどこ?
先行研究と比べてどこがすごい?
次に読むべき論文は?
議論はある?
音楽を聴いた被験者の反応を脳波計を用いて計測する。音楽を通して人間の感情がどう変化するか調べる。
先行研究では、曲に対する感情のコメント・注釈付けが限られてしまう一方で、本研究では連続的な観察結果が得られた。
EEGを用いることによって連続的な観察結
果を得て、一曲全ての長さでの観察や、曲の一部分の長さでの観察を可能にした。
被験者が音楽を聴いた反応を手動で回答したデータと比較する。
今回の実験では被験者が一名だったので、より多くの被験者に試すことで、感情モデルを一般化できるかもしれない。
音楽から感情タグを抽出する論文
Spa$ally Augmentes Reality Ramesh Raskar, Greg Welch, Kok-‐Lim Low, Henry Fuchs
どんなもの?
Spa%ally Augmented Realityという新しい概念とその可能性を紹介した。
先行研究と比べて何がすごいの?
HMDを装着しなくても、現実の空間をディスプレイにして、広い視野でhigh-‐resolu%onを施されたvirtual objects を楽しめる。
技法や手法のキモはどこ?
calibrated projector-‐camera を使い、3Dの表面の形を抽出した
どうやって有効だと検証した?
たくさんの応用事例が考えられそう、、みたいなことがかいてあったけれど、そういったことにあんまり触れてなかった気がする。
議論はある?
・ディスプレイとなる表面の性質によってうまくレンダリングされない。・周りの光にも影響を受けてしまう。 ・1つのプロジェクターで正面から写す場合、人の陰が邪魔。でもこれは
複数のプロジェクターを使えば克服できそう。・エラーが目立つ
次に読むべき論文は?
Milgram の A taxonomy of mixed reality visual displays
Dynamic Shader Lamps : Pain$ng on Movable Objects Deepak Bandyopadhyay,Ramesh Raskar, Henry Fuchs
どんなもの?
3次元の物体にリアルタイムでお絵描きできる技術の実装
先行研究と比べて何がすごいの?
・お絵描きする対象がより動的で、立体に直接お絵かきできる。リアルな物体とモデルの距離が近い ・プロジェクトされたパレットを使ってお絵描きするという点はCavepain%ngに似ている。しかしCavepain%ngが物理的なものがない仮想空間にお絵描きすることに大してこの論文での実装はリアルオブジェクトにお絵かきできる。
技法や手法のキモはどこ?
・2つのプロジェクターを向かい合わせて設置し、物体と筆にtrackerを搭載した ・op%cal tracker とmagne%c trackerをつかった
・計測の段階でfiducialを使う代わりに3Dのposi%onsをプロジェクションした2Dのpointに一致させ、tracker stylusを使った。
どうやって有効だと検証した?
立方体と木でできた鳥の家の2つを使って試した
議論はある?
・プロジェクターとでぃすぷれいの間に1フレームの遅れがある ・複数のプロジェクターをつかったときに動的なものをリアルタイムに処理するのが難しい
・陰できちゃう問題
次に読むべき論文は?
この論文中にでてきたCavePain%ngが気になったので次読みます
Network Coding: An Instant Primer Chris6na Fragouli, Jean-‐Yves Le Boudec, Jorg Widmer
どんなものか Network Codingと呼ばれる技術について、完結な教科書のように解説をした論文である。Network Codingとは、より効率的にパケット通信を行う通信方法であ
る。
従来のルーター等の無線機器は、本来送られてきた複数のパケットをそのまま送信するだけのものだったが、Network Codingの技術によって、送られてきた複数の
異なるパケットを変換して送信し、効率的な通信方法を実現している。
先行研究と比べてどこがすごい?
技術や手法のキモ
どうやって有効だと証した?
これからの課題
次に読む論文は?
この論文は調査論文の類なので、実験は行っていないが、他の論文を参照して有効性を検証している。例えば、[12. C. Gkantsidis and P. Rodriguez. ]ではP2P通
信にこの技術を応用し、ダウンロード時間の短縮を図っている。
送られてきた複数パケットを1つにまとめるエンコード技術・および元のパケットを復元するデコード技術がキモである
パケットの復元の際に少しながら遅延が発生してしまうこと。
[12. C. Gkantsidis and P. Rodriguez. ]
ForecasBng Events using an Augmented Hidden CondiBonal Random Field
Xinyu Wei, Patrick Lucey, Stuart Morgan, Sridha Sridharan 2015
どんなものか ・HCRF(隠れ層のある条件付確率場)を拡張したものを使って次のイベントを予測する
・現時点での状況が予測への強い手がかりになる。・その情報を直接与えるので、従来の方法よりも精度の高い予測が出来る
先行研究と比べてどこがすごい?
技術や手法のキモ
どうやって有効だと証した?
これからの課題
次に読む論文は?
・サッカーの試合で次のボールの保有者が誰になるかの予測を9試合分検証した。従来の方法と正確性を比較した。2秒後の予測は今回の方法が一番すぐれ
ていることが分かった。
・チーム/選手の固有モデルと一般的な動作モデルを最適に組み合わせることで予測能力を高める・他のモデルトレーニングメソッドの調査
・より大きなデータセットを試してみる(例えば、あるシーズンでの成績など)
・ A Methodological Approach to User EvaluaBon and Assessment of a Virtual Environment Hangout
・過去の状態の情報も与え、その時点での様々な状況の情報(X)を直接与えるとこ ・Xは隠れ変数と対応していない
どんなものか?
先行研究と比べてどこがすごいか?
技術や手法のキモはどこか? 次に読むべき論文は?
議論はあるか?
どうやって有効だと検証したか?
たくさんの3Dデータの集合から、その場所が どこから見たものなのか推測する
沢山の3Dデータ量を使用している。拡張性がある。
2Dと3Dをマッチングさせているところ。RANSAC(主にロバスト推定に使用される)の使用するため、統計上の3Dモデルの存在情報を使用。
3D情報のインプット。SIFT(特徴点の検出と特徴量の記述を行うアルゴリズム)の使用。
もっとよりよいやり方でデータベースを圧縮し、コンパクトな情報にすること。
Irschara et al.
どんなものか弾性プラスチック構成するモデルを利用した新しい雪のシミュレーションメゾットどうやって有効だと検証したかさまざまな状況や雪の状態(湿り気)でシミュレーションを行った先行研究と比べてすごいところ従来のものに多かった蓄積データのモデル化によるものは効率的で正確だが動態の扱いが疎かであったため改善した
議論はあるかたびたびエイリアシングがおこることが難点ゆくゆくは雪だけでなく砂にも応用できるようにしたい技術・手法のキモMPM(中での衝突や位相的な変化を考慮した半陰材料ポイント方法)と実際の雪のふるまいを再現する弾性プラスチック構成モデル次に読むべき論文A Finite Element Method for Anima3ng Large Viscoplas3c Flow