折り紙作業支援システムの初期カメラ位置姿勢推定...
2
大学 学 学 り 援システム カメラ位 プログラム 075743J 太一 員 : 1 はじめに したこ い 大 がある を う き， かれたマニュアル を し がら うこ がほ ん ある．そ ため， に り替えが に り，そ に するマニュ アル を 違えたり， り替え 体が に をかけるこ ある．そ よう 題を するため に AR 々 援が 案されており， プ ラント 援 医 における 援 [1] えられている． ， り に 題を し， り 援 システムを する． り 確 エッジが しており に２ され ているためシステム が い すい．また， まれているため， り プロ セスが 確に する り システムに している． 2 Augmented Reality：AR[1] 拡 感（Augmented Reality：AR） ，ユーザが ている シーンにコンピュータグラフィクス（CG） によって かれた 体を するこ ，ユーザが いる に じた を 感 に する ある．VR 違い， る シーンに 体が されるた め を 確に させる が に ってくる． AR り扱われている 体 を 以 にま める． 2.1 幾何学的整合性問題 学 ， 位 ずれ い を するこ を意 している．こ 題 におけるカメラ 位 ・ を するこ に より きる．カメラ 位 ・ を する につい て これま に に多く が されているが，大 きく する ，センサベース ジョンベース に けられる．センサベース カメラそ にセ ンサを し， カメラ から位 を する ある． ジョンベース ， 影された に っている を してカメラ位 を める あり， に PTAM[2] ARtoolkit[1] が ある． 2.2 光学的整合性問題 学 題 ， 体 体 陰影 をいかに一 させるか いう 題 ある．こ 題 ， 体 を するこ が あるため， させる 体が れ ある に える が いこ に る．陰影を一 させる し て ，カメラ を 影する ， に映り んだ を する がある． 2.3 時間的整合性問題 題 ， を する にカメラ位 に がかかりすぎてしまう 延 ずれが きてしまう いう 題 ある．つま り，AR こ を ちつつ，いかに 学 学 を するかが 題 っ ている． 3 折り紙画像の認識アルゴリズムの比較 り をマーカ して扱うため， り が ある．そこ ， について を った． に 以 が げられる． （１）映 変 （２） ， ，テクスチャ から （１） にあらかじめ 意しておいた を る がある． HMD を いたシステムを しており が に変 するこ が される，そ た め，こ き い．よって， に（２） を いて り を うこ に る．そこ ，HSV [3]，エッジ ，SURF [4] それぞれを い て り を い 較した． １ (b) １ (a) を HSV を い を するこ によっ て り を った ある． ２ Canny [5] を いて り エッジを した ある． ３ (a) surf を した あり，そ を いて り を っている が ３ (b) あ る． り に いう 郭 エッジが っきり している いう があるため，HSV を いた
Transcript of 折り紙作業支援システムの初期カメラ位置姿勢推定...
琉球大学主催 工学部情報工学科 卒業研究発表会
折り紙作業支援システムの初期カメラ位置姿勢推定プログラムの試作
075743J 徳盛太一朗 指導教員 : 遠藤聡志
1 はじめに
経験したことのない作業や難解で膨大な作業工程がある
作業を行うとき，作業者は作業手順の書かれたマニュアル
を参照しながら行うことがほとんどである．そのため，作業
中に動作の切り替えが必要になり，その際に参照するマニュ
アルの箇所を間違えたり，動作の切り替え自体が作業者に
負担をかけることもある．そのような問題を解消するため
に ARでの様々な作業支援が提案されており，近年ではプラントの保守作業支援や医療分野における作業支援 [1]も考えられている．本研究では，折り紙に問題を設定し，折り
紙作業支援の試作システムを構築する．折り紙は単色で明
確なエッジが存在しており基本的に２次元平面で構成され
ているためシステムの構築が行いやすい．また，本研究で
は作業管理の自動化も含まれているため，折り段階のプロ
セスが正確に終了する折り紙は試作システムに適している．
2 Augmented Reality：AR[1]
拡張現実感（Augmented Reality：AR）とは，ユーザが見ている現実のシーンにコンピュータグラフィクス（CG）によって描かれた仮想物体を重畳表示することで，ユーザが
いる場所に応じた情報を直感的に提示する手法である．VRとは違い，背景となる実シーンに仮想物体が融合されるた
め現実と仮想を正確に合成させる技術が必要になってくる．
ARで取り扱われている現実環境と仮想物体の間の整合性を以下にまとめる．
2.1 幾何学的整合性問題
幾何学的整合性とは，現実環境と仮想環境の位置ずれの
ない合成画像を生成することを意味している．この問題は
世界座標系におけるカメラの位置・姿勢を推定することに
より解決できる．カメラの位置・姿勢を推定する手法につい
てはこれまでにも非常に多くの研究がなされているが，大
きく分類すると，センサベースの手法とビジョンベースの
手法に分けられる．センサベースとはカメラそのものにセ
ンサを搭載し，直接カメラの動作から位置姿勢を計測する
手法である．ビジョンベースとは，撮影された画像の中に
写っている画像特徴を利用してカメラ位置姿勢を求める手
法であり，代表的なものにPTAM[2]やARtoolkit[1]などがある．
2.2 光学的整合性問題
光学的整合性問題とは，実物体と仮想物体の陰影や画質
をいかに一致させるかという問題である．この問題は，仮
想物体の写実性を向上することが目的であるため，重畳表
示させる仮想物体が折れ線などである本研究では基本的に
考える必要がないことになる．陰影を一致させる手法とし
ては，カメラで直接光源を撮影する手法や，鏡面球に映り
込んだ画像を利用するものなどがある．
2.3 時間的整合性問題
時間的整合性問題とは，現実環境と仮想環境を合成する
際にカメラ位置姿勢推定などに時間がかかりすぎてしまう
と遅延や同期ずれが起きてしまうという問題である．つま
り，ARではこの時間的整合性を保ちつつ，いかに幾何学的整合性や光学的整合性を実時間で解決するかが課題となっ
ている．
3 折り紙画像の認識アルゴリズムの比較
本研究では折り紙自身をマーカとして扱うため，折り紙
の形状認識が必要不可欠である．そこで，既存の認識技術
について実験を行った．主な既存認識技術には以下の手法
が挙げられる．
（１）映像の時間的変化の利用
（２）形状，色，テクスチャ等からの認識
（１）の手法にあらかじめ用意しておいた背景との差分をと
る手法がある．本研究では HMDを用いたシステムを予定しており背景が頻繁に変化することが予想される，そのた
め，この手法は利用できない．よって，主に（２）の手法
を用いて折り紙の認識を行うことになる．そこで，HSV表色系 [3]，エッジ抽出，SURF特徴量 [4]のそれぞれを用いて折り紙画像の認識実験を行い比較した．図１ (b)は図１(a)を HSV表色系を用い色相と彩度を指定することによって折り紙部分の抽出を行ったものである．図２は Canny法[5]を用いて折り紙のエッジを検出したものである．図３ (a)は入力画像の surf特徴量を示したものであり，その特徴量を用いて折り紙部分の認識を行っているのが図３ (b)である．折り紙には単色という特徴や輪郭のエッジがはっきり
しているという特徴があるため，HSV表色系を用いた手法
琉球大学主催 工学部情報工学科 卒業研究発表会
とエッジを用いた手法では折り紙部分の認識が行いやすい．
SURFを用いた手法では，折り紙の輝度変化が乏しいため認識が難しいという結果になった．また，それぞれの計算
時間についても比較した．Canny法を用いたエッジ検出とHSV表色系を用いた手法では 1フレームあたりの平均処理時間がそれぞれ 0.006～0.009(s)，0.029～0.031(s)とリアルタイム処理に問題のない計算時間で処理することができた．
SURFの計算時間は，0.116～0.145(s)とアプリケーションの動作に支障をきたす可能性がある．以上のことから HSV表色系やエッジ検出による折り紙画像の認識は有効なアプ
ローチであると考えられる．
（a）キャプチャー画像 （b）色抽出図１：HSV表色系による認識
（a）入力画像 （b）エッジ抽出図２：Canny法によるエッジ抽出
（a）入力画像の SURF特徴 （b）キャプチャ画像図３：SURFによる認識
4 試作システムのアルゴリズム
本研究は共同研究のため，本論文では図４に示すように
初期フレームのカメラ位置姿勢を算出するプログラムの試
作を担当する．エッジベースの物体追跡は，前フレームの
カメラ位置姿勢を用いるため，初期フレームのカメラ位置
姿勢を必要とする．その初期カメラ位置姿勢を求めるアル
ゴリズムとして、文献 [6]のカメラ位置姿勢初期化の手法を用いる．この手法は，カメラの傾斜角と画像上のエッジと
3Dモデルのエッジの対応関係が３本以上分かれば，カメラの位置姿勢が算出できるものである．この手法では傾斜角
センサが必要になるが，本研究では ARtoolkitのマーカを置き，そこからカメラの姿勢を求めることでセンサの代わ
りとする．
STARTマーカよりカメラ姿勢算出位置合わせの評価エッジベース位置合わせ失敗 成功 カメラ位置姿勢入力 カメラ位置姿勢入力算出 算出3Dモデル重畳表示 徳盛担当伊佐担当エッジの2D3D対応検出カメラ位置算出図４：フローチャート
5 まとめと今後の課題今回は，折り紙作業支援システムに必要不可欠な折り紙
の状態認識に適した技術について調査し実験した．今後は，試作システムの初期フレームカメラ位置姿勢算出プログラムの実装を行い．共同研究者の伊佐のエッジベース追跡プログラムと組み合わせてシステムの完成を図る．
参考文献[1] “特集 拡張現実感’(AR)’，情報処理，Vol.51,No.4,2010
[2] Georg Klein and David Murray，“Parallel Tracking andMapping for Small AR Workspaces”，In Proc，Interna-tional Symposium on Mixed and Augmented Reality IS-MAR,2007
[3] SMITH A. R.“Color Gamut Transform Pairs ”，ComputerGraphics，Vol12,pp.20-27,1978.
[4] Herbert Bay，Andreas Ess，Tinne Tuytelaars，andLue Van Gool，“SURF：speeded up robust features”，Computer Vision and Image Understanding(CVIU)，Vol.110,No.3,pp.346-359,2008.
[5] J.Canny：“A Computational Approach to Edge Detec-tion”，IEEE Transactions on Pattern Analysis and Ma-chine Intelligence，Vol.8,No.6,Nov.1986.
[6] 小林，佐藤，内山，山本，“傾斜角拘束を用いたエッジベース位置合わせの高速初期化手法”，日本 VR 学会論文誌，Vol.13,No2,pp.183-194,2008.
