平成16年度

筑波大学第三学群情報学類

卒業研究論文

題目レーザーポインタを利用した

大画面向けポインティングインタフェース

主専攻 情報科学主専攻

著者 久松孝臣

指導教員 田中二郎　志築文太郎

要　　旨

近年、プロジェクタなどの大画面をコンピュータと共に利用する場面が多くなっている。現在ある大画面環境、さらに将来予想される高解像度大画面環境を想定し、これらの大画面環境での新しい入力方法として、レーザーポインタを用いたインタフェースを提案する。本論文ではレーザーポインタにより画面をポインティングすることで、コンピュータを操作する「リモートポインタ」を提案し、「リモートポインタ」の設計とプロトタイプの実装、および、このシステムの応用例について述べる。「リモートポインタ」の試作では、レーザーポインタ、USBカメラ、プロジェクタを用いて実装を行った。

目次

第 1章 はじめに 11.1 本研究の目的と本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

第 2章 背景と問題点 22.1 大画面の普及と現状 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2.1.1 大画面の普及 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2.1.2 大画面利用の現状 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2.2 大画面のユーザインタフェース . . . . . . . . . . . . . . . . . . . . . . . . . 3

2.2.1 ポインティングデバイスの現状 . . . . . . . . . . . . . . . . . . . . . 4

2.2.2 ポインティングデバイスの分類と分析 . . . . . . . . . . . . . . . . . 5

2.3 大画面とポインティングデバイスの問題点 . . . . . . . . . . . . . . . . . . . 7

2.3.1 ポインティングデバイスの拡張と 10フィート UI . . . . . . . . . . . . 8

第 3章 リモートポインタの提案 93.1 直接操作と遠隔操作を両立するリモートポインタ . . . . . . . . . . . . . . . 9

3.1.1 ポインティングデバイスとしてのレーザポインタ . . . . . . . . . . . 10

3.1.2 視覚的なフィードバック . . . . . . . . . . . . . . . . . . . . . . . . . 11

第 4章 実装と試作 124.1 リモートポインタの設計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

4.1.1 入力部 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

4.1.2 処理部 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

4.1.3 出力部 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

4.2 プロトタイプの実装 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.2.1 ハードウェアの構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.2.2 ソフトウェアの構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

4.2.3 ソフトウェアの処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

第 5章 評価と議論 205.1 試用による評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

5.1.1 試用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

5.2 議論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

5.2.1 リモートポインタの分解能 . . . . . . . . . . . . . . . . . . . . . . . . 21

i

5.2.2 キャリブレーション . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

5.2.3 クリック操作と文字入力 . . . . . . . . . . . . . . . . . . . . . . . . . 23

5.2.4 手ブレの補正 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

第 6章 リモートポインタの応用例 256.1 アプリケーション例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

第 7章 関連研究 28

第 8章 おわりに 29

謝辞 30

参考文献 30

ii

図目次

2.1 スマートボードを装着したプラズマディスプレイ . . . . . . . . . . . . . . . 3

2.2 プロジェクタを用いた発表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2.3 スマートボードを用いた会議 . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.4 マウス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.5 トラックパッド . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.6 ポインティングスティック . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.7 タブレット PCとスタイラスペン . . . . . . . . . . . . . . . . . . . . . . . . 5

2.8 スマートボードとペン . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.9 スマートボードとペンの拡大図 . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.10 スマートボードと指 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.11 ペンタブレット . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.12 テレビとリモコン . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

3.1 リモートポインタの利用イメージ . . . . . . . . . . . . . . . . . . . . . . . . 9

3.2 2画面間でのコピーアンドペースト . . . . . . . . . . . . . . . . . . . . . . . 10

3.3 マウスカーソル変形の例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

4.1 システムのイメージ図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4.2 USBカメラで撮影した画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4.3 組み合わせイベントの例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

4.4 リモートポインタプロトタイプの利用風景 . . . . . . . . . . . . . . . . . . . 15

4.5 ポイント地点の拡大図 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.6 ソフトウェアの構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

4.7 既定値での画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

4.8 設定値での画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

4.9 静止画のキャプチャ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

4.10 レーザースポットの検出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

5.1 右下付近でのカーソル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

5.2 左下付近でのカーソル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

6.1 描画アプリケーション . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

6.2 プレゼンテーションツール . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

iii

6.3 オーディオインタフェース . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

iv

表目次

2.1 ポインティングデバイスの分類 . . . . . . . . . . . . . . . . . . . . . . . . . 6

2.2 ポインティングデバイスの遠隔操作性 . . . . . . . . . . . . . . . . . . . . . . 7

4.1 使用したハードウェアとスペック一覧 . . . . . . . . . . . . . . . . . . . . . . 16

4.2 各項目の設定値 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

4.3 レーザースポット検出のための閾値 . . . . . . . . . . . . . . . . . . . . . . . 17

v

第1章 はじめに

近年、大画面のディスプレイをさまざまなところで見かけるようになってきている。たとえば、プラズマディスプレイや、プロジェクタなどである。ひと部屋にこれらの大画面が複数台存在するような環境も整いつつある。また将来的に、画面の大型化、高解像度化によって壁一面がディスプレイとなるような状況も考えられる。一方、コンピュータの入力インタフェースとしてはマウスやペンなどがあり、大画面を操

作する際にもこれらの入力インタフェースが使われている。しかし、将来大画面化がさらに進むと予想した場合、これらの入力インタフェースでは問題がある。それはたとえば、ユーザは画面ないしコンピュータの前にいなければ操作できないといった制約である。近年ではこの問題を解決するために「10フィートUI」と呼ばれるユーザインタフェースが提唱されている。これは、リモコンを使って家電のように PCを操作しようというものである。しかし、リモコンによる操作は、ボタン操作であり、メニュー選択のような操作はできるが、画面上の任意の場所を指定して操作することは難しい。そこで、大画面環境でのポインティングが可能なユーザインタフェースが必要であると考

え、レーザーポインタとデジタルビデオカメラを用いた、大画面向けのポインティングインタフェースを提案する。

1.1 本研究の目的と本論文の構成

本研究では、レーザーポインタを利用し、離れたところから大画面環境でコンピュータを操作する大画面向けポインティングインタフェース、「リモートポインタ」を提案する。リモートポインタにより、大画面環境における快適なコンピュータ操作を可能にする。本論文の構成は以下のとおりである。第 2章では本研究の背景を述べ問題点を明らかにす

る。第 3章では大画面向けポインティングインタフェース「リモートポインタ」を提案し、第4章でその実装について述べる。第 5章では、プロトタイプの実装により明らかになった問題と、その解決策、さらに今後の課題などについて議論する。第 6章では、リモートポインタの応用例を挙げ、リモートポインタの有用性について考察する。第 7章では関連研究を紹介し第 8章でまとめる。

1

第2章 背景と問題点

2.1 大画面の普及と現状

近年、プロジェクタや、プラズマディスプレイといった大画面が普及してきている。それに伴い、これらの大画面環境でコンピュータを利用する機会も増えてきた。しかし、これらのコンピュータを操作するためのユーザインタフェースは、マウスなど従来のポインティングデバイスをそのまま利用しているのが現状である。

2.1.1 大画面の普及

大画面は、生活のさまざまな場面に浸透してきた。研究室やオフィスにはプラズマディスプレイ（図 2.1）、会議室や講堂、学校の教室にはプロジェクタとスクリーン、家庭には 50

インチを越えるテレビなどがある。また、アルミ製のフレームを用いて囲い込んだ空間を屋内に作り、その中にテーブル、照明などの設備のほか、プロジェクタやスクリーン、電子ホワイトボードといった機器が設置されたプロトタイプ製品1も登場している。この中では、複数台のプロジェクタによって壁に画面が投影されており、持ち込んだノートPCなどの画面を表示できる。これら大画面の表示機器は、技術の進歩によってより大型で高解像度のものが作られるよ

うになった。またこれらの機器は、価格の低下に伴って次第に普及し、オフィスに複数台のプラズマディスプレイがあるといった光景も珍しいものではない。将来この大画面化、高解像度化の傾向がさらに進めば、壁全面が表示機器で構成された大画面といったものが登場することも予想できる。このような環境は、現在でも擬似的に構成することが可能である。それはたとえば、プロジェクタを複数台使い、壁をスクリーンとして複数の画面を表示するといった方法で実現できる。将来、このような超大画面環境とでも言うべき環境が実現したとしたら、この大画面を利

用したコンピューティングのあり方はどのようなものになるだろうか。

2.1.2 大画面利用の現状

現在、プロジェクタは、図 2.2に見られるように、講演や講義を含めたプレゼンテーション用としてさかんに用いられている。そこで表示されるのは主にプレゼンテーション資料であ

1内田洋行株式会社 smartPao [1]　アルミ製フレームは空間を構成する骨格となるだけでなく、電源や LANケーブルなどの配線類を中に収納する仕組みになっている。

2

図 2.1:スマートボードを装着したプラズマディスプレイ

図 2.2:プロジェクタを用いた発表

り、デモンストレーション映像などを表示することもある。smartPao[1]では、表示用の装置として複数のプロジェクタが利用されている。家庭では、テレビやビデオ観賞用として使われることもある。また、スマートボード2[2] のような電子ホワイトボードは図 2.1 のようにオフィスや研究

室などで利用されている。これは、プラズマディスプレイなどの表示装置と、タッチパネル式の入力装置が組み合わされた構造の、表示と入力が一体化した装置である。入力は、指や専用のペンを使って行う。このような機器は、図 2.3のように、PCの表示用や電子的なホワイトボードとして、比較的小規模なグループでのミーティングでよく利用されている。

50インチを超える、プラズマテレビや液晶テレビなどの大型テレビは、家庭や、公共の待合室などに設置されることが多い。テレビという性質から、これらが表示するものは、テレビ放送やビデオ、DVDなどの映像コンテンツが主なものである。最近では、衛星デジタル放送や、地上波デジタル放送が始まったことなどから、番組に関する補助的な情報を確認したり、番組表を見たりする、といったことが、テレビでできるようになった。これは、映像に付随して送られてくる、メタデータ3を利用して提供されるサービスである。

2.2 大画面のユーザインタフェース

前節では大画面の普及と利用の現状について述べたが、この節では大画面環境でのユーザインタフェースについて述べる。現在、コンピュータのユーザインタフェースは、グラフィカルユーザインタフェース（GUI）と呼ばれるグラフィックを利用したインタフェースが広く使われている。以下では、GUIで重要な役割を果たすポインティングデバイスに焦点を当てて述べる。

2日本スマートテクノロジーズ株式会社 SMART Board3メタデータ：番組・コンテンツ本体に付随して送られてくる、番組・コンテンツに関する情報を記述したデー

タ。情報についての情報。

3

図 2.3:スマートボードを用いた会議

2.2.1 ポインティングデバイスの現状

現在、デスクトップコンピュータや、ノートブックPCを使う際に、もっとも広く使われているポインティングデバイスは、マウス（図 2.4）である。また、ノート PCのポインティングデバイスとして、トラックパッド（図 2.5）や、ポインティングスティック（図 2.6）がある。PDAや、タブレット PCなどの機器用としては、ペン（スタイラス・ペン）（図 2.7）が使われている。電子ホワイトボードのような装置では、図 2.10のように指で触れたり、専用のホワイトボード用ペン（図 2.8 図 2.9）を用いることで操作を行う。最近では、プロジェクターによるプレゼンテーションにおいて、パソコンをワイヤレスで

操作しながら、レーザーポインターとしても利用できる製品4も発売されている。これは、プレゼンテーション用スライドの、「進む」、「戻る」の操作、クリック操作などは、ボタンを使って行い、マウスカーソルの移動操作はポインティングスティック状の装置を用いて行う製品である。このような製品が登場した背景には、近年、プレゼンテーションソフトウェア5が広く利用されるようになったことがある。トラックボールやペンタブレット（図 2.11）などは、デザインや絵画、CADなどに用いら

れている。このように、現在ではさまざまなタイプのポインティングデバイスが、それぞれの場面に応

じて利用されている。これらのポインティングデバイスは机上で使われることが多いが、プレゼンテーションや会議などにおいて、大画面とともに利用される場合でも、これらのデバイスがそのまま用いられているのが現状である。また、ポインティングデバイスという範疇からは外れるが、テレビとその操作デバイスであ

4コクヨ株式会社プレゼンテーションマウス [3] など5Microsoft PowerPointや Adobe Persuasionなど

4

るリモコンについても触れておきたい。2.1.2節で、テレビにおいてメタデータを利用した周辺情報を表示するサービスについて述べたが、これらの画面を操作する際には、テレビ付属のリモコンを用いる。図 2.12は、周辺情報を表示するテレビとそのリモコンを示したものであるが、操作には多くのボタンを必要とし、非常に煩雑な操作を強いられるのが実情である。

図 2.4:マウス 図 2.5:トラックパッド図 2.6:ポインティングスティック

図 2.7: タブレット PCとスタイラスペン

図 2.8:スマートボードとペン

図 2.9:スマートボードとペンの拡大図

図 2.10:スマートボードと指 図 2.11:ペンタブレット 図 2.12:テレビとリモコン

2.2.2 ポインティングデバイスの分類と分析

これらのポインティングデバイスは、次の二種類に分けることができる。絶対位置を指定することでポインティングする方法と、現在表示されているカーソル位置から相対指定する方法である。前者を絶対位置指定のポインティングデバイス、後者を相対位置指定のポインティングデバイスと呼ぶことにする。

5

絶対位置指定のポインティングデバイスとしては、PDAやタブレット PCで使われるスタイラスペン（図 2.7）や、電子ホワイトボードでのペン（図 2.9）・指（図 2.10）、ペンタブレット（図 2.11）などが挙げられる。一方、相対位置指定のポインティングデバイスとしては、マウス（図 2.4）、トラックボー

ル、トラックパッド（図 2.5）、ポインティングスティック（図 2.6）、ペンタブレット（図 2.11

）などが挙げられる。これらの分類を表 2.1にまとめた。ペンタブレットは、設定によって絶対位置指定と相対位

置指定を切り替えることができるため両方に含めた。

表 2.1:ポインティングデバイスの分類

絶対位置指定 相対位置指定スタイラスペン マウス

スマートボードペン・指 トラックボールペンタブレット ポインティングスティック

トラックパッドペンタブレット

また、大画面環境でのユーザインタフェースとしては、画面からどの程度はなれて操作することができるか、という点も重要である。この点を考慮してそれぞれのポインティングインタフェースについて分析した。まず、絶対位置指定のポインティングデバイスに分類した、スタイラスペンや電子ホワイ

トボードのペンなどは、画面上を直接触れることによってポインティングを行うため、当然ながら画面から離れて操作することはできない。このことは、比較的小さな画面で利用する際には問題とはならないが、2.1.1節で述べた壁面ディスプレイのような非常に大きな画面で利用するには、手の届く範囲には限度があり、壁の端から端までペンでポインティングするのはユーザにとって大変な負担となるので、大きな問題となる。一方、マウスをはじめとした、相対位置指定のポインティングデバイスは、PCの近くにい

る必要があるものの、画面からは離れて操作することができる。ワイヤレスマウスを用いれば、PCからも離れて操作することができる。しかし、最も一般的に使用される電波式のワイヤレスマウスは、電波の届く範囲が 1～2m程度であり、マウスのコードが約 1m程度あることを考えると、コード式マウスとワイヤレスマウスでは、利用できる範囲に大きな差はないと考えられる。また、これら相対位置指定のポインティングデバイスを用いるためには、ある程度の広さのある平面の上に置いて操作する必要がある。これは、テーブルの上など利用できる場所が限定されてしまうという欠点となる。これらのポインティングデバイスはデスクトップ環境で利用するには非常に適しているが、大画面環境で利用するにはやや不自由であるといえる。

2.2.1節で述べたプレゼンテーション用ワイヤレスマウスのような製品は、場所を限定されず、10m程度まで離れて操作することが可能である。ボタンによって操作可能な「進む」、「戻

6

る」などの機能を利用するためにはこれで十分である。しかし、ポインティングの部分については、ジョイスティック状の装置を用いて操作する必要がある。そのため、素早い操作ができるかといった点でやや難があり、ポインティングデバイスとして利用するには不便である。それぞれのポインティングインタフェースの遠隔操作性について表 2.2にまとめた。ここで

は、「画面ないしコンピュータからどれだけ離れて操作できるか」を遠隔操作性と呼んだ。

表 2.2:ポインティングデバイスの遠隔操作性

ポインティングデバイス 遠隔操作性

スタイラスペン（スマートボードペン、指） ×マウス、トラックボール △

ポインティングスティック、トラックパッド　 △ペンタブレット △ワイヤレスマウス △

プレゼンテーション用ワイヤレスマウス ○

2.3 大画面とポインティングデバイスの問題点

前節では、ポインティングデバイスを、位置の指定方法により分類し、また、遠隔操作性についても分析を試みた。これを踏まえて、大画面環境において、ポインティングデバイスを利用する際の問題点について考察する。絶対位置指定がよいか相対位置指定がよいかについてはさまざまな議論があると考えられ

る。デスクトップ環境では、マウスが広く利用されていることからも相対位置指定のポインティングデバイスが適しているといえる。オフィスや書斎などで利用する場合にはそれで問題ないと考えられる。しかし、リビングなどのくつろいだ空間では、これらのデバイスはコードがあり場所もとるため邪魔になる。その他の大画面環境ではどうだろうか。電子ホワイトボードでは、ペンや指を使って文字を書いたりコンピュータを操作したりす

る。電子ホワイトボードがよく利用される少人数での会議では、説明する対象も操作する対象も画面上に表示されている。説明者が画面上の対象物に直接触れて操作することによって、出席者同士の自然な対話が阻害されることなく会議を進行させることが出来る。また、プロジェクタを用いたプレゼンテーションや講義の場面ではどうだろうか。このよ

うな場面では、発表者が、持ち込んだノートPCの前に身をかがめて操作するといった光景がしばしば見られる。これは、発表スライドを進めたり、ボタンをクリックしたりするために、そのつど、コンピュータの前まで行って操作する必要があるからである。プレゼンテーションのような場面では、演者は聴衆に向かって話すべきであり、このような操作のために手間と時間を割かなくてはならないのは、プレゼンテーションのスムーズな進行を妨げることになり、好ましくない。

7

これらのことから、画面を直接指し示すような方法でコンピュータを操作でき、なおかつ離れて操作できるポインティングデバイスが大画面に適していると考えた。しかし、表 2.1および、表 2.2からわかるように、画面を直接指し示すことができ、離れて

操作できるポインティングデバイス、つまり、ペンや指示棒のような絶対位置指定によるポインティング方法で、なおかつ遠隔操作性が高いポインティングデバイスは現在存在しない。

2.3.1 ポインティングデバイスの拡張と 10フィートUI

これらの問題点を解決する方法として、いくつかの研究がなされている。伸張ポインタ [4]

では、ペンダウンした位置からの移動距離を、ある割合で増幅することにより、実際のペン位置よりも離れた場所をポインティングすることが可能になっている。また、ジェスチャによるプレゼンテーション支援システム [5]では、指示棒を用いて画面上のある領域を指すことによって、プレゼンテーション中に「スライド前進」「スライド後退」「スライド一覧」の機能を使うことが出来る。しかし [4]は、手元から離れた場所をポインティングすることが出来るが、画面に触れなければいけないという点では依然問題が残る。[5]では、必ずしも画面に触れる必要はないが、ユーザは画面を指示棒で指せる範囲（約 2m程度）にいる必要がある。数十人程度の教室や会議室での利用ならば、これらの研究は有用であるが、講堂などの大きなスクリーンや壁面ディスプレイなどを用いる環境では、これらの方法では不十分である。

また、最近提唱されている概念として、「10フィートユーザインタフェース6（10フィートUI）」と呼ばれるユーザインタフェースがある。これは、従来のデスクトップコンピュータのユーザインタフェースが、画面から 2フィート（およそ 60cm）の範囲で利用するものであったのに対して、10フィートUIでは画面から 10フィート（およそ 3m）程度離れてコンピュータを操作することを可能にするユーザインタフェースのことである。従来のユーザインタフェースはマウスやキーボードなどであったが、10フィート UI では、リモコンを用いて、家電のようにコンピュータを操作することを可能にするというものである。しかし、リモコンでの操作はボタンによって行うため、メニュー選択などの限定的な操作しかできない。この点は、すでに触れたプレゼンテーション用ワイヤレスマウスについても同様のことが言える。また、2.2.1節で触れたテレビのリモコンと全く同様に、四方向キーや、選択ボタン、取り消しボタンなど、リモコンのボタン数が多くなることはユーザの負担を増やすことになるため好ましいとはいえない。

そこで、画面を直接指し示すことができ、離れて操作できるポインティングシステムの開発が必要であると考えた。そこで、このシステムを実現するために、レーザーポインタを利用した大画面のためのポインティングインタフェース・「リモートポインタ」を提案する。

6Microsoft社のWindows XP Media Center Edition [6]は、リモコンを利用した 10フィート UI を採用している。また、10フィート UI を採用した PC [7]も登場している。Microsoft社が 10フィート UI を採用した OSをリリースしたことで、10フィート UI は急速に広まる兆しを見せている。

8

第3章 リモートポインタの提案

3.1 直接操作と遠隔操作を両立するリモートポインタ

リモートポインタはレーザーポインタを用いた大画面向けのポインティングインタフェースである。利用イメージを図 3.1に示す。リモートポインタは画面を直接指し示すことで操作ができ、なおかつ画面から離れて操作することができる。本論文ではこれを直接操作、遠隔操作と呼ぶことにする。リモートポインタを構成する重要な要素は二つ挙げられる。ひとつは、ポインティングデ

バイスとしてのレーザポインタ、もうひとつはユーザの直接操作を可能にするための適切な視覚的フィードバックである。ポインティングデバイスとしてレーザーポインタを利用することで、遠隔操作を可能にする。また、レーザーポインタでの指図と、視覚的なフィードバックによって直接操作を行う。これによって既存のポインティングデバイスでなしえなかった、遠隔操作と直接操作の両立を果たしている。

レーザーポインタレーザーポインタレーザーポインタレーザーポインタ

画面画面画面画面

図 3.1:リモートポインタの利用イメージ

レーザーポインタ

まず、この提案において主役となるレーザーポインタについて述べておく。

9

レーザーポインタは、プレゼンテーションなどの際に指示棒の代わりとしてよく使われる。レーザーポインタとして利用されるレーザーは赤色のものが一般的だが、最近では緑色レーザーを利用し、より視認性に優れたレーザーポインタも発売されている。また、レーザーは直進性に優れ、光の減衰が小さいことから、指示棒の代わりとして使われるほかに、工事現場で作業場所や部品を指し示すために用いられることもある。

3.1.1 ポインティングデバイスとしてのレーザポインタ

リモートポインタでは、ポインティングデバイスとしてレーザーポインタを用いる。これによって、コンピュータないし画面の前にいなければ操作できないという問題を解消する。レーザーポインタを用いることで、ミーティングやプレゼンテーションといった場では、コンピュータの操作と、他の人に説明箇所を指し示すという行為とを、シームレスに行うことができる。ミーティングやプレゼンテーションといった場では、他の人とのコミュニケーションを行いながら進行していくことが重要である。リモートポインタを使うことで、コミュニケーションを妨げない円滑な進行が可能となる。また、レーザーポインタを用いているため、レーザーが遮られなければ、画面の大きさに

関係なく直接操作することができる。さらに、リモートポインタを利用することで、ひとつのレーザーポインタで複数の画面に対して操作を行うことも可能である。大画面に接続された、すべてのコンピュータをリモートポインタでサポートすることで、一本のレーザーポインタで複数の画面に表示されたオブジェクトを、離れたところから操作することができるようになる。たとえば、図 3.2のように、画面 1から画面 2へファイルをコピーアンドペーストする、といった操作が可能となる。これは、「レーザースポットがいまどこの画面にあり、どこを通って、どこの画面に出たか」という情報をもとに、ネットワークを介してデータを移動することで実現できる。

コピーコピーコピーコピー・・・・アンドアンドアンドアンド・・・・ペーストペーストペーストペースト

図 3.2: 2画面間でのコピーアンドペースト

10

3.1.2 視覚的なフィードバック

リモートポインタは、ユーザに視覚的なフィードバックを与えることで、直感的な直接操作を可能にする。ユーザへのフィードバックは 2種類ある。ひとつは、レーザービームが画面上に当たり、その場所が光って見える光学的なフィードバック。もうひとつは、マウスカーソルの形状を変える、アイコンの色や大きさを変える、など画面の表示を変化させることで行う、ソフトウェア的なフィードバックである。前者については、レーザーポインタを使用する際には必ず発生するフィードバックである。後者については、たとえば次に示すようなことである。GUIを採用した多くのOSでは、図 3.3のようにマウスカーソルが、指の形に変わったり、サイズを変更する両矢印の形に変わったりする。これは、リンクの選択やウィンドウサイズの変更など、今マウスによってできる動作を、視覚的に表現したものである。また、Mac OS Xでは、Dock1と呼ばれる機能が搭載されている。このDockに表示されたアイコンにマウスカーソルを合わせると、大きく飛び出してくるようなアニメーションがおこる。これは、ユーザが操作をする際に役立つ、直感的なフィードバックになっている。このような形でユーザにフィードバックを与える。

通常の選択 移動 拡大縮小 リンクの選択

図 3.3:マウスカーソル変形の例

1Dock：これは、画面下部によく使うプログラムを登録しておくバーである。これを利用することでアプリケーションの素早い起動を可能にするものであり、同時にタスクバーの役目も果たす。

11

第4章 実装と試作

4.1 リモートポインタの設計

リモートポインタの構成は、大別して三つの部分からなる。一つ目は、レーザーポインタによってポインティングを行い、ポイントされた座標を得る入力部である。二つ目は、ポイントされたオブジェクトや座標、ポインティングをしている時間によってイベントを発生させるなどの処理を行うための処理部であり、三つ目は、ポインティングされた位置にマウスカーソルを表示させたり、カーソルの形状を変更するなどユーザに視覚的なフィードバックを与える出力部である。以下では、リモートポインタの設計としてこの三つのパートについて考察する。

4.1.1 入力部

入力部は、リモートポインタのポインティングデバイスとしての機能を実現するパートである。これは、3.1.1節で述べたポインティングデバイスとしてのパートにあたり、レーザーポインタにより照射された点を検出することが主な役割となる。レーザーポインタによって照射された点はレーザースポットないし、ビームスポットと呼ばれる。本論文では以下レーザースポットと呼ぶことにする。検出に必要なハードウェアとして、デジタルビデオカメラと、レーザーポインタを用いる。

図 4.1にシステムのイメージを示す。カメラは、画面をフレームの中に収めるように設置する。このことによって、カメラで撮影した画像は、図 4.2のようになり、図中赤色の枠で示すように画面の表示領域とそれ以外の領域に分けることができる。このうち、画面の表示領域内に存在するレーザースポットを検出し、画像上の座標系から、表示する画面の座標系に変換してポイントされた座標を得る。得た座標は処理部に送られる

4.1.2 処理部

この処理部と、次節で述べる出力部が、3.1.2節に述べたフィードバックを実現するパートとなる。ユーザによる操作を識別するために、次にあげるようなイベントが必要であると考察した。

レーザースポットの点灯 (on)、消灯 (off)、移動 (move)、アイコン・ウィンドウ・メニューなどへの入 (enter)、出 (exit)、画面表示領域への入 (enterArea)、出 (exitArea)である。以下では、これらのイベントについて述べる。

12

レーザーポインタレーザーポインタレーザーポインタレーザーポインタプロジェクタプロジェクタプロジェクタプロジェクタ

USBUSBUSBUSBカメラカメラカメラカメラ

レーザースポットレーザースポットレーザースポットレーザースポットととととマウスカーソルマウスカーソルマウスカーソルマウスカーソル

図 4.1:システムのイメージ図

画面表示領域

図 4.2: USBカメラで撮影した画像

13

on,off,move画面表示領域内で、レーザースポットが点灯した場合 onイベントが、消灯した場合 offイベントが発生する。レーザースポットが、画面表示領域内を移動する場合move

イベントが発生する。

enter,exit アイコン・ウィンドウ・メニューなどとレーザースポットが重なった場合、enterイベントが発生する。enterイベントが発生した後、レーザースポットがアイコンなどから外れた場合 exitイベントが発生する。

enterArea,exitArea レーザースポットが点灯したまま画面表示領域外へ移動した場合、exitArea

イベントが発生する。同様に点灯したまま画面表示領域外から移動して入ってきた場合enterAreaイベントが発生する。

これらのイベントを組み合わせることで、より複雑な操作を実現することも可能である。たとえば、enterイベントが発生してそのまま一定時間経過すると、マウスイベントのボタンダウンに相当するイベントを発生させてアイコンを選択状態にする。そのまま動かすことでmoveイベントが発生し、ドラッグのような操作を行う。off になればその場所にドロップする、などの操作を行えるようにする。図 4.3にこのような組み合わせイベントの例を示す。この図ではアイコンにカーソルを合わせ一定時間経過すると、アイコンが選択され、そのまま実行されるという例を示している。

アイコンアイコンアイコンアイコンにににに

カーソルカーソルカーソルカーソルをををを合合合合わせわせわせわせ

一定時間一定時間一定時間一定時間たつとたつとたつとたつと 選択選択選択選択・・・・実行実行実行実行

図 4.3:組み合わせイベントの例

4.1.3 出力部

出力部では、入力部および処理部の処理を受けて、ユーザに操作のフィードバックを与える。ユーザに与えられるフィードバックは、3.1.2節で述べたマウスカーソルの表示・変形、アイコンの変化などである。

14

4.2 プロトタイプの実装

プロトタイプとしてリモートポインタのポインティングデバイスにあたる入力部の試作を行った。図 4.4は、実装を行った、リモートポインタ・プロトタイプの利用風景を撮影したものである。図 4.5は、ポイント地点を拡大した図である。レーザースポットに追従するようにマウスカーソルが移動する。ソフトウェアの開発環境および、実行環境は以下のとおりである。

コンピュータ CPU:Pentium4 2.8GHz, Memory:1GByte

OS Microsoft Windows XP Professional Version 2002

開発環境 Microsoft Visual Studio.NET2003

開発言語 Visual C++

図 4.4:リモートポインタプロトタイプの利用風景

図 4.5:ポイント地点の拡大図

4.2.1 ハードウェアの構成

リモートポインタのシステムを実現するために、本研究ではレーザーポインタ、プロジェクタ、USBカメラを用いてプロトタイプの試作を行った。使用したハードウェアとスペックを表 4.1に示す。レーザーポインタはグリーンレーザーポインタを用いた。通常使われるレーザーポインタ

は赤色のものが一般的だが、カメラによるレーザースポットの視認性を高めるために緑色のものを採用した。USBカメラは画素数 35万ピクセル、USB2.0対応のものを使用した。カメラにより撮影される画像の解像度は 320×240ピクセルである。USBカメラは比較的安価に購入できることから、複数の画面に対応させる場合にも、カメラの増設が容易である。表示用機器としてはプロジェクタを使用している。解像度は 1280×1024ピクセルとした。これは、デスクトップ環境として利用される解像度として、一般的な解像度である。

15

図 4.1にリモートポインタのシステム構成を示す。プロジェクタにより投影された画面を前面からUSBカメラで撮影する。この際、図 4.2のように、投影された画面がカメラフレーム内に収まるように設置する。

表 4.1:使用したハードウェアとスペック一覧

使用した機器 スペック 解像度の設定値

グリーンレーザーポインタOnPoint Lasers, Inc.製 Green-Red Laser Pointer波長 532nm出力 5mW ―USBカメラAsiamajor Inc.製 V-Gear TalkCam Pro 有効画素数 35万ピクセル 320×240ピクセルプロジェクタプラスビジョン株式会社製 U2-X2000 2000 ANSI lumens 1280×1024ピクセル

4.2.2 ソフトウェアの構成

リモートポインタのソフトウェアは、図 4.6に示すような各部分から構成されている。

USBUSBUSBUSBカメラカメラカメラカメラ部部部部

ビデオビデオビデオビデオ

キャプチャキャプチャキャプチャキャプチャ部部部部

静止画静止画静止画静止画

キャプチャキャプチャキャプチャキャプチャ部部部部

画像解析部画像解析部画像解析部画像解析部 座標計算部座標計算部座標計算部座標計算部

カーソルカーソルカーソルカーソル

表示部表示部表示部表示部

図 4.6:ソフトウェアの構成

以下、それぞれの部分について説明する。

USBカメラ制御部 USBカメラ付属のドライバである。

ビデオキャプチャ部 USBカメラからの動画像をキャプチャするパート

16

静止画キャプチャ部 キャプチャされた動画像をビットマップ画像の静止画としてキャプチャするパート

画像解析部 ビットマップ画像を解析し、レーザースポットを検出するパート

座標計算部 検出されたレーザースポットから、マウスカーソルを表示する位置を計算するパート

カーソル制御部 計算によって求められた座標にカーソルを表示することを指示するパート

4.2.3 ソフトウェアの処理

USBカメラは、付属のドライバによりガンマ値 0、露出 0、ホワイトバランス R63、B0に設定し、グリーンレーザーのレーザースポットを検出しやすいように、あらかじめ設定しておく。設定値を表 4.2に示す。ここに記したもの以外の値は既定値である。また、すべて既定値の場合の画像と、この値に設定した画像を、図 4.7および図 4.8に示す。丸枠内は、レーザースポットの拡大図である。既定値での画像図 4.7からは、レーザースポットが画面の白い部分に入ると、全く弁別出来ないことがわかる。一方、値設定後の画像図 4.8では、レーザースポットがはっきり弁別できる。

図 4.7:既定値での画像 図 4.8:設定値での画像

表 4.2:各項目の設定値

設定項目 値

ガンマ 0

White Balance R: 63

White Balance B: 0

Exposure（露出） 0

表 4.3:レーザースポット検出のための閾値

レーザーの種類（出力） 閾値 R 閾値G 閾値 B

グリーンレーザー (5mW) Rなし G>200 B<150

レッドレーザー (5mW) R>200 Gなし B<150

レッドレーザー (1mW) R>180 G<160 B<140

図 4.9に示すように、ビデオキャプチャ部で得られた、USBカメラからのビデオ映像は、毎秒 15枚のビットマップ画像としてキャプチャする。

17

キャプチャした画像は画像解析部で解析し、レーザースポットを検出する。解析は静止画キャプチャ部で得られたビットマップを 1ドットずつスキャンすることで行う。ビットマップ画像は、1ドットごとの赤 (R)、緑 (G)、青 (B)の値が記録されている。このRGBの値を表 4.3

に示す閾値と比較しレーザースポットの検出を行う。閾値は実験により得られた知見から、それぞれのレーザーの特徴的な値を設定してあり、閾値を変更することで、レッドレーザーにも対応できる。グリーンレーザーおよびレッドレーザーでの閾値の値を表 4.3に示す。この値により、レーザースポットは 3×3ドット程度の点として検出される。

15 sheets/sec.

time 1 frame

図 4.9:静止画のキャプチャ

座標計算部では検出されたレーザースポットの位置により、座標を計算する。キャプチャされた画像は図 4.10に示すように、画像全体を表す画像領域「A」と、プロジェクタにより画面が投影されている部分を表す画面表示領域「B」とに分けられる。プログラムを起動すると、最初に、Bの、左上と右下の 2箇所を、レーザーでポインティングし、キャリブレーションを行う。このキャリブレーションによって画面表示領域 Bの範囲を決定する。画面表示領域 Bの範囲が決まれば、マウスカーソルを表示すべき位置を求めることができる。図中B0の y座標とB1の y座標の差により Bの高さBhが求められる。同様に B0の x座

標と B1の x座標の差より Bの幅 Bwが求められる。これらの値と、プロジェクタで表示される画面（Cとする）の解像度より、Bの座標からCの座標に変換する倍率が求められる。C

が 1280×1024であるから、高さの倍率 hratioは 1024/Bh、幅の比率wratioは 1280/Bwとなる。Bp(bpx, bpy)の値に、これらの比率を掛けて Cp(cpx, cpy)の値を求め、座標 Cpにカーソルを表示する。カーソル制御部では得られた座標 Cpにカーソルを表示する。各々の値を求める式は、

B0(b0x, b0y) (4.1)

18

B1(b1x, b1y) (4.2)

Bp(bpx, bpy) (4.3)

Cp(cpx, cpy) (4.4)

Bw = b1x − b0x. (4.5)

Bh = b1y − b0y. (4.6)

wratio = 1280/Bw. (4.7)

hratio = 1024/Bh. (4.8)

cpx = bpx × wratio. (4.9)

cpy = bpy × hratio. (4.10)

キャプチャキャプチャキャプチャキャプチャ

画像領域画像領域画像領域画像領域「「「「A」」」」A0(0, 0)

A1(320, 240)

B0(0, 0) = A2(40,30)

B1(220, 180) = A3(250, 210)

画面表示画面表示画面表示画面表示

領域領域領域領域「「「「B」」」」Bp(80, 60)

レーザーレーザーレーザーレーザー

スポットスポットスポットスポット

Bh

Bw

図 4.10:レーザースポットの検出

19

第5章 評価と議論

5.1 試用による評価

本研究では、プロトタイプとしてリモートポインタの入力部（ポインティングデバイス部分）について実装した。試用では、レーザーポインタをポインティングデバイスとして用い、ワイヤレスマウスのボタンを利用してクリック等の操作をした。筆者自身の試用の後、主観評価を行った。

5.1.1 試用

テストケース 1: webブラウジング

試用としてまず、webのブラウジングを行った。レーザーポインタを用いてポインティングをし、マウスボタンでクリックをしながらwebページのブラウジングをする。また、文字のカットアンドペースト、アイコンのクリックや移動などの操作を行った。

結果

マウスカーソルはスムーズにレーザースポットを追従し、ストレスを感じることなく動かすことができた。webブラウジングでは、プルダウンメニューによるお気に入りの選択やリンクのクリック、戻る、進むなどのボタン操作を行った。キャリブレーションの甘さからか、レーザースポットとマウスカーソルが若干ずれることがあり、操作しづらい場面もあったが、操作に慣れてくると、スムーズに操作をすることができた。

テストケース 2: ドローイング、手書き文字入力

Windows付属のドローイングソフト「ペイント」を用いてドローイングと文字の書き込みを行った。直線の描画、鉛筆モードや、エアブラシモードでのフリーハンドの描画、鉛筆モードでの文字の書き込みを行った。

20

結果

頂点の入力によって描画する直線の描画は、ほぼ思ったとおりに描くことができたが、鉛筆モードでの描画は、線がジグザグになってしまうなど、スムーズな描画をすることができなかった。エアブラシモードでの描画については、レーザースポットのぶれが大きく影響しないためか、まずまずの使用感であった。文字入力については、かろうじて文字を読むことができるものの、比較的入力の難しいマウスによる入力と比べても、難しいと感じた。総合すると、ペイントソフトでのドローイングや手書き文字入力については難しく、相当の熟練が必要であると感じた。今回の評価では、筆者自身による試用のみであったが、今後は、さらに多くのユーザによ

る試用と客観的な評価をする予定である。

5.2 議論

5.2.1 リモートポインタの分解能

試用においては、画面の解像度を 1280×1024ピクセルとしている。USBカメラの解像度が320×240ピクセルであり、カメラで撮影された画像中における画面表示領域は大きくとった場合でも 300×200ピクセル程度である。これを 19ページの計算式 4.7および 4.8に当てはめると倍率はおよそ 4倍から 5倍と計算できる。このことは、カメラで撮影された画像中での1ドットが、実画面上の 4ドットから 5ドットになるということを示している。つまり、マウスカーソルは、実画面上では 5ドットおきにしか表示できないということにな

る。これは、ウィンドウサイズの変更などの操作は難しいが、画面上に表示されたメニューやボタンを選択する動作は特に抵抗なく行える数字であると考えられる。しかし、画面の解像度がさらに高くなると、操作に支障をきたす恐れがある。これを解決

するためにはカメラの解像度を高くすればよい。たとえば、画面の解像度を 1280×1024ピクセル、カメラの解像度を 640×480にしてカメラフレームいっぱいに撮影したとすればおよそ2倍の倍率となる。カメラの解像度をさらに上げれば倍率は 1倍以下とすることも可能である。画面の解像度が高くなった場合でも、カメラの解像度を上げればよい。ただし、カメラの解像度を上げると、レーザースポット検出のためのビットマップスキャ

ンに大きなコストがかかることになるため、検出のアルゴリズムを見直すことが必要になる可能性がある。この場合の解決策としては、スキャンするドットを全ドットスキャンする現在の方法から、2ドットないし 3ドットおきにスキャンする方法に変える、あるいは、前回検出されたレーザースポットの位置の周囲のみスキャンし、検出できなければスキャンする範囲を広げる、などの方法でスキャンに要するコストを軽減することが考えられる。

21

5.2.2 キャリブレーション

キャリブレーションについても議論の余地がある。プロトタイプでは、まずはじめに画面表示領域の、左上と右下の二箇所をポインティングすることで、キャリブレーションを行っている。そのため、画面表示領域の左上と右下に近いエリアでは、レーザースポットとマウスカーソルのずれが少ない。一方、左下や、右上に近いエリアでは、ずれが大きくなってしまう。図 5.1は右下に近いエリア、図 5.2は左下に近いエリアでの、レーザースポットとマウスカーソルを撮影したものである。図からもわかるように、右下付近ではずれはほとんどないが、左下付近ではアイコンひとつ分程度のずれが生じている。このずれは、最も大きいところで、30ピクセルから 50ピクセル程度のずれとなっている。このずれにより、アイコンを選択する際などに、支障が出る可能性がある。試用では、リモートポインタの利用時間が増えるに従い、このずれにも次第に慣れ、あまり気にせずに操作を行えるようになったが、レーザーポインタによる直接操作ということを考えると、重視すべき問題であり、解決策を講じる必要がある。

図 5.1:右下付近でのカーソル 図 5.2:左下付近でのカーソル

また、試用では、プロジェクタ、USBカメラともスクリーン正面の、スクリーン面に対してほぼ垂直な位置に設置した、理想的な状態で実験を行った。この位置で撮影すると、画面表示領域はほぼ長方形に撮影される。しかし、実際に利用する場合には、スクリーン下方から、あるいは、左右にずれた場所にカメラを設置しなければならない場面が出てくると考えられる。そのようにカメラを設置した状態で、画像を撮影すると、画面表示領域が台形あるいは、四角形にゆがんで撮影されてしまう。このように、画面表示領域がゆがんだ状態で撮影されたばあい、現在の二箇所のキャリブレーションでは、レーザースポットとマウスカーソルのずれは深刻なものとなる。これらの問題を解決するためには、キャリブレーションの点を増やすことが考えられる。現

在の二箇所のキャリブレーションから、四隅をポインティングする四箇所のキャリブレーションにする。これによって、現在は長方形であるものとして認識している画面表示領域が、任意の四角形である画面表示領域として認識することができる。そして、任意の四角形を長方形に射影する式を元に座標計算を行うことで、より精度の高いポインティングをすることが

22

可能になる。また、画面表示領域をさらに細分化し、キャリブレーションする点を増やすことで、さらに精度を高めることができる。しかし、いたずらにキャリブレーションの点を増やすことは、ユーザの負担を増すことに

つながってしまう。また、使用中にカメラや、プロジェクタがずれてしまうことも考えられ、その場合には、キャリブレーションをやり直さねばならない。これらのことを考慮すると、安定して高い精度のポインティングをするためには、自動的にキャリブレーションを行うことが理想的である。

5.2.3 クリック操作と文字入力

プロトタイプでは、ポインティングはレーザーポインタを使って行い、クリック動作は、マウスのボタンを利用して行った。しかし、今後はすべての動作をレーザーポインタで行うよう改良する予定である。その際の方法について考察した。レーザーポインタは、ボタンを押したり離したりすることで、レーザーが点灯したり消灯

したりするため、クリックなどの動作はしにくい。ダブルクリックのように二回続けてクリックをするとなるとなおさらである。そこで、クリック動作に相当する操作を別なやり方で実現する必要がある。これは、Flow Menu [8]や、Marking Menu [9]などのようなインタフェースや、ポイントしている時間を活用することで対応しようと考えている。

Flow Menuや、Marking Menuはストロークを利用した入力手法である。レーザーポインタは同じ場所に滞留させておくことは難しいが、あるラインを通過するように動かすことはたやすい。そのため、これらのストロークを利用した入力手法が適していると考えている。また、文字入力に関しては、ストロークを利用した入力手法で、Flow Menuを発展させた

日本語入力システムである、Popie [10]を応用することを考えている。

5.2.4 手ブレの補正

当初、プロトタイプによる実験では、レーザースポットが小刻みに震えてしまうことから、マウスカーソルも小刻みに震えてしまうという問題があった。この問題は、レーザーポインタでポインティングする際に、手が震えてしまうということに起因している。手元でのごくわずかな震えが、数メートル先のスクリーン上では大きな震えとなってしまうのである。これを手ブレの問題と呼んだ。手ブレの問題はリモートポインタでポインティングをする際に、ユーザにとって大きなストレスとなっていた。これを補正するために、直前のフレームで検出された座標を利用することにした。直前の

フレームで検出された座標と、現在のフレームで検出された座標の距離を計算し、その値が一定値以上であれば、レーザースポットが動いているものと判断し、マウスカーソルも移動するというものである。直前の座標と現在の座標との距離が一定値以下ならば、レーザースポットは動いていないと判断し、マウスカーソルもその場に滞留させる。プロトタイプでは、この値は 2とした。つまり、ビットマップ画像上で上下左右に 3ドット以上あるいは斜め方向に 2ドット以上移動したとき、マウスカーソルを移動させるということになる。

23

これによって、手ブレの問題は解決された。ただし、これによる副作用も生じた。それは、非常にゆっくり動かした場合には、レーザースポットにマウスカーソルに追従しない、というものである。また、このことで、ポインティングの微調整が難しくなったという問題も発生した。この問題の解決策としては、単に 2フレーム間での座標の移動距離を計算するだけではなく、数フレームにわたって座標を調べることで、移動中か停止中かを判断するようにすることが考えられる。さらに発展して、数フレーム間の座標位置を解析することで、移動モード、停止モードのモード切替を行うようにしてもよいと考えている。

24

第6章 リモートポインタの応用例

6.1 アプリケーション例

リモートポインタの有効性を検証するため、リモートポインタを利用したアプリケーションとして次のようなアプリケーションを考案したので例示する。

• 描画アプリケーション（図 6.1）リモートポインタを使って、スクリーンに向かって絵を描くアプリケーション。フリーハンドで線を描く、スプレーを吹き付ける、直線を描く、特殊効果をつけるなどの操作を画面から離れて行える。

図 6.1:描画アプリケーション

• プレゼンテーションツール（図 6.2）プレゼンテーション中、スライドにマーカーを置いていくことによって、スライドの重要な箇所を強調するためのアプリケーションである。種々のマーカーを収めたパレットを表示し、発表者はパレットからマーカーを強調したい部分にドラッグアンドドロップすることができる。聴衆と同じ画面を見ながら操作することができるため、自然なプレゼンテーションを行うことが可能である。ドラッグアンドドロップはパレットをなぞることで行う。

• オーディオインタフェース（図 6.3）オーディオアプリケーションのインタフェースとしてリモートポインタを利用する。ボタンを押す、選曲する、ダイヤルを回すなどの操作を、画面から離れて操作できる。

25

素晴らしいプレゼンテーション

� このアプリケーションを使うとこん

ないいことがある。

� わかりやすい

� みやすい

� 肩こりが治る

� 素晴らしい。

レーザーポインタレーザーポインタレーザーポインタレーザーポインタをををを使使使使ってってってって・・・・・・・・・・・・

貼貼貼貼りりりり付付付付けるけるけるける

図 6.2:プレゼンテーションツール

∞ 0

We Will Rock YOU/QUEEN

図 6.3:オーディオインタフェース

26

リモートポインタはさまざまな場面で利用することができる。本研究の当初の着想は、リビングでの利用を考えたものであった。2.1.1節で述べたような壁面ディスプレイが備えられた部屋では、現在のテレビ、ビデオ、オーディオなどの機器はすべて壁の中すなわち画面の中に収められた物になる。つまり、場所をとる大きな筐体はどこかに隠されそのインタフェースのみが画面に表示される。テレビの画面は自由に大きさを変えられる。また、同じ壁の中に複数のテレビ画面を表示することも可能である。

現在、テレビ放送では、メタデータを利用した付加情報を基にした番組の周辺情報を閲覧することができるが、この情報を見るために本来のテレビ画面は隅に追いやられてしまう。また、これらの情報を閲覧するリモコンは四方向キー（十字キー）で操作するものであり、スムーズな操作を行うことはできない。壁面ディスプレイとリモートポインタはこれらの問題を解決する。画面は十分に広くテレビの画面を広く取ったまま開いたスペースに周辺情報を表示して閲覧することができる。また、リモートポインタを利用することによって、直接的な操作を行うことができ、リモコンの不自由な四方向キーからは解放される。

また、大画面利用の典型的な例としてプレゼンテーションを挙げたが、リモートポインタを利用することによってよりインタラクティブなプレゼンテーションが可能になる。

また、Popie [10]などと組み合わせて利用することで文字入力を可能にし、大画面でのwebブラウジングなどをより行いやすくすることができる。

27

第7章 関連研究

D.R.Olsenらは [11]において、レーザーポインタを用いたインタラクティブな技術について示唆に富んだ報告をしている。これは、レーザーポインタでポインティングする対象によってカーソルの形状を変えユーザに何ができるのかを知らせるものである。報告によれば、それは Tracking,Dwell detected, Scrolling, Graffitiなどである。場所を指定する、スクロールするなどの動作をカーソルの形状を変えることによって表現している。

LumiPoint [12]はレーザーポインタによって複数人で、絵を描くシステムである。このシステムはレーザーポインタで容易に絵を描くことを可能にしている。しかし、このシステムはレーザーポインタペンのように用いてキャンバスに触れる形で絵を描くもので、画面から比較的近距離で利用するものである。また、キャンバスの後ろから多くのカメラで撮影してレーザーの検出を行うため、リモートポインタと比べ明らかに大掛かりであり、容易に移動できるものではない。一方リモートポインタは、小さな構成となっており、可搬性に富んでいる。酒田らは、 [13] [14]において、肩に乗せた可動式のカメラとレーザーポインタを用いるこ

とで、遠隔地間の協調作業を支援する手法について報告している。これは、従来HMD（ヘッドマウントディスプレイ）によって表示していた指示をレーザーポインタを用いて行うウェアラブルシステムである。また、小山らは [15]において、レーザーポインタおよびビデオカメラを用いた、遠隔作業指示支援のシステムについて報告している。これらの研究では遠隔地から指示を与える指示者が、作業者に対してレーザーポインタに

よって位置を示している。本研究では、コンピュータに位置を知らせるためにユーザがレーザーポインタを利用しているので、レーザーポインタにより位置を知らせる相手が、人であるかコンピュータであるかという点で逆の使い方をしたものであるといえる。

28

第8章 おわりに

本論文ではまず、コンピュータを利用する場面で、大画面を利用することが増えているという背景について述べた。さらに、現在大画面を利用する際のポインティングデバイスは直接操作が可能でなおかつ離れて操作することができるものはないという点を明らかにした。そこで、大画面環境でのポインティングデバイスには、画面から離れて直接操作ができるものがよいとの立場から、直接操作性と遠隔操作性を兼ね備えたポインティングインタフェースであるリモートポインタを提案した。また、リモートポインタのプロトタイプとしてリモートポインタのポインティングデバイス部分を実装し、主観評価を行った。リモートポインタの開発により、大画面環境でのポインティングがより快適に、人と人と

のコミュニケーションを損ねることなく行うことができると期待できる。今後の展望としては、プロトタイプの実装により明らかになった課題を解決し、ユーザへ

のフィードバック部分を実装してポインティングインタフェースとして完成させる予定である。また、リモートポインタを利用したアプリケーションの開発、複数画面への応用についても取り組んでいくつもりである。

29

謝辞

本論文を執筆するに当たり、指導教員である田中二郎先生をはじめ、三末和男先生、志築文太郎先生、高橋伸先生ならびに北陸先端科学技術大学院大学の三浦元喜先生には、丁寧なご指導と適切な助言をいただきました。心より感謝申し上げます。また、田中研究室の皆様にもゼミなどを通じて大変貴重なご意見をいただきました。とりわ

け、ユビキタスチームの岩淵志学さん、打越大輔君、山田徹君および SWATチームリーダーの佐藤大介さんには、チームミーティングだけでなく日常的に多くのご意見やご指摘を頂きました。ありがとうございました。最後に、物心両面にわたり私を支えてくれた両親、家族やすべての友人にも心より感謝い

たします。　

30

参考文献

[1] 内田洋行株式会社. URL:<http://www.uchida.co.jp/> .

[2] 日本スマートテクノロジーズ株式会社. URL:<http://www.smartboard.co.jp/> .

[3] コクヨ株式会社. プレスリリース. URL:<http://necdirect.ascii24.com/

necdirect/review/2005/01/28/653404-000.html> .

[4] 坂東宏和,大即洋子,増田厚司,加藤直樹,中川正樹. 大画面に適したポインティングユーザインタフェースの拡張. 情報処理学会研究報告 2001-HI-95, pp. 47–54, 2001.

[5] 古川大輔,島田伸敬,久野義徳,白井良明. ジェスチャによるプレゼンテーション支援システム. インタラクション 2000論文集, pp. 53–54, 2000.

[6] Microsoft. Windows XP Media Center Edition 2005.URL:<http://www.microsoft.

com/japan/windowsxp/mediacenter/default.mspx> .

[7] ASCII24 NEC Direct 24.大型液晶と高性能パソコンを一体化した“デジタルビデオレコーダ＋液晶 tv”ライクなマシン. URL:<http://www.kokuyo.co.jp/press/news/

20040702-285.html> .

[8] Francois.Guimbretiere and Terry Wingograd. FlowMenu: Combining command, text, and

data entry. InProceedings of ACM User Interface Software and Technology 2000 (UIST 2000).

ACM, 2000.

[9] Gordon Kurtenbach and William Buxton. The limits of expert performance using hierarchic

marking menus. InCHI ’93: Proceedings of the SIGCHI conference on Human factors in

computing systems, pp. 482–487. ACM Press, 1993.

[10] 佐藤大介,志築文太郎,三浦元喜,田中二郎. ペンによるメニュー選択に基づく子音を用いた日本語入力手法. インタラクション 2004論文集, 2004.

[11] Jr. Dan R. Olsen and Travis Nielsen. Laser pointer interaction. InCHI ’01: Proceedings of the

SIGCHI conference on Human factors in computing systems, pp. 17–22. ACM Press, 2001.

[12] Xing Chen and James Davis. LumiPoint: Multi-user laser-based interaction on large tiled

displays.Displays, Vol. 23, pp. 205–211, 2002.

31

[13] 酒田信親,蔵田武志,興梠正克,葛岡英明,マーク・ビリングハースト.肩載せアクティブカメラ・レーザによる遠隔協調作業.マルチメディア，分散，協調とモバイル（DICOMO2004）シンポジウム論文集, pp. 377–380, 2004.

[14] 酒田信親,蔵田武志,興梠正克,葛岡英明,マーク・ビリングハースト. 遠隔協調作業における肩載せアクティブカメラ・レーザの利点と限界. 第 30回HI学会研究会・日本VR学会ウェアラブル/アウトドア VR研究委員会第 6回研究会, Vol. 6, No. 5, pp. 17–22, 2004.

[15] 小山慎哉,小野寺光,葛岡英明,山崎敬一. レーザポインタによる遠隔作業指示支援システムの実用可能性. ヒューマンインタフェースシンポジウム 2000, pp. 435–438, 2000.

32