人に何かを伝えたいときに、言葉以外の手段を使うことがある。最も基本的で簡単なものは「指さし（ポインティング）」であろう。これは、会話をする上で言語の障壁がある場合でも効果的な手段となる。しかし、指さしは伝達したい物体や概念が視界になく、直接指をさせなければ伝達手段としては利用できない。

　指さしよりも効果的な伝達手段に「ジェスチャ（身振り、手振り）」がある。これを使えば、人間が互いに伝達し合うことのできる情報の種類を大きく増やすことができる。ジェスチャはとても自然で強力な伝達手段であり、例えば、親が赤ん坊と直接的に双方向の意思伝達を行うための手段としてもよく用いられてきた。これは「ベビーサイン （赤ちゃん手話）」 と呼ばれており、赤ん坊がはっきりと話せるようになる前から意思の伝達に使われている^＊1)。なお、上述した指さしも、ジェスチャの一種である。

　ユーザーと電子機器とのインターフェースとしては、ほとんどの場合、ポインティングデバイスが使われている。このポインティングデバイスは、指さしという行為を模したものだといえよう。単純なものからスタートして、ポインティングデバイスの機能は拡張され続けており、現在では一般的なものとなったデバイスがいくつか存在する。例えば、シングルクリック、ダブルクリック、あるいはタッピングに対応したデバイスや、マウス、トラックボール、タッチスクリーンなど、ポインティングデバイスを動かしながらボタンをクリックすることが可能なデバイスなどがある。また、マルチタッチ画面、オプティカル入力システム、音声入力などを用いることで、ユーザーがコンピュータ機器とより自然にやり取りする機能は、まだまだ発展途上の段階にある。

　2007年6月に米Apple社から発売された「iPhone」は、物理的なボタンの代わりにタッチスクリーンベースのユーザーインターフェースを搭載し、予測エンジンを使ってフラットパネルへの入力を補助する革新的な携帯電話機である。また、iPhoneが登場する14年も前の1993年には、米IBM社と米Bell South社がパーソナルコミュニケータ「IBM Simon」を発売した。これら2つの端末機器のタッチインターフェースには相違点がある。例えば、iPhoneは、画像サイズを決定するための「ピンチ」（2本の指で押し開く、または閉じる）やコンテンツをスクロールするための「フリック」（はじくようにする）などのマルチタッチ操作をサポートする。

　これらの端末機器が提供するインターフェースは、いずれも「ジェスチャインターフェース」に分類できる。

マルチタッチI/Fの最前線

　今日の最新で革新的なジェスチャインターフェースを支える技術の多くは、過去数十年間の製品や、プロジェクトにおける開発の流れをくむもので、必ずしも新しいものではない。例えば、マルチタッチインターフェースは少なくとも25年前から存在する^＊2)。また、マウスが発明されたのは1965年のことだ。それから30年後に発売された米Microsoft社の「Windows 95」がきっかけとなって、マウスは一般消費者にも利用される汎用のポインティングデバイスとして普及した。

　一般に、インターフェース用のハードウエアが進歩すれば、最終製品は小型化し、コストも下がる。それよりも重要なことは、インターフェースにおいては、ソフトウエア処理によって、さらに詳細に状況を認識し、システムに対してユーザーが要求しようとしていることをより適切に解釈することができるようになるという点である。つまり、ジェスチャインターフェースの新たな進歩の多くは、新しいハードウエアからではなく、各種入力インターフェースの利点を最大限に活用しつつ欠点も補う、より複雑なソフトウエアアルゴリズムによってもたらされるのである。ちなみに、脚注3に示したウェブサイトでは、そうしたインターフェース技術を提供する企業の一覧表を閲覧することができる。

　2007年にはiPhoneのほかに、イタリアPRADA社がデザインした韓国LG Electronics社製の携帯電話機「The PRADA Phone by LG（KE850）」が韓国と欧州で発売された。さらに、ジェスチャインターフェース機能を備えた任天堂のゲーム機器「Wii」が成功を収め、Microsoft社のマルチタッチディスプレイインターフェースを備えたテーブル型のパソコン「Surface」の発売も控えている（別掲記事『現実と仮想を結び付ける』を参照）。

　これまでに開発されてきたジェスチャインターフェースから、人と機械がより自然に対話する日を迎えるのに十分な量の知識は得られたのだろうか。上述したような最新のインターフェースを備えた機器であれば、インターネットを利用して、内蔵するソフトウエアを更新することができる。つまり、このようなことが可能な機器であれば、搭載するジェスチャインターフェースを、未知のさまざまな問題に適応させることができるのかどうかということが今後の課題となりそうだ。

現実と仮想を結び付ける

図A　Surfaceのハードウエア概念図
知的財産権上の理由から、正確なものではない（提供：Microsoft社）。

　マルチタッチインターフェースが一般的に利用されるようになる日は近い。Apple社のiPhoneやMicrosoft社のSurface^{＊4)　、＊5)}など、2007年に発表された製品を見ると、もうその日がやって来たといってもよいのかもしれない。これらのマルチタッチインターフェースでは、画面上のカーソル位置とマウスなどのポインタの動きを頭の中で関連付けるのではなく、表示されたオブジェクトを直接、手や指で操作することができる。マルチタッチインターフェースは、今日の一般的なシングルタッチ、シングルフォーカスのインターフェースよりも、豊富な操作手段を提供する。iPhoneに採用された「マルチタッチスクリーン」は、指で操作する静電容量方式の技術をベースとする。コンテンツをスクロールするためのフリックや、コンテンツを拡大/縮小するためのピンチなどの操作が行える。

　米Perceptive Pixel社は、同社の技術を紹介するデモビデオを発表した。マルチタッチインターフェースにより可能となるさまざまな操作方法やコンテンツが紹介されている^＊6)。本稿執筆時点では、デモビデオが発表されたこと以外に新たな情報はないが、それでもいくつか言及しておくべき点がある。ディスプレイとタッチパネルの機能を兼ね備えた同社システムは壁掛け式で、一般的な家庭用ディスプレイよりもかなり大きい。デモビデオの中では、多くの場面において、複数の人間が同時にタッチディスプレイを操作していた。彼らは共同で作業している場合もあれば、それぞれ独立して異なるオブジェクトを操作している場合もある。デモビデオの大部分において、操作者は両手を同時に使い、短い時間に膨大な数の操作を行っている。3D仮想オブジェクトを操作する例は、おそらく今後実現される機能を象徴するものだろう。最後に部屋が暗くなり、センサーの実装方法がすべての環境に適しているわけではないことを暗示する。しかし、別の実装方法を利用すれば、暗い部屋においても明るい部屋と同程度の感度を実現することができるだろう。

　Microsoft社が2007年5月に発表したSurfaceは、マルチタッチインターフェースを備えたテーブル型パソコンである。2007年11月には製品の提供が始まる予定だ。Surfaceは、画面が表示されるテーブルの下部から、波長850nmの近赤外線を天板に照射し、物体や指がテーブル（ディスプレイ）の表面に触れたときの光の反射を複数の赤外線カメラを使って検出するという手法を用いている（図A）。近赤外線光を利用するため、周囲が明るい環境でも使用することが可能である。ソフトウエアが指、手、動き、およびその他の実際のオブジェクトを認識することができるように、ディスプレイ上部に凹凸加工された拡散板を設け、近赤外線の反射光をテーブルの下のカメラで撮像できるようにしている。Surfaceは、フリックやピンチなど、ほかのマルチタッチインターフェースと同等の操作機能に加えて、もう1つの斬新な機能を持つ。それは、複数ユーザーの手や指による操作を同時に認識するとともに、多くの現実のオブジェクトと仮想オブジェクトを同時に相互作用させる機能だ。テーブル型であるため、複数の人間、電子コンテンツ、現実のオブジェクトの間で実際に状態を目で追いながら行われる協調作業を自然に行える。

　現実のオブジェクトと仮想オブジェクトを結び付けるSurfaceの能力は、ジェスチャインターフェースの動作において非常に重要なものである。ユーザーが無線機器をディスプレイ上に置くと、Surfaceはそれらを認識し、無線機器との間で通信リンクを確立する。そして、Surfaceのディスプレイ上においてそれを丸で囲めばそれらを識別することができる。ユーザーは、テーブル上に配置された無線機器間で、写真などのコンテンツを、Surfaceインターフェースを使ってドラッグすることが可能だ。このデータ転送では、機器間のケーブルは不要で、実際の機器間における仮想的なオブジェクトの転送が自然なドラッグアンドドロップ操作により実行できる。