目の動きでピアノも弾ける！ 『FOVE』は世界初の視線追跡技術を利用したHMD

文：あべくん

　5月19日、秋葉原のDMM.make AKIBA Baseでスゴい体験をしてきました。まずは下の動画をご覧ください。

●動画：Eye Play the Piano

　これは、世界初の視線追跡型仮想現実ヘッドマウントディスプレイ『FOVE』のキックオフイベントで公開されたものです。本イベントは、クラウドファンディングサービス“キックスターター”による資金調達と先行予約を行うことを目的に開催されました。

■感情でキャラクターとコミュニケーションをとれる時代が来る

　イベントは、FOVEのCEO・小島由香さんによるプレゼンテーションからスタートしました。冒頭では「VRには3段階の進化がある」とコメント。

　小島さんの考えでは「第1世代はその世界の中に存在するという意味の“プレゼンス（存在感）”。第2世代はハンドトラッキングやモーションコントローラによる“コントロール”で、VRの世界にどう関わっていくか」ということまでが、これまでのVRで追求されてきたものであるとのことです。

　そして第3世代としてあげたのが“感情表現”。「感情をVRの世界に持ち込む」ことを目標にしているとのことでした。

▲視線の動きで文字を入力することもできます。

▲『FOVE』では、感情を持ってVR世界のキャラクターとコミュニケーションをとれるようにすることが可能になると述べていました。

　そして、現状のVRの課題として、ゲームをプレイする際に右目と左目で見ている部分が違うのでエイミングにズレが生じるということを挙げていました。『FOVE』ではこの課題に対し、視線追跡機能を使うことで解決しようと考えているようです。

　視線追跡機能については、FPSのデモを用いての解説が行われました。視線で操作を行うことで、マウス以上の直観的な操作ができるようになるそうです。

▲視線で敵に狙いを定めて撃ち落とすゲーム。動作は非常に快適でした。

　また、『FOVE』は“フォビエイテッドレンダリング”と呼ばれる技術を使うことで、ノートPCやスマホでもAAAタイトルを遊べるようにすることを目標に掲げているとのこと。この技術は、ユーザーが観ている部分以外の解像度を下げることで、コンピュータへの負荷を減らすというものです。

　観ている部分にレンダリングパワーを集中させて他のパワーを落とすことで、コンピュータの負荷を1/6程度にまで落とせるとのことでした。

▲赤い円で囲まれた部分がユーザーが観ている部分です。囲まれた範囲は他に比べて高解像度になっています。

　ゲーム以外の分野では、AL（S筋萎縮性側索硬化症）の患者さんが視線でコミュニケーションロボットを操作できるようにするなど、医療などにおけるコミュニケーションの形を探ってもいるようです。実際に、目でピアノを弾く“Eye Play the Piano”という試みもすでに行われており、あらゆる分野に挑戦しているとのことでした。

▲目の動きでグランドピアノを演奏。その模様を収めたビデオが公開されましたが、とてもスムーズな演奏でした。演奏にあわせての合唱も美しかったですね。

　プレゼンの後は、女優・池澤あやかさんとFOVEのCTO・Lochlainn Wilsonさん、そして小島さんの3名によるトークセッションも行われました。トークセッションでは、池澤さんが『FOVE』の世界を体験。

▲左から小島由香さん、Lochlainn Wilsonさん、池澤あやかさん。

　体験を行うにあたって、目のキャリブレーションの様子が公開されたのですが、非常にスムーズに認識していました。体験では目からビームを放ち、敵を撃破していくゲームに挑戦することに。

▲キャリブレーションからゲーム開始までの時間はかなり短かったです。

▲プレイ中の様子。池澤さんは「かなりおもしろいゲームが登場しそう」とコメントしていました。

　ゲームプレイ後の感想を聞くと池澤さんは「VRは過去に体験したことがあったものの、それでも新しい体験だった」とコメントしていました。またVRの課題の1つである“VR酔い”もまったく感じなかったようです。

　これは、あえて観ているもの以外のピントをズラすことで、実際の視線と近いものにできたことが大きいとLochlainnがコメント。「現在のVRで主流のヘッドトラッキングは酔いの原因になりやすいが、目の動きだけなら少しの動きで大丈夫なのでVR酔いを軽減できるのだと思う」と小島さんも語っていました。

　今後の展開としては、キックスターターの先行予約数を見て、来年の春にはデベロッパーズキットを用意したいと語った小島さん。今後はフェイシャルリコグニーションシステム（顔の認識機能）やポータブルといった構想もあるようです。「顔の認識ができれば『ソードアート・オンライン』のような世界が再現できるかも」と、小島さんは夢を語っていました。

　セッションの後半では、筑波大学附属桐が丘特別支援学校高等部3年生の沼尻光太さんがゲストとして登場しました。彼は先ほど述べた、目でピアノを弾く“Eye Play the Piano”で実際に演奏を行った方です。

▲今回は、時間の都合などもあり彼の演奏を聴くことはできませんでしたが、今も新しい曲に挑戦しているとのことです。

　最後に『FOVE』を体験することができました。まず感じたのは着用するたびに視線のキャリブレーションを行うので、観ている部分とのズレを感じることなくVRの世界に没入できたということです。キャリブレーション自体もスムーズで、ストレスを感じません。

　ゲーム自体も視線だけで敵を撃破できるというのが想像以上に快感で、直観的に楽しむことができました。首を動かす必要もないので疲労も感じにくいです。

　視線追跡というVRの新たな可能性を提示した『FOVE』。今後の動向に注目していこうと思います。

• 『FOVE』キックスターターサイトはこちら

関連サイト

• 『FOVE』キックスターターサイト