Google は AI を使って非常に素晴らしいことを行ってきましたが、このテクノロジーの最も素晴らしい応用例の 1 つは、同社が Google I/O で発表したハンズフリー AI 搭載ゲーミング マウスである、新しく明らかになった Project Gameface でしょう。 2023 年。
AI 技術のおかげで、Web カメラの助けを借りて、Project Gameface を使用して、通常は移動にマウスが必要な PC ゲームをプレイできるようになりました。ウェブカメラを利用して顔をスキャンし、頭の動きや顔のジェスチャーを探すことで機能します。これらの動きやジェスチャーは、ゲーム内のキャラクターの動きに変換されます。
コントロールもかなり堅牢で直感的です。 Gameface ソフトウェアを使用すると、ほとんどすべてのキーとマウスのバインドを設定できます。たとえば、口を開けることをマウスの左クリックに設定できます。ただし、他にもあらゆる種類の動きやジェスチャーのオプションがあります。微笑んだり、左を向いたり、左眉を上げたりすることも含まれます。入力を中継するために、それらの動きやジェスチャーをどの程度目立たせる必要があるかを設定することもできます。これにより、ソフトウェアがさまざまなユーザーのニーズにさらに適応できるようになります。
Project Gameface は、Google のオープンソース MediaPipe ソリューションを使用しており、さまざまな AI モデルをリンクして出力を提供します。出力は「顔上の 468 点のメッシュであり、マウスの動きやクリックなどのテレメトリに変換されます」と Google の主任 AI アドボケート、ローレンス・モロニー氏は述べています。
モロニー氏は、これはデバイス上でネイティブに実行され、「このテクノロジーの最も驚くべき点の 1 つは、ウェブカメラからの入力のみが必要な点です。」
Project Gameface はゲーム ストリーマーの Lance Carr と共同設計されています
誰が誰なのか気になるかもしれません。ランス・カーです。さて、ご紹介しましょう。ランス・カーは、筋ジストロフィーを抱えて生きるゲームストリーマーです。この病気について少しでも知っている人なら、この病気によって筋肉が弱くなり、ほとんどすべてのことを行うのが困難になる可能性があることをご存知でしょう。ゲームも含めて。ここで Google が登場します。ランスの家は 2021 年にディアブロ II のストリーミングプレイ中に全焼しました。ゲームをプレイできるようにした適応型ヘッドトラッキング マウスなど、彼の高価な機器すべてとともに。
Google はこの話を聞きつけ、ランスに連絡を取りました。間もなく、Google と Lance の間で Project Gameface を共同設計する作業が始まりました。 Lance さんの希望は、このテクノロジーが生活を楽にするためにそれを使用できるすべての人に提供されることです。
Google はこのテクノロジーのコードもオープンソースにしており、本日からプレビューが公開されます。Google の GitHub リポジトリで確認してください。
