Google 一直在用 AI 做一些很酷的事情,但該技術最酷的應用之一必須是新推出的 Project Gameface,這是該公司在 Google I/O 上宣布的一款免提 AI 驅動的遊戲鼠標2023.
借助 AI 技術,在網絡攝像頭的幫助下,人們可以使用 Project Gameface 玩通常需要鼠標移動的 PC 遊戲。它的工作原理是利用網絡攝像頭掃描面部並尋找頭部運動和麵部表情。然後,這些動作和手勢會轉化為角色在遊戲中的動作。
控制也相當穩健和直觀。 Gameface 軟件允許您為幾乎所有內容設置鍵和鼠標綁定。例如張開嘴可以設置為鼠標左鍵單擊。儘管還有各種其他移動或手勢選項。包括微笑、向左看或揚左眉。您甚至可以設置這些動作或手勢需要多突出才能傳遞輸入。這應該有助於軟件更適應不同用戶的需求。
Project Gameface 使用 Google 的開源 MediaPipe 解決方案,它將不同的 AI 模型鏈接在一起,為您提供輸出。輸出是“你臉上 468 個點的網格,然後將其轉換為遙測,如鼠標移動或點擊,”谷歌的首席 AI 倡導者 Laurence Moroney 說。
Moroney 表示它在設備上本地運行並且“這項技術最令人驚奇的事情之一是只需要網絡攝像頭的輸入。”
Project Gameface 是與遊戲流媒體 Lance Carr 共同設計的
你可能想知道誰蘭斯卡爾是。好吧,讓我們給你介紹一下。 Lance Carr 是一位患有肌肉萎縮症的遊戲主播。如果您完全熟悉這種疾病,那麼您就會知道它會削弱您的肌肉,並使幾乎所有事情都變得更具挑戰性。包括遊戲。這就是谷歌的用武之地。蘭斯的房子在 2021 年直播玩暗黑破壞神 II 時被燒毀。連同他所有昂貴的設備,包括允許他玩遊戲的自適應頭部跟踪鼠標。
Google 聽說了這個故事並聯繫了 Lance。 Google 和 Lance 很快開始合作設計 Project Gameface。 Lance 的希望是,這項技術可以提供給所有可以使用它來讓他們的生活更輕鬆的人。
Google 也已將這項技術的代碼開源,甚至可以在 今天的預覽,供那些想在 Google 的 GitHub 存儲庫中查看的人使用。