Google robi całkiem fajne rzeczy ze sztuczną inteligencją, ale jednym z najfajniejszych zastosowań tej technologii musi być nowo ujawniony Project Gameface, bezdotykowa mysz do gier zasilana sztuczną inteligencją, którą firma ogłosiła na Google I/O 2023.
Za pomocą kamery internetowej można było używać Project Gameface do grania w gry na PC, które normalnie wymagałyby myszy do poruszania się, dzięki technologii AI. Działa, wykorzystując kamerę internetową do skanowania twarzy i wyszukiwania ruchów głowy i gestów twarzy. Te ruchy i gesty przekładają się następnie na ruchy postaci w grze.
Sterowanie jest dość solidne i intuicyjne. Oprogramowanie Gameface pozwala skonfigurować powiązania klawiszy i myszy dla prawie wszystkiego. Na przykład otwieranie ust można ustawić na kliknięcie lewym przyciskiem myszy. Chociaż istnieje również wiele innych opcji ruchu lub gestów. W tym uśmiechanie się, patrzenie w lewo lub unoszenie lewej brwi. Możesz nawet ustawić, jak ważne byłyby te ruchy lub gesty, aby przekazać dane wejściowe. Co powinno ułatwić dostosowanie oprogramowania do potrzeb różnych użytkowników.
Project Gameface korzysta z rozwiązania Google MediaPipe typu open source, które łączy różne modele sztucznej inteligencji w celu uzyskania danych wyjściowych. Dane wyjściowe to „siatka 468 punktów na twojej twarzy, które są następnie konwertowane na dane telemetryczne, takie jak ruchy myszy lub kliknięcia” — mówi główny rzecznik Google ds. sztucznej inteligencji, Laurence Moroney.
Moroney twierdzi, że działa natywnie na urządzeniach i „ jedną z najbardziej niesamowitych rzeczy w tej technologii jest to, że potrzebuje tylko wejścia z kamery internetowej”.
Project Gameface jest współtworzony z streamerem gier Lance’em Carrem
Możesz się zastanawiać, kto Lancem Carrem jest. Cóż, pozwól nam się przedstawić. Lance Carr jest streamerem gier, który cierpi na dystrofię mięśniową. Jeśli w ogóle znasz tę chorobę, wiesz, że osłabia ona twoje mięśnie i może utrudniać robienie prawie wszystkiego. Łącznie z grami. I tu wkracza Google. Dom Lance’a spłonął w 2021 roku podczas streamowania gry w Diablo II. Wraz z całym jego drogim sprzętem, w tym adaptacyjną myszką śledzącą ruchy głowy, która pozwalała mu grać w gry.
Google podchwyciło tę historię i skontaktowało się z Lance’em. Wkrótce rozpoczęły się prace między Google i Lance nad wspólnym projektem Project Gameface. Lance ma nadzieję, że ta technologia będzie dostępna dla każdego, kto może jej użyć, aby ułatwić sobie życie.
Google również udostępnił kod tej technologii jako open source i jest nawet dostępny w podgląd z dzisiaj dla tych, którzy chcą to sprawdzić w repozytorium Google GitHub.
