Google heeft behoorlijk coole dingen gedaan met AI, maar een van de coolste toepassingen van de technologie moet het onlangs onthulde Project Gameface zijn, een handsfree AI-aangedreven gamingmuis die het bedrijf aankondigde op Google I/O 2023.
Met behulp van een webcam zou men Project Gameface kunnen gebruiken om pc-games te spelen waarvoor normaal gesproken een muis nodig is om te bewegen, dankzij de AI-technologie. Het werkt door de webcam te gebruiken om het gezicht te scannen en te zoeken naar hoofdbewegingen en gezichtsgebaren. Die bewegingen en gebaren vertalen zich vervolgens naar in-game bewegingen van iemands personage.
De besturing is ook behoorlijk robuust en intuïtief. Met de Gameface-software kun je voor vrijwel alles toets-en muisbindingen instellen. Het openen van uw mond kan bijvoorbeeld worden ingesteld op de linkermuisknop. Hoewel er ook allerlei andere bewegings-of gebaaropties zijn. Inclusief glimlachen, naar links kijken of je linkerwenkbrauw optrekken. U kunt zelfs instellen hoe prominent die bewegingen of gebaren moeten zijn om de invoer door te geven. Dit zou de software moeten helpen beter aan te passen aan de behoeften van verschillende gebruikers.
Project Gameface maakt gebruik van de open-source MediaPipe-oplossing van Google, die verschillende AI-modellen aan elkaar koppelt om u een output te geven. De output is”een maaswijdte van 468 punten op je gezicht die vervolgens worden omgezet in telemetrie zoals muisbewegingen of klikken”, zegt Google’s hoofd-AI-advocaat Laurence Moroney.
Moroney stelt dat het native werkt op apparaten en”een van de meest verbazingwekkende dingen van de technologie is dat er alleen input van een webcam nodig is.”
Project Gameface is mede ontworpen met gamestreamer Lance Carr
Je vraagt je misschien af wie Lance Carr is. Nou, laten we je voorstellen. Lance Carr is een gamestreamer die leeft met spierdystrofie. Als je enigszins bekend bent met de ziekte, dan weet je dat het je spieren verzwakt en het uitdagender kan maken om bijna alles te doen. Inclusief gamen. Hier komt Google om de hoek kijken. Het huis van Lance brandde in 2021 af terwijl hij Diablo II aan het spelen was. Samen met al zijn dure apparatuur, waaronder de adaptieve head-tracking-muis waarmee hij games kon spelen.
Google kreeg lucht van het verhaal en nam contact op met Lance. Al snel begon het werk tussen Google en Lance om samen Project Gameface te ontwerpen. Lance’s hoop is dat deze technologie kan worden gegeven aan iedereen die het zou kunnen gebruiken om hun leven gemakkelijker te maken.
Google heeft de code voor de technologie ook open-source gemaakt en is zelfs beschikbaar in een voorbeeld van vandaag voor degenen die het willen bekijken in de GitHub-repository van Google.
