O Google tem feito coisas muito legais com a IA, mas uma das aplicações mais legais da tecnologia é o recém-revelado Projeto Gameface, um mouse para jogos com IA sem as mãos que a empresa anunciou no Google I/O 2023.
Com a ajuda de uma webcam, pode-se usar o Project Gameface para jogar jogos de PC que normalmente exigiriam um mouse para movimento, graças à tecnologia AI. Ele funciona utilizando a webcam para escanear o rosto e procurar movimentos da cabeça e gestos faciais. Esses movimentos e gestos se traduzem em movimentos do personagem no jogo.
Os controles são bastante robustos e intuitivos também. O software Gameface permite que você configure teclas e mouse para praticamente tudo. Abrir a boca, por exemplo, pode ser definido como o clique esquerdo do mouse. Embora existam todos os tipos de outras opções de movimento ou gesto também. Incluindo sorrir, olhar para a esquerda ou levantar a sobrancelha esquerda. Você pode até definir o quão proeminentes esses movimentos ou gestos precisariam ser para retransmitir a entrada. O que deve ajudar o software a ser mais adaptável às necessidades de diferentes usuários.
O Projeto Gameface usa a solução MediaPipe de código aberto do Google, que vincula diferentes modelos de IA para fornecer uma saída. O resultado é “uma malha de 468 pontos em seu rosto que são então convertidos em telemetria, como movimento ou cliques do mouse”, diz Laurence Moroney, principal advogado de IA do Google.
Moroney afirma que ele é executado nativamente em dispositivos e “ uma das coisas mais incríveis sobre a tecnologia é que só precisa de uma entrada de uma webcam.”
O projeto Gameface foi co-projetado com o streamer de jogos Lance Carr
Você deve estar se perguntando quem Lance Carr é. Bem, deixe-nos apresentá-lo. Lance Carr é um streamer de games que vive com distrofia muscular. Se você está familiarizado com a doença, sabe que ela enfraquece seus músculos e pode tornar mais difícil fazer quase tudo. Incluindo jogos. É aqui que entra o Google. A casa de Lance pegou fogo em 2021 enquanto jogava Diablo II. Junto com todo o seu equipamento caro, incluindo o mouse de rastreamento de cabeça adaptável que permitia que ele jogasse.
O Google soube da história e entrou em contato com Lance. O trabalho logo começou entre Google e Lance para co-projetar o Projeto Gameface. A esperança de Lance é que essa tecnologia possa ser fornecida a todos que possam usá-la para facilitar suas vidas.
O Google também tornou o código da tecnologia de código aberto e está disponível até mesmo em uma prévia de hoje para quem quiser conferir no repositório GitHub do Google.
