Google hat einige ziemlich coole Dinge mit KI gemacht, aber eine der coolsten Anwendungen der Technologie ist wohl das neu vorgestellte Project Gameface, eine freihändige, KI-betriebene Gaming-Maus, die das Unternehmen auf der Google I/O angekündigt hat 2023.
Mit Hilfe einer Webcam könnte man Project Gameface dank der KI-Technologie nutzen, um PC-Spiele zu spielen, für deren Bewegung normalerweise eine Maus erforderlich wäre. Dabei scannt die Webcam das Gesicht und sucht nach Kopfbewegungen und Gesichtsgesten. Diese Bewegungen und Gesten werden dann in Bewegungen des eigenen Charakters im Spiel umgesetzt.
Auch die Steuerung ist ziemlich robust und intuitiv. Mit der Gameface-Software können Sie für praktisch alles Tasten-und Mausbelegungen einrichten. Das Öffnen des Mundes könnte beispielsweise auf den linken Mausklick eingestellt werden. Es gibt jedoch auch viele andere Bewegungs-oder Gestenoptionen. Einschließlich Lächeln, nach links schauen oder die linke Augenbraue heben. Sie können sogar festlegen, wie deutlich diese Bewegungen oder Gesten hervorgehoben werden müssen, um die Eingabe weiterzuleiten. Dies sollte dazu beitragen, dass die Software besser an die Bedürfnisse verschiedener Benutzer angepasst werden kann.
Project Gameface nutzt die Open-Source-MediaPipe-Lösung von Google, die verschiedene KI-Modelle miteinander verknüpft, um Ihnen ein Ergebnis zu liefern. Die Ausgabe ist „ein Netz aus 468 Punkten auf Ihrem Gesicht, die dann in Telemetrie wie Mausbewegungen oder Klicks umgewandelt werden“, sagt Laurence Moroney, Lead AI Advocate bei Google.
Moroney gibt an, dass es nativ auf Geräten läuft und „ Eines der erstaunlichsten Dinge an der Technologie ist, dass nur ein Input von einer Webcam benötigt wird.“
Project Gameface wurde gemeinsam mit Game-Streamer Lance Carr entwickelt
Sie fragen sich vielleicht, wer Lance Carr ist. Dann lassen Sie sich von uns vorstellen. Lance Carr ist ein Game-Streamer, der an Muskeldystrophie leidet. Wenn Sie mit der Krankheit vertraut sind, wissen Sie, dass sie Ihre Muskeln schwächt und es schwieriger machen kann, fast alles zu tun. Einschließlich Gaming. Hier kommt Google ins Spiel. Lances Haus brannte im Jahr 2021 nieder, als er Diablo II im Stream spielte. Zusammen mit all seiner teuren Ausrüstung, einschließlich der adaptiven Head-Tracking-Maus, mit der er Spiele spielen konnte.
Google erfuhr von der Geschichte und wandte sich an Lance. Bald begannen Google und Lance mit der gemeinsamen Gestaltung des Projekts Gameface. Lances Hoffnung ist, dass diese Technologie jedem zur Verfügung gestellt werden kann, der sie nutzen kann, um sein Leben einfacher zu machen.
Google hat den Code für die Technologie ebenfalls als Open Source bereitgestellt und ist sogar in eine Vorschau von heute für diejenigen, die es sich im GitHub-Repository von Google ansehen möchten.
