Afbeelding: NVIDIA
NVIDIA heeft NVIDIA Avatar Cloud Engine (ACE) for Games aangekondigd, een aangepaste AI-modelgietservice die heeft tot doel games te transformeren door intelligentie te brengen naar niet-speelbare personages (NPC’s) door middel van AI-aangedreven natuurlijke taalinteracties. De service maakt in feite game-ervaringen mogelijk waarin de speler intelligente, niet-gescripte en dynamische gesprekken kan voeren met NPC’s met aanhoudende persoonlijkheden die in de loop van de tijd evolueren, inclusief nauwkeurige gezichtsanimaties en-uitdrukkingen, hoewel een 4K-demovideo die werd uitgebracht om het platform te demonstreren suggereert dat de resulterende dialoog zou een beetje stijf en onnatuurlijk kunnen klinken. De video, die een belachelijk brede beeldverhouding heeft en waarin Jin, een ramenwinkelmedewerker, schittert, is gemaakt door het kunstteam van NVIDIA Lightspeed Studios en volledig weergegeven in Unreal Engine 5, met behulp van NVIDIA RTX Direct Illumination (RTXDI) voor raytraced-verlichting en schaduwen, met DLSS voor de hoogst mogelijke framesnelheden en beeldkwaliteit.
“Generatieve AI heeft het potentieel om een revolutie teweeg te brengen in de interactiviteit die spelers kunnen hebben met gamepersonages en om de onderdompeling in games dramatisch te vergroten”, aldus John Spitzer, vice-president president van ontwikkelaar en prestatietechnologie bij NVIDIA.”Voortbouwend op onze expertise in AI en tientallen jaren ervaring in het werken met game-ontwikkelaars, loopt NVIDIA voorop in het gebruik van generatieve AI in games.”
NVIDIA ACE for Games AI Foundation Models
NVIDIA NeMo, dat basistaalmodellen en modelaanpassingstools biedt, zodat ontwikkelaars de modellen verder kunnen afstemmen voor spelpersonages. Dit aanpasbare grote taalmodel (LLM) maakt specifieke achtergrondverhalen en persoonlijkheden van personages mogelijk die passen bij de gamewereld van een ontwikkelaar. Ontwikkelaars kunnen spelersinteracties binnen de context van een scène beter afstemmen via programmeerbare regels voor NPC’s met NeMo Guardrails. NVIDIA Riva, dat zorgt voor automatische spraakherkenning (ASR) en tekst-naar-speech (TTS) mogelijkheden om live spraakgesprekken mogelijk te maken met NVIDIA NeMo. NVIDIA Omniverse Audio2Face, waarmee direct vanuit een audiobron expressieve gezichtsanimaties voor gamepersonages worden gemaakt. Audio2Face beschikt over Omniverse-connectoren voor Unreal Engine 5, zodat ontwikkelaars gezichtsanimatie rechtstreeks aan MetaHuman-personages kunnen toevoegen.
Van een NVIDIA GeForce post:
De Kairos-demo maakte gebruik van NVIDIA Riva voor spraak-naar-tekst-en tekst-naar-spraak-mogelijkheden, NVIDIA NeMo om de conversatie-AI aan te sturen, en Audio2Face voor AI-aangedreven gezichtsanimatie op basis van spraakinvoer. Deze modules zijn naadloos geïntegreerd in het Convai-servicesplatform en ingevoerd in Unreal Engine 5 en MetaHuman om Jin tot leven te brengen.
Game-ontwikkelaars en startups maken al gebruik van NVIDIA generatieve AI-technologieën. Zo gebruikt GSC Game World Audio2Face in de langverwachte S.T.A.L.K.E.R. 2 Hart van Tsjernobyl. En indie-ontwikkelaar Fallen Leaf gebruikt Audio2Face voor gezichtsanimatie van personages in Fort Solis, hun third-person scifi-thriller die zich afspeelt op Mars. Daarnaast gebruikt Charisma.ai, een bedrijf dat virtuele karakters mogelijk maakt via AI, Audio2Face om de animatie in hun conversatie-engine aan te sturen.
Doe mee aan de discussie voor dit bericht op onze forums…
