Imagen: NVIDIA
NVIDIA ha anunciado NVIDIA Avatar Cloud Engine (ACE) para juegos, un servicio personalizado de fundición de modelos de IA que tiene como objetivo transformar los juegos aportando inteligencia a los personajes no jugables (NPC) a través de interacciones de lenguaje natural impulsadas por IA. Básicamente, el servicio permite experiencias de juego en las que el jugador puede tener conversaciones inteligentes, sin guión y dinámicas con NPC con personalidades persistentes que evolucionan con el tiempo, incluidas animaciones y expresiones faciales precisas, aunque un video de demostración 4K que se lanzó para mostrar la plataforma sugiere que el diálogo resultante puede sonar un poco rígido y poco natural. El video, que tiene una relación de aspecto ridículamente amplia y está protagonizado por Jin, un trabajador de una tienda de ramen, fue creado por el equipo de arte de NVIDIA Lightspeed Studios y renderizado completamente en Unreal Engine 5, usando NVIDIA RTX Direct Illumination (RTXDI) para iluminación con trazado de rayos y sombras, con DLSS para obtener las velocidades de cuadro y la calidad de imagen más altas posibles.
“La IA generativa tiene el potencial de revolucionar la interactividad que los jugadores pueden tener con los personajes del juego y aumentar drásticamente la inmersión en los juegos”, dijo John Spitzer, vicepresidente presidente de desarrollo y tecnología de rendimiento en NVIDIA. “Sobre la base de nuestra experiencia en IA y décadas de experiencia trabajando con desarrolladores de juegos, NVIDIA está encabezando el uso de IA generativa en juegos”.
NVIDIA ACE for Games AI Foundation Models
NVIDIA NeMo, que proporciona modelos de lenguaje básico y herramientas de personalización de modelos para que los desarrolladores puedan ajustar aún más los modelos. para los personajes del juego. Este modelo de lenguaje grande personalizable (LLM) permite historias de fondo y personalidades de personajes específicos que se adaptan al mundo del juego de un desarrollador. Los desarrolladores pueden alinear mejor las interacciones de los jugadores dentro del contexto de una escena a través de reglas programables para NPC con NeMo Guardrails. NVIDIA Riva, que proporciona reconocimiento automático de voz (ASR) y texto a-capacidades de voz (TTS) para habilitar la conversación de voz en vivo con NVIDIA NeMo. NVIDIA Omniverse Audio2Face, que crea instantáneamente animaciones faciales expresivas para los personajes del juego desde solo una fuente de audio. Audio2Face presenta conectores Omniverse para Unreal Engine 5, por lo que los desarrolladores pueden agregar animación facial directamente a los personajes de MetaHuman.
De una NVIDIA GeForce publicación:
La demostración de Kairos aprovechó NVIDIA Riva para capacidades de conversión de voz a texto y de texto a voz, NVIDIA NeMo para potenciar la IA conversacional, y Audio2Face para animación facial impulsada por IA a partir de entradas de voz. Estos módulos se integraron a la perfección en la plataforma de servicios de Convai y se incorporaron a Unreal Engine 5 y MetaHuman para dar vida a Jin.
Los desarrolladores de juegos y las nuevas empresas ya están utilizando las tecnologías de IA generativa de NVIDIA. Por ejemplo, GSC Game World está usando Audio2Face en el tan esperado S.T.A.L.K.E.R. 2 Corazón de Chernobyl. Y el desarrollador independiente Fallen Leaf está usando Audio2Face para la animación facial de personajes en Fort Solis, su thriller de ciencia ficción en tercera persona ambientado en Marte. Además, Charisma.ai, una empresa que habilita personajes virtuales a través de IA, está aprovechando Audio2Face para potenciar la animación en su motor de conversación.
Únase a la discusión de esta publicación en nuestros foros…
