Imagem: NVIDIA
O Omniverse Audio2Face da NVIDIA é uma ferramenta que usa núcleos tensores RTX AI para sincronizar áudio com animações de vídeo. O download é gratuito e requer uma placa gráfica RTX com pelo menos 6 GB VRAM e Windows 10 (compilação 1909 ou superior). Audio2Face é a mais recente expansão da plataforma aberta Omniverse da NVIDIA para colaboração de conteúdo virtual.
Audio2Face simplifica a animação de um personagem 3D para corresponder a qualquer faixa de narração, esteja você animando personagens para um jogo, filme, assistentes digitais em tempo real ou apenas por diversão. Você pode usar o aplicativo para aplicativos interativos em tempo real ou como uma ferramenta de criação de animação facial tradicional. Execute os resultados ao vivo ou leve-os ao forno, você decide.
A NVIDIA também forneceu vídeos tutoriais em seu sob demanda . Os usuários podem aprender como incorporar o software e ver muitos exemplos. O modelo de personagem 3D incluído é chamado de Marca Digital. Alguns exemplos mostram que a qualidade do áudio influencia a capacidade do software de sincronizar corretamente com o vídeo.
Demonstrações do Omniverse Audio2Face
Existem vídeos de demonstração apresentando vários recursos como troca de rosto, conversão de dados incluindo conversão de forma de mistura e também exportação de blendweight junto com opções de exportação para Unreal Engine 4. Vídeos mais detalhados mostram a complexidade de animações faciais mais detalhadas, como alienígenas e cenários completamente recriados e de Mount & Blade II: Bannerlord. O software também pode funcionar com qualquer idioma.
Diz-se que Audio2Face processa qualquer idioma facilmente e a equipe está continuamente atualizando-o com mais e mais idiomas. A ferramenta também pode ser usada para animar personagens estilizados ou alienígenas humanóides, por exemplo.
Há até um vídeo do CEO da NVIDIA, Jensen Huang, interagindo com um bot meteorológico de IA usando o software para criar suas animações faciais e áudio sincronizado.
Fonte: NVIDIA (via 80.LV , PC Ga mer )
Notícias recentes
9 de novembro de 2021 9 de novembro de 2021 
Noctua anuncia coolers NH-L9i de baixo perfil para processadores Intel Core de 12ª geração
9 de novembro de 2021 9 de novembro de 2021 
Patty Jenkins’Star Wars: Rogue Squadron Film foi atrasado indefinidamente
9 de novembro de 2021 9 de novembro de 2021 
Denuvo Explica por que vários jogos de PC usando seu DRM não podiam ser reproduzidos durante o fim de semana
9 de novembro de 2021 9 de novembro de 2021 
NVIDIA apresenta a GPU A2 Tensor Core, oferece 20 por cento mais desempenho de inferência do que CPUs
9 de novembro de 2021 9 de novembro de 2021 
Samsung anuncia o primeiro LPDDR5X DRAM da indústria com velocidades de até 8,5 Gbps
9 de novembro de 2021 9 de novembro de 2021
