O Google revelou originalmente seu sistema generativo de IA 3D chamado Dream Fields em 2021, e agora uma versão nova e aprimorada chegou.
A nova geração artificial do Google software de inteligência projetado para converter texto em imagens geradas em 3D é chamado DreamFusion. Então, como isso funciona? Em um novo documento de prova de conceito publicado no servidor de pré-impressão arXiv, os pesquisadores destacaram que o Dream Fusion, assim como o Dream Fields, usa uma rede neural chamada Neural Radiance Field (NeRF), projetada para novas visualizações gerais de cenas 3D complexas usando conjuntos de dados 2D.
No entanto, o DreamFusion tem adotou uma abordagem diferente do Dream Fields, conforme explicado pelo cientista de pesquisa do Google Ben Poole, que escreveu no Twitter que a equipe substituiu a tecnologia CLIP da OpenAI que alimentava o Dream Fields pelo próprio modelo de IA do Google chamado Imagen. Os modelos 3D vistos acima e abaixo não são tão fotorrealistas quanto o que vimos com Midjourney. No entanto, eles certamente ainda são impressionantes, pois os modelos 3D têm geometria de superfície precisa, profundidade e são ainda reilumináveis para várias condições de iluminação.
Além disso, Poole explica no Twitter que vários modelos 3D gerados pelo DreamFusion podem até ser lançados em uma única cena.
“Estamos empolgados em incorporar nossos métodos com modelos de código aberto e permitir um novo futuro para a geração 3D!“escreveu Poole. p>
“Nossa abordagem não requer dados de treinamento 3D nem modificações no modelo de difusão de imagem, demonstrando a eficácia de modelos de difusão de imagem pré-treinados como prioritários,“pesquisa do Google equipe escreve.
Se você estiver interessado em conferir os modelos 3D por si mesmo, acesse o site da DreamFusion aqui.
