Google presentó originalmente su sistema generativo de IA 3D llamado Dream Fields en 2021, y ahora ha llegado una versión nueva y mejorada.
La nueva tecnología artificial de próxima generación de Google El software de inteligencia diseñado para convertir texto en imágenes generadas en 3D se llama DreamFusion. ¿Entonces, cómo funciona esto? En un nuevo documento de prueba de concepto publicado en el servidor de preimpresión arXiv, los investigadores destacaron que Dream Fusion, al igual que Dream Fields, usa una red neuronal llamada Neural Radiance Field (NeRF) que está diseñada para vistas generales novedosas de escenas 3D complejas usando conjuntos de datos 2D.
Sin embargo, DreamFusion tiene tomó un enfoque diferente al de Dream Fields, como lo explicó el científico investigador de Google Ben Poole, quien escribió en Twitter que el equipo reemplazó la tecnología CLIP de OpenAI que impulsó Dream Fields con el propio modelo de IA de Google llamado Imagen. Los modelos 3D que se ven arriba y abajo no son tan fotorrealistas como los que hemos visto con Midjourney. Sin embargo, siguen siendo impresionantes, ya que los modelos 3D tienen una geometría de superficie precisa, profundidad e incluso se pueden volver a encender para diversas condiciones de iluminación.
Además, Poole explica en Twitter que varios modelos 3D generados por DreamFusion pueden incluso arrojarse en una sola escena.
“¡Estamos emocionados de incorporar nuestros métodos con modelos de código abierto y habilitar un nuevo futuro para la generación 3D!“, escribió Poole. p>
“Nuestro enfoque no requiere datos de entrenamiento en 3D ni modificaciones en el modelo de difusión de imágenes, lo que demuestra la eficacia de los modelos de difusión de imágenes previamente entrenados,“la investigación de Google escribe el equipo.
Si está interesado en ver los modelos 3D por sí mismo, diríjase al sitio web de DreamFusion aquí.