Calificaciones del editor: Calificaciones de los usuarios:[Total: 0 Promedio: 0] @media(min-width: 500px) { } @media(min-width: 800px) { }
Shap-E de OpenAI es un modelo libre de generación de texto a imagen, pero en lugar de generar imágenes simples, puede crear objetos 3D. Alternativamente, también puede convertir una imagen existente a 3D. Es de código abierto y puede ejecutarlo localmente si lo desea. Además, hay disponible una versión alojada en línea de esta herramienta que mencionaré más adelante en esta publicación.
La IA ha recorrido un largo camino. Todos los días se lanzan herramientas y productos interesantes y, por lo tanto, la comunidad de código abierto no se queda atrás. Después de FreedomGPT y Alpaca, ahora tenemos un notable convertidor de texto de código abierto a objetos 3D de OpenAI. Shap-E después de recibir un mensaje de texto de usted, genera un archivo GLB que es un formato de archivo 3D para guardar y ver formas 3D.
Ambas herramientas; texto a 3D e imagen a 3D están disponibles en el mismo modelo Shap-E. Incluso ofrece portátiles Jupyter por lo mismo que puede ejecutar fácilmente en Jupyter Lab o Google Colab. Además, si desea explorar el código, puede hacerlo.
Uso de Shap-E de OpenAI para convertir texto en objetos 3D:
Como mencioné ya entonces puede ejecutar Shap-E localmente. Pero eso requerirá que tenga una PC de gama alta con altos requisitos de GPU y CPU. Si no tiene ese lujo, simplemente puede probar el modelo en Hugging Face aquí.
Hugging Face es una plataforma gratuita donde las personas pueden implementar sus modelos de IA. La interfaz alojada de Shap-E se ve así.
Ahora, simplemente ingrese algo de texto para crear un objeto 3D. Mantenga el aviso corto y simple. Después de eso, inicie la herramienta y luego espere unos segundos.
Unos segundos más tarde, verá que generará un objeto 3D para usted. Puede interactuar completamente con el diseño de objetos 3D que generó para usted. Puede hacer zoom y verlo desde cualquier ángulo.
Para guardarlo en su PC, puede usar el botón de descarga en la esquina superior derecha. Se descargará un GLB y luego podrá usar esa edición adicional en un software de edición 3D que admita el formato GLB.
Hay instrucciones preparadas que puede usar para renderizar 3D rápidamente. Estos están aquí solo para mostrarle una idea de lo que es capaz de hacer.
Uso de Shap-E de OpenAI para convertir imágenes a 3D:
Otra cosa que puede hacer es convertir un Imagen de objeto 2D en 3D. Esta parte de Shap-E es un poco tosca y no arroja resultados muy satisfactorios. Sin embargo, aún puede intentarlo y quizás luego editar el archivo del objeto 3D para corregir los colores y otras irregularidades.
Cambie a la pestaña Imagen a 3D y luego cargue una imagen allí. Asegúrese de que la imagen que va a cargar tenga un fondo transparente y que el objeto 2D sea claramente visible.
Haga clic en Ejecutar y luego espere el resultado. Después de unos segundos, verá que generará la versión 3D de la imagen que envió. La salida es la misma que la anterior. Puede ver e inspeccionar el objeto 3D y descargar el resultado en un archivo GLB.
De esta manera, puede usar la herramienta Image to 3D de Shap-E para crear objetos 3D a partir de texto e imágenes. En este momento, está en desarrollo y espero que se mejore en las actualizaciones posteriores.
Reflexiones finales:
Shap-E ofrece una forma completamente nueva de generación de imágenes de IA. Los objetos 3D que genera se pueden utilizar para diversos fines. Me gustó el concepto general, y también funciona muy bien para generar objetos simples. Pero todavía hay margen de mejora, y espero que los desarrolladores y mantenedores refinen el modelo para generar resultados más precisos que requieran una edición mínima de publicación.
