Avaliações do editor: Avaliações do usuário:[Total: 0 Average: 0] @media(min-width: 500px) { } @media(min-width: 800px) { }
Shap-E da OpenAI é um modelo de geração de texto para imagem livre, mas em vez de gerar imagens simples, ele pode criar objetos 3D. Como alternativa, ele também pode converter uma imagem existente em 3D. É de código aberto e você pode executá-lo localmente, se desejar. Além disso, há uma versão hospedada on-line desta ferramenta disponível que mencionarei mais adiante neste post.
A IA já percorreu um longo caminho. Ferramentas e produtos interessantes estão sendo lançados todos os dias e, portanto, a comunidade de código aberto não fica para trás. Depois do FreedomGPT e do Alpaca, agora temos um notável conversor de texto em código aberto para objetos 3D da OpenAI. Shap-E depois de obter um prompt de texto de você, gera um arquivo GLB que é um formato de arquivo 3D para salvar e visualizar formas 3D.
Ambas as ferramentas; texto para 3D e imagem para 3D estão disponíveis no mesmo modelo Shap-E. Ele também oferece notebooks Jupyter para o mesmo que você pode executar facilmente no Jupyter Lab ou no Google Colab. Além disso, se você quiser explorar o código, você está livre para fazer isso.
Usando o Shap-E da OpenAI para converter texto em objetos 3D:
Como mencionei já então você pode executar Shap-E localmente. Mas isso exigirá que você tenha um PC de ponta com altos requisitos de GPU e CPU. Se você não tem esse luxo, pode simplesmente experimentar o modelo do Hugging Face aqui.
A Hugging Face é uma plataforma freemium onde as pessoas podem implantar seus modelos de IA. A interface hospedada do Shap-E se parece com isso.
Agora, basta inserir algum texto para criar um objeto 3D. Mantenha o prompt curto e simples. Depois disso, inicie a ferramenta e aguarde alguns segundos.
Alguns segundos depois, você verá que ela gerará um objeto 3D para você. Você pode interagir totalmente com o design do objeto 3D que ele gerou para você. Você pode ampliar e visualizá-lo de qualquer ângulo.
Para salvá-lo em seu PC, você pode usar o botão de download no canto superior direito. Um GLB será baixado e você poderá usar essa edição adicional em um software de edição 3D compatível com o formato GLB.
Existem prompts prontos que você pode usar para renderizar 3D rapidamente. Eles estão aqui apenas para mostrar uma ideia do que ele é capaz.
Usando o Shap-E da OpenAI para converter imagens em 3D:
Outra coisa que você pode fazer é converter um imagem de objeto 2D em 3D. Esta parte do Shap-E é um pouco grosseira e não retorna resultados muito satisfatórios. Mesmo assim, você ainda pode experimentá-lo e talvez mais tarde editar o arquivo de objeto 3D para corrigir as cores e outras irregularidades.
Mude para a guia Imagem para 3D e faça upload de uma imagem lá. Certifique-se de que a imagem que você enviará tenha fundo transparente e o objeto 2D esteja claramente visível.
Clique em Executar e aguarde a saída. Após alguns segundos, você verá que irá gerar a versão 3D da imagem que você enviou. A saída é a mesma acima. Você pode visualizar e inspecionar o objeto 3D e baixar o resultado em um arquivo GLB.
Desta forma, você pode usar a ferramenta imagem para 3D do Shap-E para criar objetos 3D a partir de texto e imagens. No momento, ele está em desenvolvimento e espero que seja aprimorado nas atualizações posteriores.
Pensamentos finais:
Shap-E oferece uma maneira totalmente nova de geração de imagens de IA. Os objetos 3D que ele gera podem ser utilizados para diversos fins. Gostei do conceito geral e também funciona muito bem para gerar objetos simples. Mas ainda há espaço para melhorias e espero que os desenvolvedores e mantenedores refinem o modelo para gerar resultados mais precisos que exijam o mínimo de pós-edição.
