Existem vários players de IA no mercado no momento, incluindo ChatGPT, Google Bard, Bing AI Chat e muitos mais. No entanto, todos eles exigem que você tenha uma conexão com a Internet para interagir com a IA. E se você quiser instalar um LLM (Large Language Model) semelhante em seu computador e usá-lo localmente? Um chatbot AI que você pode usar de forma privada e sem conectividade com a Internet. Bem, com o novo modelo Alpaca lançado por Stanford, você pode chegar perto a essa realidade. Sim, você pode executar um modelo de linguagem semelhante ao ChatGPT no seu PC offline. Então, falando nisso, vamos aprender como usar um LLM localmente sem a internet.
Execute um LLM semelhante ao ChatGPT localmente sem Internet (privado e seguro)
Neste artigo, mencionei tudo sobre como executar um LLM semelhante ao ChatGPT em um PC local sem a Internet. Você pode expandir a tabela abaixo e aprender sobre as etapas em detalhes.
Índice
O que é Alpaca e LLaMA?
Alpaca é um pequeno modelo de linguagem AI desenvolvido por um grupo de cientistas da computação na Universidade de Stanford. O que há de único na Alpaca é como ela é pequena e econômica. Com apenas 7 bilhões de parâmetros, o Alpaca é tão bom quanto o modelo text-davinci-003 da OpenAI. E você pode executá-lo em seu computador local sem precisar de uma conexão com a Internet. Isso é muito legal, certo?
Imagem: Stanford.edu
Mas como foi treinado? Surpreendentemente, o Alpaca está ajustado no LLaMa, o grande modelo de linguagem do Meta que recentemente vazou online. E para treinar esse modelo de linguagem, os cientistas usaram o modelo “text-davinci-003” da OpenAI para gerar 52K de dados de autoinstrução de alta qualidade. Com esse conjunto de dados, eles ajustaram o modelo LLaMA usando a estrutura de treinamento do HuggingFace e lançaram o Alpaca 7B. Você também pode usar o modelo LLaMA da Meta, mas em meus testes, o Alpaca LLM de Stanford teve um desempenho muito melhor e também é bastante rápido.
Que tipo de hardware você precisa para executar o Alpaca?
Você pode usar o Alpaca 7B em qualquer máquina decente. Instalei o Alpaca 7B no meu PC básico e funcionou muito bem. Para se ter uma ideia, meu PC é alimentado por um processador Intel i3 de 10ª geração com 256 GB de SSD e 8 GB de RAM. Para GPU, estou usando a GPU GeForce GT 730 de nível básico da Nvidia com 2 GB de VRAM.
alpaca-lora (7b) を Raspberry Pi Cm4 で て て み まし た ^^)/とても ゆっくり です 、 この この 小さな 筐体 で 話し て の は 、 とても です です ね 筐体 で で て くれる の は 、 可愛い です ね ね 筐体 で 話し て くれる の は 、 可愛い です ね ね😍 #LLM #IoT pic.twitter.com/SyP3HZhMYX— Mitsunori SATOMI＠VR 30º aniversário (@gravitino) março 20, 2023
Mesmo sem uma GPU dedicada, você pode executar o Alpaca localmente. No entanto, o tempo de resposta será lento. Além disso, há usuários que conseguiram executar o Alpaca mesmo em um computador minúsculo como o Raspberry Pi 4. Portanto, você pode inferir que o modelo de linguagem Alpaca também pode ser executado muito bem em computadores básicos.
Configurar o ambiente de software para executar Alpaca e LLaMA
Windows
No Windows, você precisa instalar Python, Node.js e C++ para começar com o uso de um grande modelo de linguagem off-line em seu computador. Aqui está como fazer isso.
1. Primeiro, baixe Python 3.10 (ou inferior) aqui. Role para baixo e clique em “Instalador do Windows (64 bits)” para baixar o arquivo de instalação.
2. Inicie o arquivo de configuração e marque a caixa de seleção ao lado de “Adicionar Python.exe ao PATH”. Agora, instale o Python com todas as configurações padrão.
3. Depois disso, instale Node.js versão 18.0 (ou superior) aqui. Mantenha tudo padrão durante a instalação do programa.
4. Por fim, baixe a edição “Community” do Visual Studio deste link gratuitamente.
5. Inicie o arquivo de instalação do Visual Studio 2022 e ele inicialmente baixará alguns arquivos. Depois disso, uma nova janela será aberta. Aqui, certifique-se de que “Desenvolvimento de desktop com C++” esteja ativado.
6. Por fim, clique em “Instalar” e aguarde até que a instalação seja concluída.
7. Eu recomendo reiniciar o computador depois que tudo estiver instalado. Em seguida, abra “Prompt de comando” e execute os comandos abaixo para verificar se o Python e o Node.js foram instalados com sucesso. Ambos devem retornar o número da versão. Agora você está pronto.
python–version node–version 
Apple macOS
Python geralmente vem pré-instalado no macOS, então você só precisa instalar o Node.js (versão 18.0 ou superior). Aqui está como você pode fazer isso:
1. Baixe o instalador Node.js para macOS (versão 18.0 ou superior) no link aqui.
2. Em seguida, abra o Terminal e execute o comando abaixo para verificar se o Node.js está instalado corretamente. Se você receber um número de versão em troca, estará pronto.
node–version 
3. Em seguida, verifique a versão do Python executando o comando abaixo. Deve ser Python 3.10 ou inferior.
python3–versão
4. Se você não obtiver saída ou tiver a versão mais recente do Python, baixe o Python 3.10 (ou inferior) em aqui. Role para baixo e clique em “instalador universal2 do macOS de 64 bits” para baixar o Python. Agora, instale-o no seu Mac.
Linux e ChromeOS
No Linux e ChromeOS, você precisa configurar Python e Node.js antes de executar offline Modelos de alpaca e LLaMA. Aqui estão os passos a seguir.
1. Abra o Terminal e execute o comando abaixo para verificar a versão do Python. Se for Python 3.10 ou inferior, está tudo pronto.
python3–version 
2. Caso você tenha uma versão superior, você pode usar os comandos abaixo para instalar o Python 3.10 no Linux e ChromeOS.
sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get update sudo apt-get install python3.10 
3. Depois do Python, instale o Node.js executando o comando abaixo.
sudo apt install nodejs 
4. Após a instalação, execute o comando abaixo para verificar a versão do Node.js. Deve ser 18,0 ou superior.
node–version 
Instale os modelos Alpaca e LLaMA em seu computador
Depois de configurar o Python e Node.js, é hora de instalar e executar um LLM semelhante ao ChatGPT em seu PC. Certifique-se de que o Terminal detecte os comandos python e node antes de prosseguir.
1. Abra o Terminal (no meu caso, Prompt de Comando) e execute o comando abaixo para instalar o modelo Alpaca 7B LLM (cerca de 4,2 GB de espaço em disco necessário). Se você deseja instalar o modelo Alpaca 13B, substitua 7B por 13B. O modelo maior precisa de 8,1 GB de espaço.
npx dalai alpaca install 7B 
2. Agora, digite “y” e pressione Enter. Isso iniciará a instalação do modelo Alpaca 7B. Todo o processo levará de 20 a 30 minutos, dependendo da sua conectividade com a Internet e do tamanho do modelo.
3. Após a conclusão da instalação, você verá uma tela como esta.
4. Você pode optar por instalar modelos LLaMA também ou passar para a próxima etapa para testar o modelo Alpaca instantaneamente. Lembre-se, LLaMA é muito maior em tamanho. Seu modelo 7B ocupa até 31 GB de espaço. Para instalá-lo, execute o comando abaixo. Você pode substituir 7B por 13B, 30B e 65B. O maior modelo ocupa até 432 GB de espaço.
npx dalai llama install 7B 
5. Por fim, execute o comando abaixo e ele iniciará o servidor da web instantaneamente.
npx dalai serve 
6. Use um navegador da web em seu PC e abra o endereço abaixo. Isso o levará à interface do usuário da Web, onde você poderá testar os modelos Alpaca e LLaMA localmente e sem a Internet.
http://localhost:3000 
7. Aqui, você precisa escolher o modelo “Alpaca 7B” ou “LLaMA 7B” no menu suspenso “modelo” no canto superior direito. Como instalei apenas o modelo Alpaca 7B, este é o meu padrão.
8. Agora você pode começar a usar este modelo de linguagem semelhante ao ChatGPT em seu PC sem conectividade com a Internet. Substitua “PROMPT” pela sua consulta e clique em “Ir”.
9. Aqui está o uso de recursos durante a execução do servidor Alpaca LLM local no meu PC com Windows.
10. Caso você queira excluir os modelos baixados para liberar espaço em disco, abra seu diretório de perfil de usuário. Aqui, a pasta “dalai” tem todos os arquivos, inclusive o modelo. Excluir a pasta “dalai” liberará espaço imediatamente.
Usar um serviço semelhante ao ChatGPT de forma privada e completamente offline
Então é assim que você pode executar um LLM semelhante ao ChatGPT em seu PC local e obter resultados decentes também. Com o passar do tempo, modelos LLM novos e altamente eficientes estarão disponíveis no futuro, que podem ser executados em smartphones para computadores de placa pequena como Raspberry Pi. De qualquer forma, isso é tudo de nós. Se você quiser usar o ChatGPT 4 gratuitamente, acesse nosso artigo vinculado para obter alguns recursos incríveis. E caso você queira treinar um chatbot de IA com base em seus próprios documentos, temos um guia detalhado pronto para você. Por fim, se você estiver enfrentando algum problema, informe-nos na seção de comentários abaixo.
Deixe um comentário
No ano passado, a MSI lançou o Titan GT77 com o Intel Core i9-12900HX e a GPU para laptop RTX 3080 Ti, e foi o laptop para jogos mais poderoso da face do planeta. Foi o mais pesado dos pesos pesados […]
Já se passaram alguns meses desde o lançamento da série iPhone 14 e está bem estabelecido que é o ano dos modelos Pro. Mas se você pretende ir para os profissionais com babados, o valor a gastar […]
A Wondershare tem desenvolvido alguns dos melhores softwares e ferramentas para simplificar nossa vida e empreendimentos criativos nos últimos anos. Particularmente, o Wondershare Filmora recebeu inúmeros elogios. Recebeu o prêmio de Líder de Edição de Vídeo […]
