Il existe actuellement un certain nombre d’acteurs de l’IA sur le marché, notamment ChatGPT, Google Bard, Bing AI Chat et bien d’autres. Cependant, tous nécessitent que vous disposiez d’une connexion Internet pour interagir avec l’IA. Que faire si vous souhaitez installer un Large Language Model (LLM) similaire sur votre ordinateur et l’utiliser localement ? Un chatbot IA que vous pouvez utiliser en privé et sans connexion Internet. Eh bien, avec le nouveau modèle Alpaca publié par Stanford, vous pouvez vous rapprocher à cette réalité. Oui, vous pouvez exécuter un modèle de langage de type ChatGPT sur votre PC hors ligne. Alors sur cette note, allons-y et apprenons à utiliser un LLM localement sans Internet.
Exécuter un LLM de type ChatGPT localement sans Internet (privé et sécurisé)
Dans cet article, j’ai tout mentionné sur la façon d’exécuter un LLM de type ChatGPT sur un PC local sans l’Internet. Vous pouvez développer le tableau ci-dessous et en savoir plus sur les étapes.
Table des matières
Qu’est-ce qu’Alpaca et LLaMA ?
Alpaca est un petit modèle de langage d’IA développé par un groupe d’informaticiens de l’université de Stanford. La particularité d’Alpaca est à quel point il est petit et rentable. Avec seulement 7 milliards de paramètres, Alpaca est aussi bon que le modèle text-davinci-003 d’OpenAI. Et vous pouvez l’exécuter sur votre ordinateur local sans nécessiter de connexion Internet. C’est plutôt cool, non ?
Image : Stanford.edu
Mais comment a-t-il été formé ? Étonnamment, Alpaca est affiné sur LLaMa, le grand modèle de langage de Meta qui a récemment fuite en ligne. Et pour entraîner ce modèle de langage, les scientifiques ont utilisé le modèle”text-davinci-003″d’OpenAI pour générer 52 000 données d’auto-instruction de haute qualité. Avec cet ensemble de données, ils ont affiné le modèle LLaMA en utilisant le cadre de formation de HuggingFace et ont publié le Alpaca 7B. Vous pouvez également utiliser le modèle LLaMA de Meta, mais lors de mes tests, Alpaca LLM de Stanford a bien mieux fonctionné et il est également assez rapide.
De quel type de matériel avez-vous besoin pour exécuter Alpaca ?
Vous pouvez utiliser Alpaca 7B sur n’importe quelle machine décente. J’ai installé Alpaca 7B sur mon PC d’entrée de gamme et cela a plutôt bien fonctionné. Pour vous donner une idée, mon PC est alimenté par un processeur Intel i3 de 10e génération avec 256 Go de SSD et 8 Go de RAM. Pour le GPU, j’utilise le GPU GeForce GT 730 d’entrée de gamme de Nvidia avec 2 Go de VRAM.
alpaca-lora (7b) を Raspberry pi CM4 で 動かし て み まし た ^^)/とても ゆっくり です が 、 この 小さな 筐体 で 話し くれる くれる の は 、 とても 、 この 小さな で で て くれる の は 、 とても 可愛い です ね ね で 話し くれる くれる の は とても 可愛い です ね ね😍 #LLM #IoT pic.twitter.com/SyP3HZhMYX— Mitsunori SATOMI＠VR 30th Anniversary (@gravitino) Mars 20 2023
Même sans GPU dédié, vous pouvez exécuter Alpaca localement. Cependant, le temps de réponse sera lent. En dehors de cela, certains utilisateurs ont pu exécuter Alpaca même sur un petit ordinateur comme Raspberry Pi 4. Vous pouvez donc en déduire que le modèle de langage Alpaca peut également très bien fonctionner sur des ordinateurs d’entrée de gamme.
Configurer l’environnement logiciel pour exécuter Alpaca et LLaMA
Windows
Sous Windows, vous devez installer Python, Node.js et C++ pour commencer avec l’utilisation d’un grand modèle de langue hors ligne sur votre ordinateur. Voici comment procéder.
1. Tout d’abord, téléchargez Python 3.10 (ou une version antérieure) depuis ici. Faites défiler vers le bas et cliquez sur”Windows installer (64-bit)”pour télécharger le fichier d’installation.
2. Lancez le fichier d’installation et cochez la case à côté de”Ajouter Python.exe au PATH“. Maintenant, installez Python avec tous les paramètres par défaut.
3. Après cela, installez Node.js version 18.0 (ou supérieure) depuis ici. Gardez tout par défaut lors de l’installation du programme.
4. Enfin, téléchargez gratuitement l’édition”Community”de Visual Studio à partir de ce lien.
5. Lancez le fichier d’installation de Visual Studio 2022 et il téléchargera initialement certains fichiers. Après cela, une nouvelle fenêtre se lancera. Ici, assurez-vous que”Développement de bureau avec C++“est activé.
6. Enfin, cliquez sur”Installer“et attendez que l’installation soit terminée.
7. Je vous recommande de redémarrer votre ordinateur une fois que tout est installé. Ensuite, ouvrez”Command Prompt“et exécutez les commandes ci-dessous pour vérifier si Python et Node.js sont installés avec succès. Les deux doivent renvoyer le numéro de version. Vous êtes maintenant prêt à partir.
python–version node–version 
Apple macOS
Python est généralement préinstallé sur macOS, il vous suffit donc d’installer Node.js (version 18.0 ou supérieure). Voici comment procéder :
1. Téléchargez le programme d’installation de Node.js macOS (version 18.0 ou supérieure) à partir du lien ici.
2. Ensuite, ouvrez le terminal et exécutez la commande ci-dessous pour vérifier si Node.js est correctement installé. Si vous obtenez un numéro de version en retour, vous êtes prêt à partir.
node–version 
3. Ensuite, vérifiez la version de Python en exécutant la commande ci-dessous. Il doit s’agir de Python 3.10 ou d’une version antérieure.
python3–version
4. Si vous n’obtenez pas de sortie ou si vous disposez de la dernière version de Python, téléchargez Python 3.10 (ou une version inférieure) à partir de ici. Faites défiler vers le bas et cliquez sur”programme d’installation macOS 64-bit universal2“pour télécharger Python. Maintenant, installez-le sur votre Mac.
Linux et ChromeOS
Sous Linux et ChromeOS, vous devez configurer Python et Node.js avant de vous lancer hors ligne Modèles Alpaga et LLaMA. Voici les étapes à suivre.
1. Ouvrez le terminal et exécutez la commande ci-dessous pour vérifier la version de Python. S’il s’agit de Python 3.10 ou d’une version inférieure, vous êtes prêt.
python3–version 
2. Si vous disposez d’une version supérieure, vous pouvez utiliser les commandes ci-dessous pour installer Python 3.10 sur Linux et ChromeOS.
sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get update sudo apt-get install python3.10 
3. Après Python, installez Node.js en exécutant la commande ci-dessous.
sudo apt install nodejs 
4. Après l’installation, exécutez la commande ci-dessous pour vérifier la version de Node.js. Il doit être 18.0 ou supérieur.
node–version 
Installez les modèles Alpaca et LLaMA sur votre ordinateur
Une fois que vous avez configuré Python et Node.js, il est temps d’installer et d’exécuter un LLM de type ChatGPT sur votre PC. Assurez-vous que le terminal détecte à la fois les commandes python et node avant de continuer.
1. Ouvrez le terminal (dans mon cas, l’invite de commande) et exécutez la commande ci-dessous pour installer le modèle Alpaca 7B LLM (environ 4,2 Go d’espace disque requis). Si vous souhaitez installer le modèle Alpaca 13B, remplacez 7B par 13B. Le plus grand modèle nécessite 8,1 Go d’espace.
npx dalaï alpaga installer 7B 
2. Maintenant, tapez”y“et appuyez sur Entrée. Cela lancera l’installation du modèle Alpaca 7B. L’ensemble du processus prendra 20 à 30 minutes, en fonction de votre connectivité Internet et de la taille du modèle.
3. Une fois l’installation terminée, vous verrez un écran comme celui-ci.
4. Vous pouvez choisir d’installer également des modèles LLaMA ou passer à l’étape suivante pour tester instantanément le modèle Alpaca. N’oubliez pas que LLaMA est beaucoup plus grand. Son modèle 7B occupe jusqu’à 31 Go d’espace. Pour l’installer, exécutez la commande ci-dessous. Vous pouvez remplacer 7B par 13B, 30B et 65B. Le plus grand modèle prend jusqu’à 432 Go d’espace.
npx dalai llama install 7B 
5. Enfin, exécutez la commande ci-dessous, et elle démarrera le serveur Web instantanément.
npx dalaï sert 
6. Utilisez un navigateur Web sur votre PC et ouvrez l’adresse ci-dessous. Cela vous mènera à l’interface utilisateur Web où vous pourrez tester les modèles Alpaca et LLaMA localement et sans Internet.
http://localhost:3000 
7. Ici, vous devez choisir le modèle”Alpaca 7B“ou”LLaMA 7B”dans le menu déroulant”modèle”dans le coin supérieur droit. Comme je n’ai installé que le modèle Alpaca 7B, c’est ma valeur par défaut.
8. Vous pouvez maintenant commencer à utiliser ce modèle de langage de type ChatGPT sur votre PC sans connexion Internet. Remplacez”PROMPT”par votre requête et cliquez sur”Go”.
9. Voici à quoi ressemble l’utilisation des ressources lors de l’exécution du serveur local Alpaca LLM sur mon PC Windows.
10. Si vous souhaitez supprimer les modèles téléchargés pour libérer de l’espace disque, ouvrez le répertoire de votre profil utilisateur. Ici, le dossier”dalai”contient tous les fichiers, y compris le modèle. La suppression du dossier”dalai”libérera de l’espace immédiatement.
Utiliser un service de type ChatGPT en privé et complètement hors ligne
C’est ainsi que vous pouvez exécuter un LLM de type ChatGPT sur votre PC local et obtenir également des résultats décents. Au fil du temps, de nouveaux modèles LLM hautement efficaces seront disponibles à l’avenir et pourront être exécutés sur des smartphones ou des ordinateurs à petite carte comme Raspberry Pi. Quoi qu’il en soit, tout cela vient de nous. Si vous souhaitez utiliser ChatGPT 4 gratuitement, rendez-vous sur notre article lié pour des ressources incroyables. Et si vous souhaitez former un chatbot IA basé sur vos propres documents, nous avons un guide détaillé prêt pour vous. Enfin, si vous rencontrez des problèmes, faites-le nous savoir dans la section commentaires ci-dessous.
Laisser un commentaire
L’année dernière, MSI a lancé le Titan GT77 avec le processeur Intel Core i9-12900HX et le GPU pour ordinateur portable RTX 3080 Ti, et c’était l’ordinateur portable de jeu le plus puissant de la planète. C’était le plus gros des gros frappeurs […]
Cela fait quelques mois que la série iPhone 14 a été lancée, et il est bien établi que c’est l’année des modèles Pro. Mais si vous avez l’intention d’opter pour les pros à froufrous, le montant à débourser […]
Wondershare a développé certains des meilleurs logiciels et outils pour simplifier notre vie et nos efforts créatifs au cours des dernières années. En particulier, Wondershare Filmora a reçu de nombreuses distinctions. Il a reçu le prix Video Editing Leader […]