Er zijn momenteel een aantal AI-spelers op de markt, waaronder ChatGPT, Google Bard, Bing AI Chat en nog veel meer. Ze vereisen echter allemaal dat je een internetverbinding hebt om met de AI te communiceren. Wat als u een vergelijkbaar Large Language Model (LLM) op uw computer wilt installeren en lokaal wilt gebruiken? Een AI-chatbot die u privé en zonder internetverbinding kunt gebruiken. Nou, met het nieuwe Alpaca-model uitgebracht door Stanford, kun je in de buurt komen naar die werkelijkheid. Ja, u kunt offline een ChatGPT-achtig taalmodel op uw pc uitvoeren. Dus wat dat betreft, laten we doorgaan en leren hoe we een LLM lokaal kunnen gebruiken zonder internet.
Een ChatGPT-achtige LLM lokaal uitvoeren zonder internet (privé en beveiligd)
In dit artikel heb ik alles genoemd over het uitvoeren van een ChatGPT-achtige LLM op een lokale pc zonder het internet. U kunt de onderstaande tabel uitvouwen en de stappen in detail leren kennen.
Inhoudsopgave
Wat is Alpaca en LLaMA?
Alpaca is een klein AI-taalmodel ontwikkeld door een groep computerwetenschappers aan de Stanford University. Het unieke aan Alpaca is hoe klein en kosteneffectief het is. Met slechts 7 miljard parameters is Alpaca net zo goed als het tekst-davinci-003-model van OpenAI. En u kunt het op uw lokale computer uitvoeren zonder dat u een internetverbinding nodig heeft. Dat is best gaaf, toch?
Afbeelding: Stanford.edu
Maar hoe werd het getraind? Verrassend genoeg is Alpaca afgesteld op LLaMa, Meta’s grote taalmodel dat onlangs gelekt online. En om dit taalmodel te trainen, gebruikten wetenschappers OpenAI’s”text-davinci-003″-model om 52K hoogwaardige zelfinstructiegegevens te genereren. Met deze dataset hebben ze het LLaMA-model verfijnd met behulp van het trainingsframework van HuggingFace en de Alpaca 7B uitgebracht. Je kunt ook het LLaMA-model van Meta gebruiken, maar tijdens mijn tests presteerde Stanfords Alpaca LLM veel beter en het is ook vrij snel.
Wat voor soort hardware heb je nodig om Alpaca te draaien?
Je kunt Alpaca 7B op elke fatsoenlijke machine gebruiken. Ik heb Alpaca 7B op mijn pc op instapniveau geïnstalleerd en het werkte redelijk goed. Om je een idee te geven: mijn pc wordt aangedreven door een 10e generatie Intel i3-processor met 256 GB SSD en 8 GB RAM. Voor GPU gebruik ik Nvidia’s instapmodel GeForce GT 730 GPU met 2 GB VRAM.
Alpaca-LoRA(7B)をRaspberry Pi CM4で動かしてみました^^)/とてもゆっくりですが、この小さな筐体で話してくれるのは、とても可愛いですね😍 #LLM #IoT pic.twitter.com/SyP3HZhMYX— Mitsunori SATOMI＠VR 30e verjaardag (@gravitino) Maart 20, 2023
Zelfs zonder een speciale GPU kun je Alpaca lokaal draaien. De reactietijd zal echter traag zijn. Afgezien daarvan zijn er gebruikers die Alpaca zelfs op een kleine computer als Raspberry Pi 4 hebben kunnen draaien. Je kunt dus concluderen dat het Alpaca-taalmodel ook heel goed op instapcomputers kan draaien.
Stel de softwareomgeving in om Alpaca en LLaMA uit te voeren
Windows
Op Windows moet u Python, Node.js en C++ installeren om aan de slag te gaan met een groot taalmodel offline op uw computer. Hier is hoe het te doen.
1. Download eerst Python 3.10 (of lager) van hier. Scroll naar beneden en klik op”Windows installer (64-bit)”om het installatiebestand te downloaden.
2. Start het installatiebestand en schakel het selectievakje naast”Python.exe toevoegen aan PATH“in. Installeer nu Python met alle standaardinstellingen.
3. Installeer daarna Node.js versie 18.0 (of hoger) hier. Houd alles standaard tijdens het installeren van het programma.
4. Download ten slotte de Visual Studio”Community”-editie gratis via deze link.
5. Start het installatiebestand van Visual Studio 2022 en het zal in eerste instantie enkele bestanden downloaden. Daarna wordt een nieuw venster geopend. Zorg er hier voor dat”Desktopontwikkeling met C++“is ingeschakeld.
6. Klik ten slotte op”Installeren“en wacht tot de installatie is voltooid.
7. Ik raad aan om uw computer opnieuw op te starten zodra alles is geïnstalleerd. Open vervolgens”Opdrachtprompt“en voer de onderstaande opdrachten uit om te controleren of Python en Node.js met succes zijn geïnstalleerd. Beide moeten het versienummer retourneren. Je bent nu klaar om te gaan.
python–version node–version 
Apple macOS
Python is over het algemeen vooraf geïnstalleerd op macOS, dus u hoeft alleen Node.js (versie 18.0 of hoger) te installeren. Hier is hoe je het kunt doen:
1. Download het Node.js macOS-installatieprogramma (versie 18.0 of hoger) via de link hier.
2. Open vervolgens de Terminal en voer de onderstaande opdracht uit om te controleren of Node.js correct is geïnstalleerd. Als je een versienummer terugkrijgt, ben je klaar om te gaan.
node–version 
3. Controleer vervolgens de Python-versie door de onderstaande opdracht uit te voeren. Het moet Python 3.10 of lager zijn.
python3–versie
4. Als je geen uitvoer krijgt of je hebt toevallig de nieuwste Python-versie, download dan Python 3.10 (of lager) van hier. Scroll naar beneden en klik op”macOS 64-bit universal2 installer“om Python te downloaden. Installeer het nu op je Mac.
Linux en ChromeOS
Op Linux en ChromeOS moet u Python en Node.js instellen voordat u offline kunt werken Alpaca-en LLaMA-modellen. Dit zijn de te volgen stappen.
1. Open de Terminal en voer de onderstaande opdracht uit om de Python-versie te controleren. Als het Python 3.10 of lager is, bent u helemaal klaar.
python3–versie 
2. Als je een hogere versie hebt, kun je de onderstaande opdrachten gebruiken om Python 3.10 op Linux en ChromeOS te installeren.
sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get update sudo apt-get install python3.10 
3. Installeer Node.js na Python door de onderstaande opdracht uit te voeren.
sudo apt install nodejs 
4. Voer na de installatie de onderstaande opdracht uit om de Node.js-versie te controleren. Het moet 18.0 of hoger zijn.
node–version 
Installeer Alpaca-en LLaMA-modellen op uw computer
Zodra u Python heeft ingesteld en Node.js, is het tijd om een ChatGPT-achtige LLM op uw pc te installeren en uit te voeren. Zorg ervoor dat de Terminal zowel python-als node-commando’s detecteert voordat u verder gaat.
1. Open de terminal (in mijn geval de opdrachtprompt) en voer de onderstaande opdracht uit om het Alpaca 7B LLM-model te installeren (ongeveer 4,2 GB schijfruimte vereist). Als u het model Alpaca 13B wilt installeren, vervangt u 7B door 13B. Het grotere model heeft 8,1 GB aan ruimte nodig.
npx dalai alpaca install 7B 
2. Typ nu”y“en druk op Enter. Hiermee wordt begonnen met het installeren van het Alpaca 7B-model. Het hele proces duurt 20 tot 30 minuten, afhankelijk van uw internetverbinding en modelgrootte.
3. Nadat de installatie is voltooid, ziet u een scherm als dit.
4. U kunt ervoor kiezen om ook LLaMA-modellen te installeren of naar de volgende stap gaan om het Alpaca-model direct te testen. Vergeet niet dat LLaMA veel groter is. Het 7B-model neemt tot 31 GB ruimte in beslag. Voer de onderstaande opdracht uit om het te installeren. U kunt 7B vervangen door 13B, 30B en 65B. Het grootste model neemt tot 432 GB aan ruimte in beslag.
npx dalai lama install 7B 
5. Voer ten slotte het onderstaande commando uit en start de webserver onmiddellijk.
npx dalai serveren 
6. Gebruik een webbrowser op uw pc en open het onderstaande adres. Hiermee gaat u naar de webinterface waar u Alpaca-en LLaMA-modellen lokaal en zonder internet kunt testen.
http://localhost:3000 
7. Hier moet u het model”Alpaca 7B“of”LLaMA 7B”kiezen in het vervolgkeuzemenu”model”in de rechterbovenhoek. Aangezien ik alleen het model Alpaca 7B heb geïnstalleerd, is dit mijn standaardinstelling.
8. U kunt dit ChatGPT-achtige taalmodel nu gebruiken op uw pc zonder internetverbinding. Vervang”PROMPT”door uw vraag en klik op”Go”.
9. Dit is hoe het brongebruik eruitziet terwijl ik de lokale Alpaca LLM-server op mijn Windows-pc draai.
10. Als u de gedownloade modellen wilt verwijderen om schijfruimte vrij te maken, opent u uw gebruikersprofieldirectory. Hier bevat de map”dalai”alle bestanden, inclusief het model. Door de map”dalai”te verwijderen, wordt er onmiddellijk ruimte vrijgemaakt.
Gebruik een ChatGPT-achtige service privé en volledig offline
Dus dit is hoe u een ChatGPT-achtige LLM op uw lokale pc kunt uitvoeren en ook fatsoenlijke resultaten kunt behalen. Naarmate de tijd verstrijkt, zullen er in de toekomst nieuwe en zeer efficiënte LLM-modellen beschikbaar zijn die kunnen worden uitgevoerd op smartphones tot kleine boordcomputers zoals Raspberry Pi. Hoe dan ook, dat komt allemaal van ons. Als je ChatGPT 4 gratis wilt gebruiken, ga dan naar ons gekoppelde artikel voor geweldige bronnen. En mocht je een AI-chatbot willen trainen op basis van je eigen documenten, dan hebben we een uitgebreide handleiding voor je klaarliggen. Als u ten slotte problemen ondervindt, kunt u ons dit laten weten in het gedeelte Opmerkingen hieronder.
Laat een reactie achter
Vorig jaar lanceerde MSI de Titan GT77 met de Intel Core i9-12900HX en de RTX 3080 Ti Laptop GPU, en het was de krachtigste gaming-laptop ter wereld. Het was de zwaarste van alle zware slagmensen […]
Het is een paar maanden geleden dat de iPhone 14-serie werd gelanceerd, en het is algemeen bekend dat dit het jaar van de Pro-modellen is. Maar als je van plan bent om voor de frilly Pro’s te gaan, het bedrag dat je moet betalen […]
Wondershare heeft de afgelopen jaren enkele van de beste software en tools ontwikkeld om ons leven en onze creatieve inspanningen te vereenvoudigen. Met name Wondershare Filmora heeft talloze onderscheidingen ontvangen. Het was de ontvanger van de Video Editing Leader-prijs […]
