In een eerdere tutorial hebben we laten zien hoe je een aangepaste AI-chatbot kunt trainen met ChatGPT API. Hoewel het best goed werkt, weten we dat zodra je gratis OpenAI-tegoed op is, je moet betalen voor de API, wat niet voor iedereen betaalbaar is. Bovendien voelen verschillende gebruikers zich niet op hun gemak bij het delen van vertrouwelijke gegevens met OpenAI. Dus als je een privé-AI-chatbot wilt maken zonder verbinding te maken met internet of geld te betalen voor API-toegang, dan is deze gids iets voor jou. PrivateGPT is een nieuw open-sourceproject waarmee u privé met uw documenten kunt communiceren in een AI-chatbotinterface. Laten we, voor meer informatie, leren hoe we een aangepaste AI-chatbot lokaal kunnen trainen met PrivateGPT.
Inhoudsopgave
Vereisten voor het instellen van PrivateGPT op uw pc
1. Om PrivateGPT lokaal op uw machine uit te voeren, heeft u een gemiddelde tot geavanceerde machine nodig. U kunt het niet uitvoeren op oudere laptops/desktops. Om je een kort idee te geven: ik heb PrivateGPT getest op een desktop-pc op instapniveau met een Intel 10e generatie i3-processor, en het duurde bijna 2 minuten om vragen te beantwoorden. Houd er rekening mee dat PrivateGPT de GPU niet gebruikt. Momenteel vertrouwt het alleen op de CPU, wat de prestaties nog slechter maakt. Desalniettemin, als u het project wilt testen, kunt u het zeker gaan bekijken.
2. PrivateGPT kan offline worden gebruikt zonder verbinding te maken met online servers of API-sleutels van OpenAI of Pinecone toe te voegen. Om dit te vergemakkelijken, voert het lokaal een LLM-model uit op uw computer. U moet dus een GPT4All-J-compatibel LLM-model op uw computer downloaden. Ik heb hieronder gedetailleerde stappen toegevoegd die u kunt volgen.
Stel de omgeving in om een privé-AI-chatbot te trainen
1. Eerst moet uPython 3.10 of later op uw Windows-, macOS-of Linux-computer installeren. U kunt op deze link klikken om Python meteen te downloaden.
2. Voer vervolgens het installatiebestand uit en zorg ervoor dat u het selectievakje voor”Python.exe toevoegen aan PATH“inschakelt. Klik daarna op”Nu installeren”en volg de gebruikelijke stappen om Python te installeren.
3. Vervolgens moet u Visual Studio 2022 installeren als u Windows gebruikt. Dit wordt gedaan om de C++ CMake-tool en UWP componenten te verkrijgen. Klik op deze link en download de”Community”-versie gratis.
4. Voer nu de installatie uit en het zal een ander installatieprogramma downloaden. Er verschijnt een venster waarin u de componenten kunt kiezen. Scroll naar beneden en selecteer”Desktopontwikkeling met C++“en”Universal Windows Platform-ontwikkeling”.
5. Klik vervolgens op de knop”Installeren“in de rechterbenedenhoek. Start na de installatie uw computer opnieuw op. U hoeft Visual Studio daarna niet meer te gebruiken, maar laat het geïnstalleerd.
6. Tot slot, ga je gang en download het standaardmodel (“groovy”) van hier. De grootte is ongeveer 3,5 GB. Je kunt andere modellen downloaden via deze link als je een krachtigere computer hebt.
Hoe om PrivateGPT lokaal op uw pc in te stellen
1. Open eerst de GitHub-link van de privateGPT-repository en klik op”Code”aan de rechterkant. Klik hier op”ZIP downloaden.”
2. Open nu het ZIP-bestand en pak de map uit met de naam”privateGPT-main”.
3. Open vervolgens de map”privateGPT-main”en maak een nieuwe map met de naam”models“.
4. Onder de map”modellen”, plak je het”groovy”model dat je hierboven hebt gedownload.
5. Ga nu terug naar de hoofdmap en je zult een”example.env”-bestand vinden. Hernoem het als alleen het bestand”.env“.
6. Klik nu met de rechtermuisknop op het”.env”-bestand en open het met Notepad.
7. Als u een ander model heeft gedownload, kunt u dit definiëren onder”MODEL_PATH”. Aangezien we het standaardmodel gebruiken, is er geen wijziging nodig. U kunt Kladblok nu sluiten.
8. Open vervolgens de map”source_documents“. Hier kun je allerlei documenten toevoegen om de custom AI chatbot te trainen. Als voorbeeld heeft de ontwikkelaar een transcript toegevoegd van het State of the Union-adres in TXT-indeling. U kunt hier echter ook PDF-, DOC-, DOCX-, CSV-, EPUB-, TXT-, PPT-, PPTX-, ODT-, MSG-, MD-, HTML-, EML-en ENEX-bestanden toevoegen.
Trein een aangepaste AI-chatbot met behulp van PrivateGPT
1. Eindelijk is het tijd om een aangepaste AI-chatbot te trainen met PrivateGPT. Open Terminal op uw computer. Als u Windows gebruikt, opent u Windows Terminal of de opdrachtprompt.
2. Klik nu met de rechtermuisknop op de map”privateGPT-main”en kies”Kopieer als pad“. Hiermee kopieert u het pad van de map.
3. Ga nu terug naar de Terminal en typ cd, voeg een spatie toe en plak het pad door met de rechtermuisknop te klikken in het Terminal-venster. Het zal er ongeveer zo uitzien als hieronder.
cd”C:\Users\mearj\Downloads\privateGPT-main”
4. Druk vervolgens op Enter en u gaat naar de map privateGPT-main.
5. Zodra u zich in de map bevindt, voert u de onderstaande opdracht uit en het zal beginnen met het installeren van alle pakketten en afhankelijkheden. Het kan 10 tot 15 minuten duren om het proces te voltooien, dus heb geduld. Als u een foutmelding krijgt, voert u de onderstaande opdracht opnieuw uit en zorgt u ervoor dat Visual Studio correct is geïnstalleerd, samen met de twee hierboven genoemde componenten.
pip3 install-r requirements.txt 
6. Nadat alle afhankelijkheden zijn geïnstalleerd, voert u de onderstaande opdracht uit om lokale inbeddingen en vectorstore te maken. Dit proces duurt een paar seconden afhankelijk van de hoeveelheid gegevens die is toegevoegd aan”source_documents”. macOS-en Linux-gebruikers moeten mogelijk python3 gebruiken in plaats van python in de onderstaande opdracht.
python ingest.py 
7. Voer ten slotte PrivateGPT uit door de onderstaande opdracht uit te voeren. U wordt gevraagd om uw vraag in te voeren. Voer uw vraag in en druk op Enter.
python privateGPT.py 
8. Op mijn Intel 10e generatie i3-aangedreven desktop-pc duurde het bijna 2 minuten om een vraag te beantwoorden. Na elk antwoord zal het ook vier bronnen tonen waar het de context vandaan heeft.
9. Typ exit en druk op Enter om het gesprek te beëindigen.
Jij kan ook het internet uitschakelen, maar de privé-AI-chatbot werkt nog steeds omdat alles lokaal wordt gedaan. PrivateGPT heeft nog geen webinterface, dus u zult het voorlopig in de opdrachtregelinterface moeten gebruiken. Ook profiteert het momenteel niet van de GPU, wat jammer is. Zodra GPU-ondersteuning is geïntroduceerd, zullen de prestaties veel beter worden. Ten slotte, om de PrivateGPT AI-chatbot te laden, voert u gewoon python privateGPT.py uit als u geen nieuwe documenten aan de bronmap hebt toegevoegd.
Plaats een reactie
Er is veel discussie op het internet over AR (augmented reality) versus VR (virtual reality), dus ik zal niet meer olie op het vuur gooien, maar een van de dingen die we hebben opgemerkt tijdens het gebruik van de Nreal Air is dat de VR […]
Er zijn enkele twijfelachtige ontwerpkeuzes in Redfall, een mengelmoes van de halfbakken beroemde Arkane-formule. Ik ben dol op games gemaakt door Arkane Studios, waarbij Dishonored een titel wordt die ik zo nu en dan opnieuw bezoek vanwege de unieke opkomende gameplay. En […]
De BenQ PD2706UA-monitor is er, en hij wordt geleverd met alle toeters en bellen die productiviteitsgebruikers zouden waarderen. 4K-resolutie, in de fabriek gekalibreerde kleuren, een 27-inch paneel, een ergonomische standaard die gemakkelijk kan worden aangepast en meer. Het heeft veel […]