Egy korábbi oktatóanyagban bemutattuk, hogyan taníthat meg egyéni mesterséges intelligencia chatbotot a ChatGPT API használatával. Bár elég jól működik, tudjuk, hogy ha az ingyenes OpenAI-jóváírás kimerül, fizetnie kell az API-ért, ami nem mindenki számára megfizethető. Ezen túlmenően számos felhasználó nem szívesen oszt meg bizalmas adatokat az OpenAI-val. Tehát ha privát AI chatbotot szeretne létrehozni anélkül, hogy csatlakozna az internethez, vagy pénzt kell fizetnie az API-hozzáférésért, akkor ez az útmutató az Ön számára készült. A PrivateGPT egy új nyílt forráskódú projekt, amely lehetővé teszi, hogy privát módon kommunikáljon dokumentumaival egy AI chatbot felületen. Ha többet szeretne megtudni, tanulja meg, hogyan képezhet ki egy egyéni AI chatbotot a PrivateGPT segítségével helyileg.
Tartalomjegyzék
A PrivateGPT beállításának követelményei a számítógépen
1. A PrivateGPT helyi futtatásához a gépén egy közepes vagy csúcskategóriás gépre van szüksége >. Régebbi laptopokon/asztali számítógépeken nem futtatható. Hogy egy rövid ötletet adjak, teszteltem a PrivateGPT-t egy belépő szintű asztali PC-n, Intel 10. generációs i3 processzorral, és közel 2 percbe telt, mire válaszoltam a kérdésekre. Ne feledje, hogy a PrivateGPT nem használja a GPU-t. Jelenleg csak a CPU-ra támaszkodik, ami még rontja a teljesítményt. Mindazonáltal, ha szeretné tesztelni a projektet, akkor biztosan mehet és ellenőrizheti.
2. A PrivateGPT offline használható anélkül, hogy bármilyen online szerverhez kapcsolódna, vagy API-kulcsot kellene hozzáadni az OpenAI-ból vagy a Pinecone-ból. Ennek megkönnyítése érdekében helyi LLM-modellt futtat a számítógépen. Tehát le kell töltenie egy GPT4All-J-kompatibilis LLM-modellt a számítógépére. Az alábbiakban részletes lépéseket tettem hozzá, hogy kövesse.
Környezet beállítása egy privát mesterséges intelligencia chatbot betanításához
1. Először telepítenie kell aPython 3.10 vagy újabb verzióját Windows, macOS vagy Linux rendszerű számítógépére. A Python azonnali letöltéséhez kattintson erre a linkre.
2. Ezután futtassa a telepítőfájlt, és jelölje be az „Python.exe hozzáadása a PATH-hoz” jelölőnégyzetet. Ezután kattintson a „Telepítés most” gombra, és kövesse a szokásos lépéseket a Python telepítéséhez.
3. Ezután telepítenie kell a Visual Studio 2022-t, ha Windows rendszert használ. Ez a C++ CMake eszköz és az UWP összetevők beszerzése érdekében történik. Kattintson erre a linkre, és töltse le ingyenesen a „Közösségi” verziót.
4. Most futtassa a telepítőt, és letölt egy másik telepítőt. Megjelenik egy ablak, ahol kiválaszthatja az összetevőket. Görgessen le, és válassza az „Asztali fejlesztés C++ segítségével” és az „Univerzális Windows platform fejlesztése” lehetőséget.
5. Ezután kattintson a jobb alsó sarokban található „Telepítés” gombra. A telepítés után indítsa újra a számítógépet. Ezt követően nem kell használnia a Visual Studio-t, de tartsa telepítve.
6. Végül töltse le az alapértelmezett modellt („groovy”) a itt. A mérete körülbelül 3,5 GB. Ha erősebb számítógépe van, erről a linkről tölthet le más modelleket.
Hogyan a PrivateGPT helyi beállítása a számítógépen
1. Először nyissa meg a GitHub-linket a privateGPT-tárhelyen, és kattintson a jobb oldalon található „Kód” elemre. Itt kattintson a „ZIP letöltése” lehetőségre.
2. Most nyissa meg a ZIP-fájlt, és bontsa ki a „privateGPT-main” nevű mappát.
3. Ezután nyissa meg a „privateGPT-main” mappát, és hozzon létre egy új mappát „models” néven.
4. A „modellek” mappába illessze be a fent letöltött „nagyszerű” modellt.
5. Most menjen vissza a fő mappába, és talál egy „example.env” fájlt. Nevezze át csak „.env” fájlra.
6. Most kattintson a jobb gombbal az „.env” fájlra, és nyissa meg a Jegyzettömb segítségével.
7. Ha másik modellt töltött le, akkor azt a „MODEL_PATH” alatt határozhatja meg. Mivel az alapértelmezett modellt használjuk, nincs szükség változtatásra. Most bezárhatja a Jegyzettömböt.
8. Ezután nyissa meg a „source_documents” mappát. Itt mindenféle dokumentumot hozzáadhat az egyéni AI chatbot betanításához. Példaként a fejlesztő hozzáadta az uniós állam címének átiratát TXT formátumban. Ide azonban hozzáadhat PDF, DOC, DOCX, CSV, EPUB, TXT, PPT, PPTX, ODT, MSG, MD, HTML, EML és ENEX fájlokat is.
Vonat egyéni mesterséges intelligencia chatbot PrivateGPT-t használva
1. Végül itt az ideje egy egyéni mesterséges intelligencia chatbot betanításának a PrivateGPT használatával. Nyissa meg a terminált a számítógépén. Ha Windowst használ, nyissa meg a Windows terminált vagy a Parancssort.
2. Most kattintson a jobb gombbal a „privateGPT-main” mappára, és válassza a „Másolás elérési útként” lehetőséget. Ezzel átmásolja a mappa elérési útját.
3. Most lépjen vissza a terminálhoz, írja be a cd-t, adjon hozzá egy szóközt, és illessze be az elérési utat a jobb gombbal a Terminál ablakban. Valahogy az alábbiak szerint fog kinézni.
cd”C:\Users\mearj\Downloads\privateGPT-main”
4. Ezután nyomja meg az Enter billentyűt, és a privateGPT-main mappába lép.
5. Miután a mappában van, futtassa az alábbi parancsot, és elkezdi telepíteni az összes csomagot és függőséget. A folyamat befejezése 10-15 percig tarthat, ezért kérjük, legyen türelemmel. Ha bármilyen hibát észlel, futtassa újra az alábbi parancsot, és ellenőrizze, hogy a Visual Studio megfelelően van-e telepítve a fent említett két összetevővel együtt.
pip3 install-r requirements.txt 
6. Miután az összes függőséget telepítette, futtassa az alábbi parancsot a helyi beágyazások és a vektortár létrehozásához. Ez a folyamat néhány másodpercet vesz igénybe, attól függően, hogy milyen adatállományt adtak hozzá a „source_documents” mezőhöz. Előfordulhat, hogy a macOS és Linux felhasználóknak a python3 parancsot kell használniuk a python helyett az alábbi parancsban.
python ingest.py 
7. Végül futtassa a PrivateGPT-t az alábbi parancs végrehajtásával. A rendszer felkéri, hogy adja meg a lekérdezést. Írja be a kérdést, és nyomja meg az Enter billentyűt.
python privateGPT.py 
8. Intel 10. generációs i3-as hajtású asztali számítógépemen közel 2 percbe telt egy kérdés megválaszolása. Minden válasz után négy forrást is megjelenít, ahonnan a kontextust kapta.
9. A beszélgetés leállításához írja be az exit parancsot, és nyomja meg az Enter billentyűt.
Ön Kikapcsolhatja az internetet is, de a privát mesterséges intelligencia chatbot továbbra is működik, mivel minden helyben történik. A PrivateGPT még nem rendelkezik webes felülettel, ezért egyelőre a parancssori felületen kell használnia. Ezenkívül jelenleg nem használja ki a GPU előnyeit, ami egy balhé. A GPU-támogatás bevezetése után a teljesítmény sokkal jobb lesz. Végül a PrivateGPT AI chatbot betöltéséhez egyszerűen futtassa a python privateGPT.py fájlt, ha nem adott hozzá új dokumentumokat a forrásmappához.
Hagyjon megjegyzést
Sok vita folyik az interneten az AR-ről (kiterjesztett valóság) és a VR-ről (virtuális valóság), ezért nem adok olajat a tűzre, de az egyik dolog, amit észrevettünk, miközben Az Nreal Air használata az, hogy a VR […]
Van néhány megkérdőjelezhető tervezési választás a Redfallban, ami a félig sült híres Arkane formula összemosása. Imádom az Arkane Studios által készített játékokat, a Dishonored pedig olyan cím lett, amelyet időnként újra felkeresek az egyedi, feltörekvő játékmenet miatt. És […]
Megérkezett a BenQ PD2706UA monitor, és minden olyan csengőt és sípot tartalmaz, amelyet a termelékenységet használó felhasználók értékelni fognak. 4K felbontás, gyárilag kalibrált színek, 27 hüvelykes panel, ergonomikus, könnyen állítható állvány stb. Sok […]
van benne
