We wcześniejszym samouczku pokazaliśmy, jak można trenować niestandardowego chatbota AI za pomocą interfejsu API ChatGPT. Chociaż działa całkiem dobrze, wiemy, że po wyczerpaniu darmowego kredytu OpenAI musisz zapłacić za interfejs API, który nie jest dostępny dla wszystkich. Ponadto kilku użytkowników nie czuje się komfortowo, udostępniając poufne dane OpenAI. Więc jeśli chcesz stworzyć prywatnego chatbota AI bez łączenia się z Internetem lub płacenia za dostęp do API, ten przewodnik jest dla Ciebie. PrivateGPT to nowy projekt typu open source, który umożliwia prywatną interakcję z dokumentami w interfejsie chatbota AI. Aby dowiedzieć się więcej, dowiedzmy się, jak wyszkolić niestandardowego chatbota AI przy użyciu lokalnie PrivateGPT.
Spis treści
Wymagania dotyczące konfiguracji PrivateGPT na komputerze
1. Aby uruchomić PrivateGPT lokalnie na swoim komputerze, potrzebujesz średniej lub wysokiej klasy maszyny. Nie można go uruchomić na starszych laptopach/komputerach stacjonarnych. Aby dać ci krótki pomysł, przetestowałem PrivateGPT na podstawowym komputerze stacjonarnym z procesorem Intel i3 10. generacji i udzielenie odpowiedzi na zapytania zajęło prawie 2 minuty. Pamiętaj, że PrivateGPT nie korzysta z GPU. Obecnie opiera się tylko na procesorze, co jeszcze bardziej pogarsza wydajność. Niemniej jednak, jeśli chcesz przetestować projekt, z pewnością możesz go sprawdzić.
2. PrivateGPT może być używany w trybie offline bez łączenia się z jakimkolwiek serwerem online lub dodawania jakichkolwiek kluczy API z OpenAI lub Pinecone. Aby to ułatwić, uruchamia model LLM lokalnie na twoim komputerze. Musisz więc pobrać na swój komputer model LLM zgodny z GPT4All-J. Poniżej dodałem szczegółowe kroki, które możesz wykonać.
Skonfiguruj środowisko do szkolenia prywatnego chatbota AI
1. Najpierw musisz zainstalować Pythona 3.10 lub nowszego na komputerze z systemem Windows, macOS lub Linux. Możesz kliknąć ten link, aby od razu pobrać Pythona.
2. Następnie uruchom plik instalacyjny i zaznacz pole wyboru „Dodaj Python.exe do PATH”. Następnie kliknij „Zainstaluj teraz” i wykonaj standardowe czynności, aby zainstalować Pythona.
3. Następnie musisz zainstalować Visual Studio 2022, jeśli używasz systemu Windows. Ma to na celu uzyskanie narzędzia C++ CMake i komponentów UWP . Kliknij ten link i pobierz bezpłatnie wersję „Community”.
4. Teraz uruchom instalację, a pobierze inny instalator. Pojawi się okno, w którym możesz wybrać komponenty. Przewiń w dół i wybierz „Desktop Development with C++” oraz „Universal Windows Platform development”.
5. Następnie kliknij przycisk „Zainstaluj” w prawym dolnym rogu. Po instalacji uruchom ponownie komputer. Nie musisz później używać programu Visual Studio, ale pozostaw go zainstalowanego.
6. Na koniec śmiało pobierz domyślny model („groovy”) z tutaj. Rozmiar to około 3,5 GB. Możesz pobrać inne modele z tego linku, jeśli masz mocniejszy komputer.
Jak lokalnie skonfigurować PrivateGPT na komputerze
1. Najpierw otwórz link GitHub repozytorium privateGPT i kliknij „Kod” po prawej stronie. Tutaj kliknij „Pobierz ZIP”.
2. Teraz otwórz plik ZIP i wyodrębnij folder o nazwie „privateGPT-main”.
3. Następnie otwórz folder „privateGPT-main” i utwórz nowy folder o nazwie „models”.
4. W folderze „models” wklej „odlotowy” model pobrany powyżej.
5. Teraz wróć do głównego folderu, a znajdziesz plik „example.env”. Zmień nazwę na plik „.env”.
6. Teraz kliknij prawym przyciskiem myszy plik „.env” i otwórz go za pomocą Notatnika.
7. Jeśli pobrałeś inny model, możesz go zdefiniować w „ścieżce_modelu”. Ponieważ korzystamy z domyślnego modelu, żadne zmiany nie są potrzebne. Możesz teraz zamknąć Notatnik.
8. Następnie otwórz folder „source_documents”. Tutaj możesz dodawać wszelkiego rodzaju dokumenty, aby trenować niestandardowego chatbota AI. Jako przykład, programista dodał transkrypcję orędzia State of the Union w formacie TXT. Możesz jednak również dodać tutaj pliki PDF, DOC, DOCX, CSV, EPUB, TXT, PPT, PPTX, ODT, MSG, MD, HTML, EML i ENEX.
Pociąg niestandardowy chatbot AI korzystający z PrivateGPT
1. Wreszcie nadszedł czas, aby wyszkolić niestandardowego chatbota AI za pomocą PrivateGPT. Otwórz Terminal na swoim komputerze. Jeśli używasz systemu Windows, otwórz terminal Windows lub wiersz polecenia.
2. Teraz kliknij prawym przyciskiem myszy folder „privateGPT-main” i wybierz „Kopiuj jako ścieżkę”. Spowoduje to skopiowanie ścieżki do folderu.
3. Teraz wróć do terminala i wpisz cd, dodaj spację i wklej ścieżkę, klikając prawym przyciskiem myszy w oknie terminala. Będzie wyglądać mniej więcej tak, jak poniżej.
cd”C:\Users\mearj\Downloads\privateGPT-main”
4. Następnie naciśnij Enter, aby przejść do folderu privateGPT-main.
5. Gdy znajdziesz się w folderze, uruchom poniższe polecenie, a rozpocznie się instalacja wszystkich pakietów i zależności. Zakończenie tego procesu może zająć od 10 do 15 minut, więc prosimy o cierpliwość. Jeśli pojawi się jakikolwiek błąd, ponownie uruchom poniższe polecenie i upewnij się, że program Visual Studio jest poprawnie zainstalowany wraz z dwoma wymienionymi powyżej składnikami.
pip3 install-r wymagania.txt 
6. Po zainstalowaniu wszystkich zależności uruchom poniższe polecenie, aby utworzyć lokalne osadzenie i magazyn wektorowy. Ten proces zajmie kilka sekund w zależności od zbioru danych dodanych do „source_documents”. Użytkownicy systemów macOS i Linux mogą być zmuszeni użyć python3 zamiast python w poniższym poleceniu.
python ingest.py 
7. Na koniec uruchom PrivateGPT, wykonując poniższe polecenie. Zostaniesz poproszony o wpisanie zapytania. Wpisz swoje pytanie i naciśnij Enter.
python privateGPT.py 
8. Na moim komputerze stacjonarnym z procesorem Intel i3 10. generacji odpowiedź na pytanie zajęła prawie 2 minuty. Po każdej odpowiedzi wyświetli się również cztery źródła, z których zaczerpnięto kontekst.
9. Aby przerwać rozmowę, wpisz exit i naciśnij Enter.
Ty może również wyłączyć internet, ale prywatny chatbot AI będzie nadal działał, ponieważ wszystko odbywa się lokalnie. PrivateGPT nie ma jeszcze interfejsu internetowego, więc na razie będziesz musiał używać go w interfejsie wiersza poleceń. Ponadto obecnie nie korzysta z GPU, co jest kłopotliwe. Po wprowadzeniu obsługi GPU wydajność znacznie się poprawi. Na koniec, aby załadować chatbota AI PrivateGPT, po prostu uruchom python privateGPT.py, jeśli nie dodałeś nowych dokumentów do folderu źródłowego.
Zostaw komentarz
W Internecie toczy się wiele dyskusji na temat AR (rzeczywistość rozszerzona) i VR (rzeczywistość wirtualna), więc nie będę dolewał oliwy do ognia, ale jedną z rzeczy, które zauważyliśmy podczas korzystanie z Nreal Air polega na tym, że VR […]
W Redfall, mieszance na wpół niedopieczonej słynnej formuły Arkane, istnieją pewne wątpliwe wybory projektowe. Uwielbiam gry stworzone przez Arkane Studios, a Dishonored stało się tytułem, do którego wracam od czasu do czasu ze względu na jego wyjątkową rozgrywkę. I […]
Monitor BenQ PD2706UA jest tutaj i jest wyposażony we wszystkie dzwonki i gwizdki, które docenią użytkownicy produktywni. Rozdzielczość 4K, fabrycznie skalibrowane kolory, 27-calowy panel, ergonomiczna podstawa, którą można łatwo regulować i nie tylko. Ma wiele […]