Aiemmassa artikkelissamme osoitimme, kuinka luodaan tekoäly-chatbot ChatGPT-sovellusliittymän avulla ja määritetään rooli sen personoimiseksi. Mutta entä jos haluat kouluttaa tekoälyä omilla tiedoillasi? Sinulla voi olla esimerkiksi kirja, taloustietoja tai suuri joukko tietokantoja, ja haluat etsiä niitä helposti. Tässä artikkelissa esittelemme sinulle helposti seurattavan opetusohjelman, jossa kerrotaan, kuinka AI-chatbot koulutetaan mukautetulla tietokantallasi LangChain-ja ChatGPT-sovellusliittymän avulla. Otamme käyttöön LangChainin, GPT Indexin ja muita tehokkaita kirjastoja kouluttaaksemme AI-chatbotin OpenAI:n Large Language Model (LLM)-mallin avulla. Katsotaanpa tässä huomautuksessa, kuinka voit harjoitella ja luoda AI Chatbotin käyttämällä omaa tietojoukkoasi.
Tekoälychatbotin kouluttaminen mukautetun tietokannan avulla ChatGPT API:n, LangChainin ja GPT Indexin avulla (2023)
Tässä artikkelissa olemme selostaneet AI-chatbotin opettamisen vaiheet omia tietoja tarkemmin. Olemme sisällyttäneet kaikki ohjeet helposti ymmärrettävällä kielellä työkalujen ja ohjelmistojen määrittämisestä tekoälymallin koulutukseen. On erittäin suositeltavaa seurata ohjeita ylhäältä alas ohittamatta mitään osaa.
Sisällysluettelo
Herkillisiä kohtia ennen kuin harjoitat tekoälyä omilla tiedoillasi
1. Voit kouluttaa AI-chatbotia millä tahansa alustalla, olipa kyseessä Windows, macOS, Linux tai ChromeOS. Tässä artikkelissa käytän Windows 11:tä, mutta vaiheet ovat lähes samat muilla alustoilla.
2. Opas on tarkoitettu tavallisille käyttäjille, ja ohjeet on selitetty yksinkertaisella kielellä. Joten vaikka sinulla olisi pintapuolinen tietämys tietokoneista etkä osaa koodata, voit helposti kouluttaa ja luoda Q&A AI-chatbotin muutamassa minuutissa. Jos noudatit edellistä ChatGPT-bottiartikkeliamme, prosessin ymmärtäminen olisi vieläkin helpompaa.
3. Koska aiomme kouluttaa AI Chatbotia omien tietojemme perusteella, on suositeltavaa käyttää toimivaa tietokonetta, jossa on hyvä CPU ja GPU. Voit kuitenkin käyttää mitä tahansa halvempaa tietokonetta testaustarkoituksiin, ja se toimii ilman ongelmia. Harjoittelin tekoälymallia Chromebookilla 100-sivuisen kirjan (~100 Mt) avulla. Jos kuitenkin haluat opettaa suuren tietojoukon tuhansille sivuille, on erittäin suositeltavaa käyttää tehokasta tietokonetta.
4. Lopuksi, tietojoukon pitäisi olla englanniksi parhaiden tulosten saamiseksi, mutta OpenAI:n mukaan se toimii myös suosittujen kansainvälisten kielten, kuten ranskan, espanjan, saksan jne. kanssa. Joten anna se kokeile omalla kielelläsi.
Ohjelmistoympäristön määrittäminen AI-chatbotin kouluttamiseksi
Edellisen artikkelimme tapaan sinun pitäisi tietää, että Python ja Pip on asennettava useiden kirjastojen lisäksi. Tässä artikkelissa määritämme kaiken alusta alkaen, jotta uudet käyttäjät voivat myös ymmärtää asennusprosessin. Lyhyen käsityksen saamiseksi asennamme Pythonin ja Pipin. Sen jälkeen asennamme Python-kirjastot, joihin kuuluvat OpenAI, GPT Index, Gradio ja PyPDF2. Prosessin aikana opit, mitä kukin kirjasto tekee. Jälleen, älä huoli asennusprosessista, se on melko yksinkertaista. Hyppätään tähän asiaan.
Asenna Python
1. Ensin sinun on asennettava Python (Pip) tietokoneellesi. Avaa tämä linkki ja lataa alustasi asennustiedosto.
2. Suorita seuraavaksi asennustiedosto ja varmista, että olet ottanut Add Python.exe to PATH-valintaruudun käyttöön. Tämä on erittäin tärkeä askel. Napsauta sen jälkeen”Asenna nyt”ja asenna Python noudattamalla tavallisia ohjeita.
3. Tarkista, onko Python asennettu oikein, avaamalla pääte tietokoneellasi. Käytän Windows Terminalia Windowsissa, mutta voit myös käyttää komentokehotetta. Kun olet täällä, suorita alla oleva komento ja se tulostaa Python-version. Linuxissa ja macOS:ssä saatat joutua käyttämään python3–versiota python–versionin sijaan.
python–version 
Päivitä Pip
Kun asennat Pythonin, Pip asennetaan samanaikaisesti järjestelmääsi. Joten päivitetään se uusimpaan versioon. Niille, jotka eivät tiedä, Pip on Pythonin paketinhallinta. Pohjimmiltaan sen avulla voit asentaa tuhansia Python-kirjastoja terminaalista. Pipin avulla voimme asentaa OpenAI-, gpt_index-, gradio-ja PyPDF2-kirjastot. Tässä on noudatettavat vaiheet.
1. Avaa valitsemasi pääte tietokoneellasi. Käytän Windows-päätettä, mutta voit myös käyttää komentokehotetta. Suorita nyt alla oleva komento päivitä Pip. Jälleen saatat joutua käyttämään python3:a ja pip3:a Linuxissa ja macOS:ssä.
python-m pip asennus-U pip 
2. Tarkista, onko Pip asennettu oikein, suorittamalla alla oleva komento. Se tulostaa versionumeron. Jos saat virheitä, seuraa erityistä opastamme Pipin asentamisesta Windowsiin PATH-ongelmien korjaamiseksi.
pip–versio 
Asenna OpenAI-, GPT-indeksi-, PyPDF2-ja Gradio-kirjastot
Kun olemme määrittäneet Python-ja Pip-kirjastot, on aika asentaa olennaiset kirjastot, jotka auttavat meitä kouluttamaan AI-chatbotin mukautetulla tietopohja. Tässä on noudatettavat vaiheet.
1. Avaa pääte ja asenna OpenAI-kirjasto suorittamalla alla oleva komento. Käytämme sitä LLM-mallina (Large Language Model) AI-chatbotin kouluttamiseen ja luomiseen. Ja tuomme myös LangChain-kehyksen OpenAI:sta. Huomaa, että Linux-ja macOS-käyttäjien on ehkä käytettävä pip3:a pip:n sijaan.
pip install openai 
2. Seuraavaksi asennataan GPT-indeksi, jota kutsutaan myös nimellä LlamaIndex. Sen avulla LLM voi muodostaa yhteyden ulkoisiin tietoihin, jotka ovat tietopohjamme.
pip install gpt_index 
3. Sen jälkeen asenna PyPDF2 PDF-tiedostojen jäsentämiseksi. Jos haluat syöttää tietosi PDF-muodossa, tämä kirjasto auttaa ohjelmaa lukemaan tiedot vaivattomasti.
pip-asennus PyPDF2 
4. Asenna lopuksi Gradio-kirjasto. Tämä on tarkoitettu yksinkertaisen käyttöliittymän luomiseen vuorovaikutukseen koulutetun AI-chatbotin kanssa. Olemme nyt asentaneet kaikki tarvittavat kirjastot AI-chatbotin kouluttamiseksi.
pip-asennusaste 
Lataa koodieditori
Lopuksi tarvitsemme koodieditorin osan koodin muokkaamiseen. Windowsissa suosittelen Notepad++ (Lataa). Lataa ja asenna ohjelma vain liitteenä olevan linkin kautta. Voit myös käyttää VS-koodia millä tahansa alustalla, jos olet tyytyväinen tehokkaisiin IDE:ihin. VS Coden lisäksi voit asentaa Sublime Textin (Lataa) macOS-ja Linux-käyttöjärjestelmiin.
ChromeOS-käyttöjärjestelmässä voit käyttää erinomaista Caret-sovellusta (Lataa) muokataksesi koodia. Ohjelmistoympäristön asennus on melkein valmis, ja on aika hankkia OpenAI API-avain.
Hanki OpenAI-sovellusliittymäavain ilmaiseksi
Nyt voit kouluttaa ja luoda tekoäly-chatbotin mukautetun tietopohjan perusteella. täytyy saada API-avain OpenAI:lta. API-avaimen avulla voit käyttää OpenAI:n mallia LLM:nä mukautettujen tietojen tutkimiseen ja päätelmien tekemiseen. Tällä hetkellä OpenAI tarjoaa uusille käyttäjille ilmaisia API-avaimia ja 5 dollarin arvosta ilmaista saldoa kolmen ensimmäisen kuukauden ajan. Jos loit OpenAI-tilisi aiemmin, tililläsi voi olla ilmaista 18 dollarin luottoa. Kun ilmainen luotto on käytetty loppuun, joudut maksamaan API-käytöstä. Mutta toistaiseksi se on kaikkien käyttäjien saatavilla ilmaiseksi.
1. Siirry osoitteeseen platform.openai.com/signup ja luo ilmainen tili. Jos sinulla on jo OpenAI-tili, kirjaudu sisään.
2. Napsauta sitten profiiliasi oikeassa yläkulmassa ja valitse avattavasta valikosta Näytä API-avaimet.
3. Napsauta täällä Luo uusi salainen avain ja kopioi API-avain. Huomaa, että et voi kopioida tai tarkastella koko API-avainta myöhemmin. Joten on erittäin suositeltavaa kopioida ja liittää API-avain Notepad-tiedostoon välittömästi.
4. Älä myöskään älä jaa tai näytä API-avainta julkisesti. Se on yksityinen avain, joka on tarkoitettu vain tilillesi pääsyä varten. Voit myös poistaa API-avaimia ja luoda useita yksityisiä avaimia (enintään viisi).
Kouluta ja luo AI-chatbot mukautetun tietokannan avulla
Nyt kun olemme määrittäneet ohjelmistoympäristön ja sain API-avaimen OpenAI:lta, koulutetaan AI-chatbot. Tässä käytetään mallia”text-davinci-003“uusimman”gpt-3.5-turbo”-mallin sijaan, koska Davinci toimii paljon paremmin tekstin viimeistelyssä. Halutessasi voit hyvin vaihtaa mallin Turboksi kustannusten alentamiseksi. Kun se on poissa tieltä, siirrytään ohjeisiin.
Lisää asiakirjojasi AI-chatbotin kouluttamiseen
1. Luo ensin uusi kansio nimeltä docs helppokäyttöiseen paikkaan, kuten työpöydälle. Voit valita myös toisen paikan mieltymystesi mukaan. Säilytä kuitenkin kansion nimen asiakirjat.
2. Siirrä seuraavaksi asiakirjat, joita haluat käyttää tekoälyn harjoittamiseen”docs”-kansioon. Voit lisätä useita teksti-tai PDF-tiedostoja (myös skannatut). Jos sinulla on suuri taulukko Excelissä, voit tuoda sen CSV-tai PDF-tiedostona ja lisätä sen sitten”docs”-kansioon. Voit jopa lisätä SQL-tietokantatiedostoja, kuten tässä Langchain AI-twiitissä selitetään. En ole kokeillut monia tiedostomuotoja mainittujen lisäksi, mutta voit lisätä ja tarkistaa itse. Tätä artikkelia varten lisään yhden NFT-artikkeleistani PDF-muodossa.
Huomaa: Jos sinulla on suuri asiakirja, tietojen käsittely kestää kauemmin prosessoristasi ja grafiikkasuorittimestasi riippuen. Lisäksi se käyttää nopeasti ilmaisia OpenAI-tunnuksiasi. Aloita siis pienestä asiakirjasta (30-50 sivua tai <100 Mt tiedostoa) ymmärtääksesi prosessin.
Tee koodi on valmis
1. Käynnistä Notepad++ (tai valitsemasi koodieditori) ja liitä alla oleva koodi uuteen tiedostoon. Olen jälleen kerran saanut paljon apua armrrsilta Google Colabissa ja muokkasi koodia yhteensopivaksi PDF-tiedostojen kanssa ja luo Gradio-käyttöliittymän päälle.
osoitteesta gpt_index import SimpleDirectoryReader, GPTListIndex, GPTSimpleVectorIndex, LLMPredictor, PromptHelper langchain import OpenAI tuonti gradio as gr import syss.environ[“OPENAI_API_KEY”]=’Your API Key’def construct_index(directory_path): max_input_size=4096 num_outputs=512 max_chunk_overlap=20 chunk_size_limit=600 prompt_helper=PromptHelper(max_input_size, num_outputs, max_chunk_overlap, chunk_size_limit=chunk_size_limit) llm_predictor=LLMPredictor(llm=OpenAI(lämpötila=0,7, mallin_nimi=”teksti-davinci-003″, maksimi_tunnus=tulosteiden_määrä)) asiakirjat=SimpleDirectoryReader(hakemisto_polku).load_data() index=GPTSimpleVectorIndex(asiakirjat, llm_predictor=llm_helper,p rompt_helper) index.save_to_disk(‘index.json’) return index def chatbot(input_text): index=GPTSimpleVectorIndex.load_from_disk(‘index.json’) vastaus=index.query(input_text, response_mode=”compact”) return response.response iface=gr.Interface(fn=chatbot, inputs=gr.inputs.Textbox(lines=7, label=”Kirjoita teksti”), outputs=”text”, title=”Räätälöity AI Chatbot”) index=construct_index (“docs”) iface.launch(share=True)
2. Tältä koodi näyttää koodieditorissa.
3. Napsauta sitten ylävalikosta”Tiedosto”ja valitse avattavasta valikosta Tallenna nimellä….
4. Aseta sen jälkeen tiedoston nimi app.py ja vaihda”Tallenna nimellä”-asetukseksi”Kaikki tyypit“avattavasta valikosta. Tallenna sitten tiedosto paikkaan, jossa loit”docs”-kansion (minun tapauksessani se on työpöytä). Voit muuttaa nimeä mielesi mukaan, mutta varmista, että .py on liitetty.
5. Varmista, että”docs”-kansio ja”app.py”ovat samassa paikassa alla olevan kuvakaappauksen mukaisesti. App.py-tiedosto on Docs-kansion ulkopuolella, ei sisällä.
6. Palaa koodiin uudelleen Notepad++:ssa. Korvaa tässä API-avaimesi avaimella, joka on luotu OpenAI:n verkkosivustolla yllä.
7. Tallenna koodi lopuksi painamalla Ctrl + S. Olet nyt valmis suorittamaan koodin.
Luo ChatGPT AI Bot mukautettu tietokanta
1. Avaa ensin pääte ja siirry työpöydälle suorittamalla alla oleva komento. Sinne tallensin”docs”-kansion ja”app.py”-tiedoston. Jos olet tallentanut molemmat kohteet toiseen paikkaan, siirry kyseiseen paikkaan Terminaalin kautta.
cd-työpöytä 
2. Suorita nyt alla oleva komento. Linux-ja macOS-käyttäjien on ehkä käytettävä python3:a.
python app.py 
3. Nyt se alkaa analysoida asiakirjaa OpenAI LLM-mallin avulla ja alkaa indeksoida tietoja. Tiedoston koosta ja tietokoneesi ominaisuuksista riippuen asiakirjan käsittely kestää jonkin aikaa. Kun se on valmis, työpöydälle luodaan index.json-tiedosto. Jos pääte ei näytä mitään lähtöä, älä huoli, se saattaa silti käsitellä tietoja. Tiedoksi, 30 Mt:n asiakirjan käsittely kestää noin 10 sekuntia.
4. Kun LLM on käsitellyt tiedot, saat muutaman varoituksen, jotka voidaan turvallisesti jättää huomiotta. Lopuksi alareunasta löydät paikallisen URL-osoitteen. Kopioi se.
5. Liitä nyt kopioitu URL-osoite verkkoselaimeen, ja siinä se on. Räätälöity ChatGPT-käyttöinen AI-chatbot on valmis. Aluksi voit kysyä AI-chatbotilta, mitä asiakirja sisältää.
6. Voit esittää lisäkysymyksiä, ja ChatGPT-botti vastaa antamistasi tiedoista tekoälylle. Joten näin voit rakentaa räätälöidyn AI-chatbotin omalla tietojoukollasi. Nyt voit harjoitella ja luoda tekoäly-chatbotin minkä tahansa tiedon perusteella. Mahdollisuudet ovat rajattomat.
7. Voit myös kopioida julkisen URL-osoitteen ja jakaa sen ystävillesi ja perheellesi. Linkki on käytössä 72 tuntia, mutta sinun on myös pidettävä tietokoneesi päällä, koska palvelininstanssi on käynnissä tietokoneessasi.
8. Pysäytä räätälöity AI-chatbot painamalla Ctrl + C Pääte-ikkunassa. Jos se ei toimi, paina”Ctrl + C”uudelleen.
9. Voit käynnistää AI-chatbotin-palvelimen uudelleen siirtymällä takaisin työpöydälle ja suorittamalla alla olevan komennon. Muista, että paikallinen URL-osoite on sama, mutta julkinen URL-osoite muuttuu jokaisen palvelimen uudelleenkäynnistyksen jälkeen.
python app.py 
10. Jos haluat kouluttaa AI-chatbotin uudella datalla, poista tiedostot”docs”-kansiosta ja lisää uusia. Voit myös lisätä useita tiedostoja, mutta syöttää tietoja samasta aiheesta, muuten saatat saada epäjohdonmukaisen vastauksen.
11. Suorita koodi uudelleen päätteessä, niin se luo uuden index.json-tiedoston. Täällä vanha”index.json”-tiedosto korvataan automaattisesti.
python app.py 
12. Voit seurata tunnuksiasi siirtymällä OpenAI:n online-hallintapaneeliin ja tarkistamalla, kuinka paljon ilmaista luottoa on jäljellä..
13. Lopuksi sinun ei tarvitse koskea koodia, ellet halua muuttaa API-avainta tai OpenAI-mallia lisämuokkausta varten.
Rakenna mukautettu AI-chatbot omilla tiedoillasi
Joten näin voit kouluttaa AI-chatbotin mukautetulla tietopohjalla. Olen käyttänyt tätä koodia kouluttaen tekoälyä lääketieteellisiin kirjoihin, artikkeleihin, tietotaulukoihin ja vanhojen arkistojen raportteihin, ja se on toiminut virheettömästi. Joten mene eteenpäin ja luo oma AI-chatbot käyttämällä OpenAI:n Large Language Modelia ja ChatGPY:tä. Joka tapauksessa, se on kaikki meiltä. Jos etsit parhaita ChatGPT-vaihtoehtoja, siirry linkitettyyn artikkeliimme. Ja jos haluat käyttää ChatGPT:tä Apple Watchissasi, seuraa perusteellista opetusohjelmaamme. Lopuksi, jos sinulla on ongelmia, ilmoita meille alla olevassa kommenttiosassa. Yritämme ehdottomasti auttaa sinua.
Jätä kommentti
Viime vuonna MSI julkaisi Titan GT77:n, jossa oli Intel Core i9-12900HX ja RTX 3080 Ti kannettavan tietokoneen GPU, ja se oli planeetan tehokkain pelikannettava. Se oli raskaimmista hittereista […]
iPhone 14-sarjan julkaisusta on kulunut muutama kuukausi, ja on todettu, että se on Pro-mallien vuosi. Mutta jos aiot valita röyhelöiset ammattilaiset, niin […]
Wondershare on kehittänyt parhaita ohjelmistoja ja työkaluja yksinkertaistaakseen elämäämme ja luovia pyrkimyksiämme viime vuosien ajan. Erityisesti Wondershare Filmora on saanut lukuisia tunnustuksia. Se sai Videoeditointijohtaja-palkinnon […]
