Markkinoilla on tällä hetkellä useita tekoälypelaajia, mukaan lukien ChatGPT, Google Bard, Bing AI Chat ja monet muut. Kaikki ne edellyttävät kuitenkin Internet-yhteyttä ollaksesi vuorovaikutuksessa tekoälyn kanssa. Entä jos haluat asentaa samanlaisen Large Language Model (LLM)-mallin tietokoneellesi ja käyttää sitä paikallisesti? AI-chatbot, jota voit käyttää yksityisesti ja ilman Internet-yhteyttä. No, Stanfordin julkaiseman uuden Alpaca-mallin avulla voit tulla lähelle siihen todellisuuteen. Kyllä, voit käyttää ChatGPT:n kaltaista kielimallia tietokoneellasi offline-tilassa. Joten tässä huomautuksessa, mennään eteenpäin ja opitaan käyttämään LLM:ää paikallisesti ilman Internetiä.
Suorita ChatGPT:n kaltainen LLM paikallisesti ilman Internetiä (yksityinen ja suojattu)
Tässä artikkelissa olen maininnut kaiken siitä, kuinka ChatGPT:n kaltainen LLM suoritetaan paikallisella tietokoneella ilman Internetissä. Voit laajentaa alla olevaa taulukkoa ja tutustua vaiheisiin yksityiskohtaisesti.
Sisällysluettelo
Mikä Alpaca ja LLaMA ovat?
Alpaca on pieni tekoälyn kielimalli kehittämä Stanfordin yliopiston tietojenkäsittelytieteilijöiden ryhmä. Ainutlaatuista Alpakassa on, kuinka pieni ja kustannustehokas se on. Vain 7 miljardilla parametrilla Alpaca on yhtä hyvä kuin OpenAI:n text-davinci-003-malli. Ja voit käyttää sitä paikallisella tietokoneellasi ilman Internet-yhteyttä. Se on aika siistiä, eikö?
Kuva: Stanford.edu
Mutta miten se koulutettiin? Yllättäen Alpaca on hienoviritetty LLaMassa, Metan suuressa kielimallissa, joka äskettäin vuota verkossa. Tämän kielimallin kouluttamiseen tutkijat käyttivät OpenAI:n”text-davinci-003″-mallia tuottaakseen 52 000 korkealaatuista itseohjautuvaa dataa. Tällä tietojoukolla he hienosäädivät LLaMA-mallia käyttämällä HuggingFacen harjoituskehystä ja julkaisivat Alpaca 7B:n. Voit myös käyttää Metan LLaMA-mallia, mutta minun testauksessani Stanfordin Alpaca LLM suoriutui paljon paremmin ja se on myös melko nopea.
Millaista laitteistoa tarvitset Alpacan käyttämiseen?
Voit käyttää Alpaca 7B:tä missä tahansa kunnollisessa koneessa. Asensin Alpaca 7B:n lähtötason tietokoneelleni ja se toimi melko hyvin. Jotta saisit jonkinlaisen käsityksen, tietokoneessani on 10. sukupolven Intel i3-prosessori, jossa on 256 Gt SSD-levyä ja 8 Gt RAM-muistia. GPU:na käytän Nvidian lähtötason GeForce GT 730 GPU:ta, jossa on 2 Gt VRAM-muistia.
alpaca-lora (7b) を vadelma pi cm4 で 動かし て み た^^)/とても ゆっくり です が この 小さな 筐体 で 話し て くれる の は 、 とても 可愛い です ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね😍 #LLM #IoT pic.twitter.com/SyP3HZhMYX – Mitsunori SATOMI＠VR 30th Anniversary (@gravitino) %5E 20, 2023
Voit käyttää Alpacaa paikallisesti myös ilman erillistä GPU:ta. Vastausaika on kuitenkin hidas. Sen lisäksi on olemassa käyttäjiä, jotka ovat pystyneet ajamaan Alpacaa jopa pienessä tietokoneessa, kuten Raspberry Pi 4. Joten voit päätellä, että Alpaca-kielimalli toimii erittäin hyvin myös lähtötason tietokoneissa.
Ohjelmistoympäristön määrittäminen suorittamaan Alpaca ja LLaMA
Windows
Windowsissa sinun on asennettava Python, Node.js ja C++ aloittaaksesi käyttämällä suurta kielimallia offline-tilassa tietokoneellasi. Tässä on ohjeet siihen.
1. Lataa ensin Python 3.10 (tai vanhempi) täältä. Vieritä alas ja napsauta”Windows Installer (64-bit)”ladataksesi asennustiedoston.
2. Käynnistä asennustiedosto ja ota Add Python.exe to PATH vieressä oleva valintaruutu käyttöön. Asenna nyt Python kaikilla oletusasetuksilla.
3. Asenna sen jälkeen Node.js-versio 18.0 (tai uudempi) täältä. Pidä kaikki oletusasetuksena ohjelman asennuksen aikana.
4. Lataa lopuksi Visual Studion ”Community”-versio tästä linkistä ilmaiseksi.
5. Käynnistä Visual Studio 2022-asennustiedosto, ja se lataa aluksi joitain tiedostoja. Tämän jälkeen avautuu uusi ikkuna. Varmista tässä, että Työpöytäkehitys C++:lla on käytössä.
6. Napsauta lopuksi Asenna ja odota, kunnes asennus on valmis.
7. Suosittelen käynnistämään tietokoneen uudelleen, kun kaikki on asennettu. Avaa seuraavaksi Command Prompt ja suorita alla olevat komennot tarkistaaksesi, onko Python ja Node.js asennettu onnistuneesti. Molempien pitäisi palauttaa versionumero. Olet nyt valmis.
python–version node–version 
Apple macOS
Python on yleensä esiasennettu macOS:ään, joten sinun tarvitsee vain asentaa Node.js (versio 18.0 tai uudempi). Voit tehdä sen seuraavasti:
1. Lataa Node.js macOS Installer (versio 18.0 tai uudempi) täältä.
2. Avaa seuraavaksi pääte ja suorita alla oleva komento tarkistaaksesi, onko Node.js asennettu oikein. Jos saat vastineeksi versionumeron, olet valmis.
solmu–versio 
3. Tarkista seuraavaksi Python-versio suorittamalla alla oleva komento. Sen pitäisi olla Python 3.10 tai vanhempi.
python3–versio
4. Jos et saa tulostetta tai sinulla on viimeisin Python-versio, lataa Python 3.10 (tai vanhempi) osoitteesta täällä. Vieritä alas ja napsauta macOS 64-bit universal2 installer ladataksesi Python. Asenna se nyt Mac-tietokoneellesi.
Linux ja ChromeOS
Linuxissa ja ChromeOS:ssä sinun on määritettävä Python ja Node.js ennen offline-käyttöä Alpaca ja LLaMA mallit. Tässä on noudatettavat vaiheet.
1. Avaa pääte ja suorita alla oleva komento tarkistaaksesi Python-version. Jos se on Python 3.10 tai vanhempi, olet valmis.
python3–versio 
2. Jos sinulla on umpiversio, voit käyttää alla olevia komentoja Python 3.10:n asentamiseen Linuxiin ja ChromeOS:ään.
sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get update sudo apt-get install python3.10 
3. Pythonin jälkeen asenna Node.js suorittamalla alla oleva komento.
sudo apt install nodejs 
4. Suorita asennuksen jälkeen alla oleva komento tarkistaaksesi Node.js-version. Sen tulee olla 18.0 tai uudempi.
node–version 
Alpaca-ja LLaMA-mallien asentaminen tietokoneellesi
Kun olet määrittänyt Pythonin ja Node.js, on aika asentaa ja suorittaa ChatGPT:n kaltainen LLM tietokoneellesi. Varmista, että pääte havaitsee sekä python-että node-komennot ennen kuin jatkat.
1. Avaa pääte (minun tapauksessani komentokehote) ja asenna Alpaca 7B LLM-malli suorittamalla alla oleva komento (vaatii noin 4,2 Gt levytilaa). Jos haluat asentaa Alpaca 13B-mallin, vaihda 7B malliin 13B. Suurempi malli tarvitsee 8,1 Gt tilaa.
npx dalai alpaca install 7B 
2. Kirjoita nyt”y“ja paina Enter. Tämä aloittaa Alpaca 7B-mallin asennuksen. Koko prosessi kestää 20–30 minuuttia Internet-yhteydestäsi ja mallin koosta riippuen.
3. Kun asennus on valmis, näet tämän kaltaisen näytön.
4. Voit myös asentaa LLaMA-malleja tai siirtyä seuraavaan vaiheeseen ja testata Alpaca-mallia välittömästi. Muista, että LLaMA on kooltaan paljon suurempi. Sen 7B-malli vie jopa 31 Gt tilaa. Asenna se suorittamalla alla oleva komento. Voit korvata 7B:n 13B:llä, 30B:llä ja 65B:llä. Suurin malli vie jopa 432 Gt tilaa.
npx dalai llama install 7B 
5. Suorita lopuksi alla oleva komento, ja se käynnistää verkkopalvelimen välittömästi.
npx dalai palvele 
6. Käytä verkkoselainta tietokoneellasi ja avaa alla oleva osoite. Tämä vie sinut verkkokäyttöliittymään, jossa voit testata Alpaca-ja LLaMA-malleja paikallisesti ja ilman Internetiä.
http://localhost:3000 
7. Tässä sinun on valittava malli”Alpaca 7B“tai”LLaMA 7B”oikean yläkulman”malli”-pudotusvalikosta. Koska olen asentanut vain Alpaca 7B-mallin, tämä on oletukseni.
8. Voit nyt aloittaa tämän ChatGPT:n kaltaisen kielimallin käyttämisen tietokoneellasi ilman internetyhteyttä. Korvaa”PROMPT”kyselylläsi ja napsauta”Go”.
9. Tältä resurssien käyttö näyttää, kun käytän paikallista Alpaca LLM-palvelinta Windows-tietokoneellani.
10. Jos haluat poistaa ladatut mallit vapauttaaksesi levytilaa, avaa käyttäjäprofiilisi hakemisto. Täällä”dalai”-kansiossa on kaikki tiedostot, mukaan lukien malli. Dalai-kansion poistaminen vapauttaa tilaa välittömästi.
Käytä ChatGPT:n kaltainen palvelu yksityisesti ja täysin offline-tilassa
Joten näin voit suorittaa ChatGPT:n kaltaisen LLM:n paikallisella tietokoneellasi ja saada myös kunnollisia tuloksia. Ajan myötä uusia ja erittäin tehokkaita LLM-malleja on saatavilla tulevaisuudessa, joita voidaan ajaa älypuhelimilla pienille pöytätietokoneille, kuten Raspberry Pi. Joka tapauksessa, se on kaikki meiltä. Jos haluat käyttää ChatGPT 4:ää ilmaiseksi, katso upeita resursseja linkitetyssä artikkelissamme. Ja jos haluat kouluttaa AI-chatbotin omien asiakirjojen perusteella, meillä on sinulle valmiina perusteellinen opas. Lopuksi, jos sinulla on ongelmia, ilmoita meille alla olevassa kommenttiosassa.
Jätä kommentti
Viime vuonna MSI julkaisi Titan GT77:n, jossa oli Intel Core i9-12900HX ja RTX 3080 Ti kannettavan tietokoneen GPU, ja se oli planeetan tehokkain pelikannettava. Se oli raskaimmista hittereista […]
iPhone 14-sarjan julkaisusta on kulunut muutama kuukausi, ja on todettu, että se on Pro-mallien vuosi. Mutta jos aiot valita röyhelöiset ammattilaiset, niin […]
Wondershare on kehittänyt parhaita ohjelmistoja ja työkaluja yksinkertaistaakseen elämäämme ja luovia pyrkimyksiämme viime vuosien ajan. Erityisesti Wondershare Filmora on saanut lukuisia tunnustuksia. Se sai Videoeditointijohtaja-palkinnon […]
