In questo momento sul mercato sono presenti numerosi attori dell’IA, tra cui ChatGPT, Google Bard, Bing AI Chat e molti altri. Tuttavia, tutti richiedono una connessione Internet per interagire con l’IA. E se volessi installare un Large Language Model (LLM) simile sul tuo computer e usarlo localmente? Un chatbot AI che puoi utilizzare in privato e senza connettività Internet. Bene, con il nuovo modello Alpaca rilasciato da Stanford, puoi avvicinarti a quella realtà. Sì, puoi eseguire un modello linguistico simile a ChatGPT sul tuo PC offline. Quindi, su questa nota, andiamo avanti e impariamo come utilizzare un LLM localmente senza Internet.
Esegui un LLM simile a ChatGPT in locale senza Internet (privato e sicuro)
In questo articolo, ho menzionato tutto su come eseguire un LLM simile a ChatGPT su un PC locale senza Internet. Puoi espandere la tabella sottostante e conoscere i passaggi in dettaglio.
Sommario
Cos’è Alpaca e LLaMA?
Alpaca è un piccolo modello di linguaggio AI sviluppato da un gruppo di informatici della Stanford University. La cosa unica di Alpaca è quanto è piccolo ed economico. Con solo 7 miliardi di parametri, Alpaca è buono quanto il modello text-davinci-003 di OpenAI. E puoi eseguirlo sul tuo computer locale senza richiedere una connessione Internet. È piuttosto bello, vero?
Immagine: Stanford.edu
Ma come è stato addestrato? Sorprendentemente, Alpaca è perfezionato su LLaMa, il grande modello linguistico di Meta che recentemente trapelato online. E per addestrare questo modello linguistico, gli scienziati hanno utilizzato il modello”text-davinci-003″di OpenAI per generare 52.000 dati di autoistruzione di alta qualità. Con questo set di dati, hanno messo a punto il modello LLaMA utilizzando il framework di addestramento di HuggingFace e rilasciato Alpaca 7B. Puoi anche usare il modello LLaMA di Meta, ma nei miei test, l’Alpaca LLM di Stanford ha funzionato molto meglio ed è anche abbastanza veloce.
Di che tipo di hardware hai bisogno per eseguire Alpaca?
Puoi usare Alpaca 7B su qualsiasi macchina decente. Ho installato Alpaca 7B sul mio PC entry-level e ha funzionato abbastanza bene. Per darti un’idea, il mio PC è alimentato da un processore Intel i3 di decima generazione con 256 GB di SSD e 8 GB di RAM. Per la GPU, utilizzo la GPU GeForce GT 730 entry-level di Nvidia con 2 GB di VRAM.
alpaca-lora (7b) を lampone pi cm4 で 動かし て み み まし ^^)/とても ゆっくり です が 、 この 小さな 筐体 で 話し て くれる の は は 、 とても です です です です です です です😍 #LLM #IoT pic.twitter.com/SyP3HZhMYX— Mitsunori SATOMI＠30° Anniversario VR (@gravitino) Marzo 20, 2023
Anche senza una GPU dedicata, puoi eseguire Alpaca localmente. Tuttavia, il tempo di risposta sarà lento. A parte questo, ci sono utenti che sono stati in grado di eseguire Alpaca anche su un piccolo computer come Raspberry Pi 4. Quindi puoi dedurre che il modello di linguaggio Alpaca può funzionare benissimo anche su computer entry-level.
Configura l’ambiente software per eseguire Alpaca e LLaMA
Windows
Su Windows, devi installare Python, Node.js e C++ per iniziare con l’utilizzo di un modello linguistico di grandi dimensioni offline sul tuo computer. Ecco come procedere.
1. Innanzitutto, scarica Python 3.10 (o versioni precedenti) da qui. Scorri verso il basso e fai clic su”Windows installer (64-bit)”per scaricare il file di installazione.
2. Avvia il file di installazione e attiva la casella di controllo accanto a”Aggiungi Python.exe al PERCORSO“. Ora installa Python con tutte le impostazioni predefinite.
3. Successivamente, installa Node.js versione 18.0 (o successiva) da qui. Mantieni tutto predefinito durante l’installazione del programma.
4. Infine, scarica gratuitamente l’edizione”Community”di Visual Studio da questo link.
5. Avvia il file di installazione di Visual Studio 2022 e inizialmente scaricherà alcuni file. Successivamente, verrà avviata una nuova finestra. Qui, assicurati che”Sviluppo desktop con C++“sia abilitato.
6. Infine, fai clic su”Installa“e attendi fino al completamento dell’installazione.
7. Ti consiglio di riavviare il computer una volta installato tutto. Successivamente, apri”Prompt dei comandi“ed esegui i comandi seguenti per verificare se Python e Node.js sono stati installati correttamente. Entrambi dovrebbero restituire il numero di versione. Ora sei a posto.
python–version node–version 
Apple macOS
Python viene generalmente preinstallato su macOS, quindi è sufficiente installare Node.js (versione 18.0 o successiva). Ecco come puoi farlo:
1. Scarica il programma di installazione macOS Node.js (versione 18.0 o successiva) dal link qui.
2. Successivamente, apri il Terminale ed esegui il comando seguente per controllare se Node.js è installato correttamente. Se ottieni un numero di versione in cambio, sei a posto.
node–version 
3. Successivamente, controlla la versione di Python eseguendo il comando seguente. Dovrebbe essere Python 3.10 o precedente.
python3–versione
4. Se non ottieni l’output o ti capita di avere l’ultima versione di Python, scarica Python 3.10 (o precedente) da qui. Scorri verso il basso e fai clic su”installer macOS 64-bit universal2“per scaricare Python. Ora installalo sul tuo Mac.
Linux e ChromeOS
Su Linux e ChromeOS, devi configurare Python e Node.js prima di eseguire offline Modelli Alpaca e LLaMA. Ecco i passi da seguire.
1. Apri il Terminale ed esegui il comando seguente per verificare la versione di Python. Se è Python 3.10 o precedente, sei a posto.
python3–version 
2. Se disponi di una versione successiva, puoi utilizzare i comandi seguenti per installare Python 3.10 su Linux e ChromeOS.
sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get update sudo apt-get install python3.10 
3. Dopo Python, installa Node.js eseguendo il comando seguente.
sudo apt install nodejs 
4. Dopo l’installazione, esegui il comando seguente per verificare la versione di Node.js. Dovrebbe essere 18.0 o superiore.
node–version 
Installa i modelli Alpaca e LLaMA sul tuo computer
Dopo aver configurato Python e Node.js, è il momento di installare ed eseguire un LLM simile a ChatGPT sul tuo PC. Assicurati che il terminale rilevi sia i comandi python che node prima di procedere.
1. Apri il Terminale (nel mio caso, Prompt dei comandi) ed esegui il comando seguente per installare il modello Alpaca 7B LLM (sono necessari circa 4,2 GB di spazio su disco). Se vuoi installare il modello Alpaca 13B, sostituisci 7B con 13B. Il modello più grande richiede 8,1 GB di spazio.
npx dalai alpaca installa 7B 
2. Ora digita”y“e premi Invio. Questo avvierà l’installazione del modello Alpaca 7B. L’intero processo richiederà dai 20 ai 30 minuti, a seconda della connettività Internet e delle dimensioni del modello.
3. Al termine dell’installazione, verrà visualizzata una schermata come questa.
4. Puoi scegliere di installare anche i modelli LLaMA o passare al passaggio successivo per testare immediatamente il modello Alpaca. Ricorda, LLaMA è di dimensioni molto maggiori. Il suo modello 7B occupa fino a 31 GB di spazio. Per installarlo, eseguire il comando seguente. Puoi sostituire 7B con 13B, 30B e 65B. Il modello più grande occupa fino a 432 GB di spazio.
npx dalai llama install 7B 
5. Infine, esegui il comando seguente e avvierà immediatamente il server web.
npx dalai serve 
6. Utilizza un browser web sul tuo PC e apri l’indirizzo seguente. Questo ti porterà all’interfaccia utente web dove puoi testare i modelli Alpaca e LLaMA localmente e senza Internet.
http://localhost:3000 
7. Qui, devi scegliere il modello”Alpaca 7B“o”LLaMA 7B”dal menu a discesa”modello”nell’angolo in alto a destra. Poiché ho installato solo il modello Alpaca 7B, questa è la mia impostazione predefinita.
8. Ora puoi iniziare a utilizzare questo modello linguistico simile a ChatGPT sul tuo PC senza connettività Internet. Sostituisci”PROMPT”con la tua query e fai clic su”Vai”.
9. Ecco come appare l’utilizzo delle risorse durante l’esecuzione del server Alpaca LLM locale sul mio PC Windows.
10. Nel caso in cui desideri eliminare i modelli scaricati per liberare spazio su disco, apri la directory del tuo profilo utente. Qui, la cartella “dalai” contiene tutti i file, compreso il modello. L’eliminazione della cartella”dalai”libererà immediatamente spazio.
Usa un servizio simile a ChatGPT in modo privato e completamente offline
Quindi è così che puoi eseguire un LLM simile a ChatGPT sul tuo PC locale e ottenere anche risultati decenti. Con il passare del tempo, in futuro saranno disponibili nuovi modelli LLM altamente efficienti che possono essere eseguiti su smartphone e computer di piccole dimensioni come Raspberry Pi. Comunque, questo è tutto da noi. Se desideri utilizzare ChatGPT 4 gratuitamente, vai al nostro articolo collegato per alcune risorse straordinarie. E nel caso in cui desideri addestrare un chatbot AI basato sui tuoi documenti, abbiamo una guida approfondita pronta per te. Infine, se riscontri problemi, faccelo sapere nella sezione commenti qui sotto.
1 commento
L’anno scorso, MSI ha lanciato il Titan GT77 con l’Intel Core i9-12900HX e la GPU per laptop RTX 3080 Ti, ed è stato il laptop da gioco più potente sulla faccia del pianeta. È stato il più pesante dei picchiaduro […]
Sono passati alcuni mesi dal lancio della serie iPhone 14 ed è stato dimostrato che è l’anno dei modelli Pro. Ma se hai intenzione di puntare sui frilly Pro, l’importo da sborsare […]
Wondershare ha sviluppato alcuni dei migliori software e strumenti per semplificare la nostra vita e i nostri sforzi creativi negli ultimi anni. In particolare, Wondershare Filmora ha ricevuto numerosi riconoscimenti. Ha ricevuto il premio Video Editing Leader […]
