Mayroong ilang mga manlalaro ng AI sa merkado ngayon, kabilang ang ChatGPT, Google Bard, Bing AI Chat, at marami pa. Gayunpaman, lahat ng mga ito ay nangangailangan sa iyo na magkaroon ng koneksyon sa internet upang makipag-ugnayan sa AI. Paano kung gusto mong mag-install ng katulad na Large Language Model (LLM) sa iyong computer at gamitin ito nang lokal? Isang AI chatbot na magagamit mo nang pribado at walang koneksyon sa internet. Well, sa bagong modelo ng Alpaca na inilabas ng Stanford, maaari kang lumapit sa katotohanang iyon. Oo, maaari kang magpatakbo ng isang modelo ng wika na tulad ng ChatGPT sa iyong PC offline. Kaya sa tala na iyon, magpatuloy tayo at matutunan kung paano gumamit ng LLM nang lokal nang walang internet.
Magpatakbo ng ChatGPT-Like LLM Locally Without Internet (Pribado at Secure)
Sa artikulong ito, binanggit ko ang lahat tungkol sa kung paano magpatakbo ng ChatGPT-like LLM sa isang lokal na PC nang walang ang internet. Maaari mong palawakin ang talahanayan sa ibaba at matutunan ang tungkol sa mga hakbang nang detalyado.
Talaan ng mga Nilalaman
Ano ang Alpaca at LLaMA?
Ang Alpaca ay isang maliit na modelo ng wika ng AI binuo ng isang pangkat ng mga computer scientist sa Stanford University. Ang kakaiba sa Alpaca ay gaano ito kaliit at cost-effective. Sa 7 bilyong parameter lamang, ang Alpaca ay kasinghusay ng modelo ng text-davinci-003 ng OpenAI. At maaari mo itong patakbuhin sa iyong lokal na computer nang hindi nangangailangan ng koneksyon sa internet. Iyan ay medyo cool, tama?
Larawan: Stanford.edu
Ngunit paano ito sinanay? Nakapagtataka, ang Alpaca ay fine-tune sa LLaMa, ang malaking modelo ng wika ng Meta na kamakailan ay leaked online. At para sanayin ang modelong ito ng wika, ginamit ng mga siyentipiko ang modelong”text-davinci-003″ng OpenAI upang makabuo ng 52K na mataas na kalidad na data ng pagtuturo sa sarili. Gamit ang dataset na ito, inayos nila ang modelo ng LLaMA gamit ang framework ng pagsasanay ng HuggingFace at inilabas ang Alpaca 7B. Maaari mo ring gamitin ang modelo ng LLaMA ng Meta, ngunit sa aking pagsubok, mas mahusay ang pagganap ng Alpaca LLM ng Stanford at medyo mabilis din ito.
Anong Uri ng Hardware ang Kailangan Mo para Magpatakbo ng Alpaca?
Maaari mong gamitin ang Alpaca 7B sa anumang disenteng makina. Nag-install ako ng Alpaca 7B sa aking entry-level na PC at gumana ito nang maayos. Upang bigyan ka ng ilang ideya, ang aking PC ay pinapagana ng isang 10th-Gen Intel i3 processor na may 256GB ng SSD at 8GB ng RAM. Para sa GPU, gumagamit ako ng entry-level na GeForce GT 730 GPU ng Nvidia na may 2GB ng VRAM.
😍 #LLM #IoT pic.twitter.com/SyP3HZhMYX— Mitsunori SATOMI＠VR 30th Anniversary (@gravitino)
Kahit walang nakalaang GPU, maaari mong patakbuhin ang Alpaca nang lokal. Gayunpaman, ang oras ng pagtugon ay magiging mabagal. Bukod pa riyan, may mga user na nakapagpatakbo ng Alpaca kahit na sa isang maliit na computer tulad ng Raspberry Pi 4. Kaya maaari mong mahihinuha na ang modelo ng wikang Alpaca ay maaaring tumakbo nang mahusay sa mga entry-level na computer.
I-set Up ang Software Environment para Patakbuhin ang Alpaca at LLaMA
Windows
Sa Windows, kailangan mong i-install ang Python, Node.js, at C++ para makapagsimula gamit ang isang malaking modelo ng wika offline sa iyong computer. Narito kung paano ito gagawin.
1. Una, i-download ang Python 3.10 (o mas mababa) mula sa dito. Mag-scroll pababa at mag-click sa “Windows installer (64-bit)” para i-download ang setup file.
2. Ilunsad ang setup file at paganahin ang checkbox sa tabi ng “Idagdag ang Python.exe sa PATH.” Ngayon, i-install ang Python kasama ang lahat ng default na setting.
3. Pagkatapos noon, i-install ang Node.js bersyon 18.0 (o mas mataas) mula dito. Panatilihin ang lahat ng default habang ini-install ang program.
4. Panghuli, i-download ang Visual Studio “Community” na edisyon mula sa link na ito nang libre.
5. Ilunsad ang Visual Studio 2022 setup file, at una itong magda-download ng ilang file. Pagkatapos nito, maglulunsad ang isang bagong window. Dito, tiyaking naka-enable ang”Desktop development na may C++“.
6. Panghuli, i-click ang “I-install” at maghintay hanggang sa makumpleto nito ang pag-install.
7. Inirerekomenda kong i-restart ang iyong computer kapag na-install na ang lahat. Susunod, buksan ang”Command Prompt“at patakbuhin ang mga command sa ibaba upang suriin kung matagumpay na na-install ang Python at Node.js. Dapat ibalik ng dalawa ang numero ng bersyon. Handa ka na ngayong pumunta.
python–version node–version 
Apple macOS
Python sa pangkalahatan ay pre-installed sa macOS, kaya kailangan mo lang i-install ang Node.js (bersyon 18.0 o mas bago). Narito kung paano mo ito magagawa:
1. I-download ang Node.js macOS Installer (bersyon 18.0 o mas mataas) mula sa link dito.
2. Susunod, buksan ang Terminal at patakbuhin ang command sa ibaba upang tingnan kung maayos na naka-install ang Node.js. Kung makakakuha ka ng numero ng bersyon bilang kapalit, handa ka nang umalis.
node–version 
3. Susunod, suriin ang bersyon ng Python sa pamamagitan ng pagpapatakbo ng command sa ibaba. Ito ay dapat na Python 3.10 o mas mababa.
python3–bersyon
4. Kung hindi ka nakakuha ng output o nagkataon na mayroon kang pinakabagong bersyon ng Python, i-download ang Python 3.10 (o mas mababa) mula sa dito. Mag-scroll pababa at mag-click sa “macOS 64-bit universal2 installer” para i-download ang Python. Ngayon, i-install ito sa iyong Mac.
Linux at ChromeOS
Sa Linux at ChromeOS, kailangan mong i-set up ang Python at Node.js bago ka tumakbo offline Mga modelong Alpaca at LLaMA. Narito ang mga hakbang na dapat sundin.
1. Buksan ang Terminal at patakbuhin ang command sa ibaba upang suriin ang bersyon ng Python. Kung ito ay Python 3.10 o mas mababa, handa ka na.
python3–version 
2. Kung sakaling mayroon kang mas mataas na bersyon, maaari mong gamitin ang mga command sa ibaba upang i-install ang Python 3.10 sa Linux at ChromeOS.
sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get update sudo apt-get install python3.10 
3. Pagkatapos ng Python, i-install ang Node.js sa pamamagitan ng pagpapatakbo ng command sa ibaba.
sudo apt install nodejs 
4. Pagkatapos ng pag-install, patakbuhin ang command sa ibaba upang suriin ang bersyon ng Node.js. Dapat itong 18.0 o mas mataas.
node–version 
I-install ang Alpaca at LLaMA Models Sa Iyong Computer
Kapag na-set up mo na ang Python at Node.js, oras na para mag-install at magpatakbo ng LLM na tulad ng ChatGPT sa iyong PC. Tiyaking nakita ng Terminal ang parehong mga utos ng python at node bago ka magpatuloy.
1. Buksan ang Terminal (sa aking kaso, Command Prompt) at patakbuhin ang command sa ibaba upang i-install ang modelong Alpaca 7B LLM (mga 4.2GB na espasyo sa disk ang kinakailangan). Kung gusto mong i-install ang modelong Alpaca 13B, palitan ang 7B ng 13B. Ang mas malaking modelo ay nangangailangan ng 8.1GB ng espasyo.
npx dalai alpaca install 7B 
2. Ngayon, i-type ang “y” at pindutin ang Enter. Magsisimula itong i-install ang modelong Alpaca 7B. Ang buong proseso ay tatagal ng 20 hanggang 30 minuto, depende sa iyong koneksyon sa internet at laki ng modelo.
3. Pagkatapos makumpleto ang pag-install, makakakita ka ng screen na tulad nito.
4. Maaari mong piliing mag-install ng mga modelo ng LLaMA o lumipat sa susunod na hakbang upang agad na subukan ang modelo ng Alpaca. Tandaan, mas malaki ang laki ng LLaMA. Ang 7B na modelo nito ay tumatagal ng hanggang 31GB ng espasyo. Upang i-install ito, patakbuhin ang command sa ibaba. Maaari mong palitan ang 7B ng 13B, 30B, at 65B. Ang pinakamalaking modelo ay tumatagal ng hanggang 432GB ng espasyo.
npx dalai llama install 7B 
5. Panghuli, patakbuhin ang command sa ibaba, at ito ay magsisimula sa webserver kaagad.
npx dalai serve 
6. Gumamit ng web browser sa iyong PC at buksan ang address sa ibaba. Dadalhin ka nito sa web UI kung saan maaari mong subukan ang mga modelo ng Alpaca at LLaMA nang lokal at walang internet.
http://localhost:3000 
7. Dito, kailangan mong piliin ang”Alpaca 7B“o”LLaMA 7B”na modelo mula sa drop-down na menu ng”modelo”sa kanang sulok sa itaas. Dahil ang Alpaca 7B model lang ang na-install ko, ito ang aking default.
8. Maaari mo na ngayong magsimulang gamitin ang tulad-ChatGPT na modelo ng wika sa iyong PC nang walang koneksyon sa internet. Palitan ang”PROMPT”ng iyong query at mag-click sa”Go”.
9. Narito ang hitsura ng paggamit ng mapagkukunan habang pinapatakbo ang lokal na Alpaca LLM server sa aking Windows PC.
10. Kung sakaling gusto mong tanggalin ang mga na-download na modelo upang magbakante ng espasyo sa disk, buksan ang direktoryo ng iyong profile ng user. Dito, nasa folder na”dalai”ang lahat ng mga file, kasama ang modelo. Ang pagtanggal sa folder na”dalai”ay maglalabas kaagad ng espasyo.
Gamitin isang Serbisyong Katulad ng ChatGPT nang Pribado at Ganap na Offline
Kaya ito ay kung paano ka makakapagpatakbo ng tulad ng ChatGPT na LLM sa iyong lokal na PC at makakuha din ng mga disenteng resulta. Sa paglipas ng panahon, ang mga bago at napakahusay na modelo ng LLM ay magiging available sa hinaharap na maaaring patakbuhin sa mga smartphone hanggang sa mga small-board na computer tulad ng Raspberry Pi. Anyway, galing sa amin lahat yan. Kung gusto mong gumamit ng ChatGPT 4 nang libre, pumunta sa aming naka-link na artikulo para sa ilang kamangha-manghang mapagkukunan. At kung sakaling gusto mong magsanay ng AI chatbot batay sa sarili mong mga dokumento, mayroon kaming malalim na gabay na nakahanda para sa iyo. Sa wakas, kung nahaharap ka sa anumang mga problema, ipaalam sa amin sa seksyon ng komento sa ibaba.
Mag-iwan ng komento
Noong nakaraang taon, inilunsad ng MSI ang Titan GT77 gamit ang Intel Core i9-12900HX at ang RTX 3080 Ti Laptop GPU, at ito ang pinakamalakas na gaming laptop sa mundo. Ito ang pinakamabigat sa mga mabibigat na hitters […]
Ilang buwan na ang nakalipas mula noong inilunsad ang serye ng iPhone 14, at napagtibay na ito ang taon ng mga Pro model. Ngunit kung balak mong gamitin ang mga walang kabuluhang Pros, ang halaga na dapat ibigay […]
Wondershare ay bumubuo ng ilan sa mga pinakamahusay na software at mga tool upang pasimplehin ang aming buhay at mga malikhaing pagsisikap sa nakalipas na ilang taon. Lalo na, ang Wondershare Filmora ay nakatanggap ng maraming pagkilala. Ito ang tumanggap ng parangal ng Video Editing Leader […]
