Terdapat beberapa pemain AI dalam pasaran sekarang, termasuk ChatGPT, Google Bard, Bing AI Chat dan banyak lagi. Walau bagaimanapun, kesemuanya memerlukan anda mempunyai sambungan internet untuk berinteraksi dengan AI. Bagaimana jika anda ingin memasang Model Bahasa Besar (LLM) yang serupa pada komputer anda dan menggunakannya secara tempatan? Bot sembang AI yang boleh anda gunakan secara peribadi dan tanpa sambungan internet. Nah, dengan model Alpaca baharu yang dikeluarkan oleh Stanford, anda boleh mendekati kepada realiti itu. Ya, anda boleh menjalankan model bahasa seperti ChatGPT pada PC anda di luar talian. Oleh itu, mari kita teruskan dan belajar cara menggunakan LLM secara tempatan tanpa internet.
Jalankan LLM Seperti ChatGPT Secara Tempatan Tanpa Internet (Persendirian dan Selamat)
Dalam artikel ini, saya telah menyebut segala-galanya tentang cara menjalankan LLM seperti ChatGPT pada PC tempatan tanpa internet. Anda boleh mengembangkan jadual di bawah dan mengetahui tentang langkah-langkah secara terperinci.
Jadual Kandungan
Apakah itu Alpaca dan LLaMA?
Alpaca ialah model bahasa AI kecil dibangunkan oleh sekumpulan saintis komputer di Universiti Stanford. Perkara unik tentang Alpaca ialah betapa kecil dan kos efektifnya. Dengan hanya 7 bilion parameter, Alpaca adalah sebaik model teks-davinci-003 OpenAI. Dan anda boleh menjalankannya pada komputer tempatan anda tanpa memerlukan sambungan internet. Itu cukup keren, bukan?
Imej: Stanford.edu
Tetapi bagaimanakah ia dilatih? Anehnya, Alpaca ditala dengan baik pada LLaMa, model bahasa besar Meta yang baru-baru ini bocor dalam talian. Dan untuk melatih model bahasa ini, saintis menggunakan model”text-davinci-003″OpenAI untuk menjana 52K data arahan kendiri berkualiti tinggi. Dengan set data ini, mereka memperhalusi model LLaMA menggunakan rangka kerja latihan HuggingFace dan mengeluarkan Alpaca 7B. Anda juga boleh menggunakan model LLaMA Meta, tetapi dalam ujian saya, Alpaca LLM Stanford menunjukkan prestasi yang lebih baik dan ia juga agak pantas.
Apakah Jenis Perkakasan yang Anda Perlukan untuk Menjalankan Alpaca?
Anda boleh menggunakan Alpaca 7B pada mana-mana mesin yang baik. Saya memasang Alpaca 7B pada PC peringkat permulaan saya dan ia berfungsi dengan baik. Untuk memberi anda sedikit idea, PC saya dikuasakan oleh pemproses Intel i3 Generasi ke-10 dengan 256GB SSD dan 8GB RAM. Untuk GPU, saya menggunakan GPU GeForce GT 730 peringkat permulaan Nvidia dengan 2GB VRAM.
alpaca-lora (7b) を raspberry pi cm4 で 動かし て み まし た ^^)/とても ゆっくり です が 、 この この 小さな で 話し て くれる の は とても とても とても 可愛い 可愛い😍 #LLM #IoT pic.twitter.com/SyP3HZhMYX— Mitsunori SATOMI＠VR 30th Anniversary (@gravitino) 5Erchtfw 20, 2023
Walaupun tanpa GPU khusus, anda boleh menjalankan Alpaca secara setempat. Walau bagaimanapun, masa tindak balas akan menjadi perlahan. Selain itu, terdapat pengguna yang telah dapat menjalankan Alpaca walaupun pada komputer kecil seperti Raspberry Pi 4. Jadi anda boleh membuat kesimpulan bahawa model bahasa Alpaca boleh dijalankan dengan baik pada komputer peringkat permulaan juga.
Sediakan Persekitaran Perisian untuk Menjalankan Alpaca dan LLaMA
Windows
Pada Windows, anda perlu memasang Python, Node.js dan C++ untuk bermula dengan menggunakan model bahasa yang besar di luar talian pada komputer anda. Berikut ialah cara untuk melakukannya.
1. Mula-mula, muat turun Python 3.10 (atau di bawah) daripada di sini. Tatal ke bawah dan klik pada”Pemasang Windows (64-bit)”untuk memuat turun fail persediaan.
2. Lancarkan fail persediaan dan dayakan kotak pilihan di sebelah”Tambah Python.exe ke PATH.”Sekarang, pasang Python dengan semua tetapan lalai.
3. Selepas itu, pasang Node.js versi 18.0 (atau ke atas) dari di sini. Pastikan semuanya lalai semasa memasang program.
4. Akhir sekali, muat turun edisi Visual Studio “Community” daripada pautan ini secara percuma.
5. Lancarkan fail persediaan Visual Studio 2022, dan pada mulanya ia akan memuat turun beberapa fail. Selepas itu, tetingkap baharu akan dilancarkan. Di sini, pastikan”Pembangunan desktop dengan C++“didayakan.
6. Akhir sekali, klik “Pasang” dan tunggu sehingga pemasangan selesai.
7. Saya syorkan anda mulakan semula komputer anda setelah semuanya dipasang. Seterusnya, buka “Prompt Perintah” dan jalankan arahan di bawah untuk menyemak sama ada Python dan Node.js berjaya dipasang. Kedua-duanya harus mengembalikan nombor versi. Anda kini bersedia untuk pergi.
python–version node–version 
Apple macOS
Python biasanya diprapasang pada macOS, jadi anda hanya perlu memasang Node.js (versi 18.0 ke atas). Berikut ialah cara anda boleh melakukannya:
1. Muat turun Node.js macOS Installer (versi 18.0 atau lebih tinggi) daripada pautan di sini.
2. Seterusnya, buka Terminal dan jalankan arahan di bawah untuk menyemak sama ada Node.js dipasang dengan betul. Jika anda mendapat nombor versi sebagai balasan, anda boleh pergi.
nod–version 
3. Seterusnya, semak versi Python dengan menjalankan arahan di bawah. Ia mestilah Python 3.10 atau ke bawah.
python3–versi
4. Jika anda tidak mendapat output atau anda kebetulan mempunyai versi Python terkini, muat turun Python 3.10 (atau di bawah) daripada di sini. Tatal ke bawah dan klik pada “pemasang universal2 macOS 64-bit” untuk memuat turun Python. Sekarang, pasang pada Mac anda.
Linux dan ChromeOS
Pada Linux dan ChromeOS, anda perlu menyediakan Python dan Node.js sebelum anda berjalan di luar talian Model Alpaca dan LLaMA. Berikut adalah langkah-langkah yang perlu diikuti.
1. Buka Terminal dan jalankan arahan di bawah untuk menyemak versi Python. Jika Python 3.10 ke bawah, anda sudah bersedia.
python3–version 
2. Sekiranya anda mempunyai versi yang lebih tinggi, anda boleh menggunakan perintah di bawah untuk memasang Python 3.10 pada Linux dan ChromeOS.
sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get kemas kini sudo apt-get install python3.10 
3. Selepas Python, pasang Node.js dengan menjalankan arahan di bawah.
sudo apt install nodejs 
4. Selepas pemasangan, jalankan arahan di bawah untuk menyemak versi Node.js. Ia mestilah 18.0 atau lebih tinggi.
nod–version 
Pasang Model Alpaca dan LLaMA Pada Komputer Anda
Setelah anda menyediakan Python dan Node.js, sudah tiba masanya untuk memasang dan menjalankan LLM seperti ChatGPT pada PC anda. Pastikan Terminal mengesan kedua-dua perintah python dan nod sebelum anda meneruskan.
1. Buka Terminal (dalam kes saya, Command Prompt) dan jalankan arahan di bawah untuk memasang model Alpaca 7B LLM (sekitar 4.2GB ruang cakera diperlukan). Jika anda ingin memasang model Alpaca 13B, gantikan 7B dengan 13B. Model yang lebih besar memerlukan ruang 8.1GB.
npx dalai alpaca pasang 7B 
2. Sekarang, taip “y” dan tekan Enter. Ini akan mula memasang model Alpaca 7B. Keseluruhan proses akan mengambil masa 20 hingga 30 minit, bergantung pada sambungan internet dan saiz model anda.
3. Selepas pemasangan selesai, anda akan melihat skrin seperti ini.
4. Anda boleh memilih untuk memasang model LLaMA juga atau beralih ke langkah seterusnya untuk menguji model Alpaca serta-merta. Ingat, saiz LLaMA jauh lebih besar. Model 7Bnya memerlukan sehingga 31GB ruang. Untuk memasangnya, jalankan arahan di bawah. Anda boleh menggantikan 7B dengan 13B, 30B dan 65B. Model terbesar memerlukan ruang sehingga 432GB.
npx dalai llama memasang 7B 
5. Akhir sekali, jalankan arahan di bawah, dan ia akan memulakan pelayan web serta-merta.
npx dalai berkhidmat 
6. Gunakan penyemak imbas web pada PC anda dan buka alamat di bawah. Ini akan membawa anda ke UI web di mana anda boleh menguji model Alpaca dan LLaMA secara tempatan dan tanpa internet.
http://localhost:3000 
7. Di sini, anda perlu memilih model “Alpaca 7B” atau “LLaMA 7B” daripada menu lungsur turun “model” di penjuru kanan sebelah atas. Oleh kerana saya hanya memasang model Alpaca 7B, ini adalah lalai saya.
8. Anda kini boleh mula menggunakan model bahasa seperti ChatGPT ini pada PC anda tanpa sambungan Internet. Gantikan”PROMPT”dengan pertanyaan anda dan klik pada”Pergi”.
9. Berikut ialah rupa penggunaan sumber semasa menjalankan pelayan Alpaca LLM setempat pada PC Windows saya.
10. Sekiranya anda ingin memadamkan model yang dimuat turun untuk mengosongkan ruang cakera, buka direktori profil pengguna anda. Di sini, folder”dalai”mempunyai semua fail, termasuk model. Memadamkan folder”dalai”akan mengosongkan ruang serta-merta.
Gunakan Perkhidmatan Serupa ChatGPT Secara Persendirian dan Luar Talian Sepenuhnya
Jadi ini adalah cara anda boleh menjalankan LLM seperti ChatGPT pada PC tempatan anda dan mendapatkan hasil yang baik juga. Seiring dengan berlalunya masa, model LLM baharu dan sangat cekap akan tersedia pada masa hadapan yang boleh dijalankan pada telefon pintar ke komputer papan kecil seperti Raspberry Pi. Bagaimanapun, itu semua daripada kami. Jika anda ingin menggunakan ChatGPT 4 secara percuma, pergi ke artikel terpaut kami untuk beberapa sumber yang menakjubkan. Dan sekiranya anda ingin melatih chatbot AI berdasarkan dokumen anda sendiri, kami menyediakan panduan mendalam untuk anda. Akhir sekali, jika anda menghadapi sebarang masalah, beritahu kami di bahagian komen di bawah.
Tinggalkan komen
Tahun lepas, MSI melancarkan Titan GT77 dengan Intel Core i9-12900HX dan GPU Laptop RTX 3080 Ti, dan ia merupakan komputer riba permainan paling berkuasa di muka bumi ini. Ia adalah pemukul tegar yang paling berat […]
Sudah beberapa bulan sejak siri iPhone 14 dilancarkan, dan telah diketahui bahawa ia adalah tahun model Pro. Tetapi jika anda berhasrat untuk menggunakan Kebaikan yang bersahaja, jumlah yang perlu dibayar […]
Wondershare telah membangunkan beberapa perisian dan alatan terbaik untuk memudahkan kehidupan dan usaha kreatif kami sejak beberapa tahun yang lalu. Khususnya, Wondershare Filmora telah menerima banyak pujian. Ia adalah penerima anugerah Ketua Penyuntingan Video […]