Ada sejumlah pemain AI di pasar saat ini, termasuk ChatGPT, Google Bard, Bing AI Chat, dan banyak lagi. Namun, semuanya mengharuskan Anda memiliki koneksi internet untuk berinteraksi dengan AI. Bagaimana jika Anda ingin menginstal Model Bahasa Besar (LLM) serupa di komputer Anda dan menggunakannya secara lokal? Chatbot AI yang dapat Anda gunakan secara pribadi dan tanpa koneksi internet. Nah, dengan model Alpaca baru yang dirilis oleh Stanford, Anda bisa mendekati kepada kenyataan itu. Ya, Anda dapat menjalankan model bahasa seperti ChatGPT di PC Anda secara offline. Jadi dengan catatan itu, mari lanjutkan dan pelajari cara menggunakan LLM secara lokal tanpa internet.
Jalankan LLM Mirip ChatGPT Secara Lokal Tanpa Internet (Pribadi dan Aman)
Dalam artikel ini, saya telah menyebutkan segalanya tentang cara menjalankan LLM mirip ChatGPT di PC lokal tanpa internet. Anda dapat meluaskan tabel di bawah ini dan mempelajari langkah-langkahnya secara mendetail.
Daftar Isi
Apa itu Alpaca dan LLaMA?
Alpaca adalah model bahasa AI kecil dikembangkan oleh sekelompok ilmuwan komputer di Stanford University. Hal unik tentang Alpaca adalah betapa kecil dan hemat biayanya. Dengan hanya 7 miliar parameter, Alpaca sebagus model text-davinci-003 OpenAI. Dan Anda dapat menjalankannya di komputer lokal Anda tanpa memerlukan koneksi internet. Itu sangat keren, bukan?
Gambar: Stanford.edu
Tapi bagaimana itu dilatih? Anehnya, Alpaca disetel dengan baik pada LLaMa, model bahasa besar Meta yang baru-baru ini bocor online. Dan untuk melatih model bahasa ini, para ilmuwan menggunakan model”text-davinci-003″OpenAI untuk menghasilkan 52K data instruksi mandiri berkualitas tinggi. Dengan set data ini, mereka menyempurnakan model LLaMA menggunakan framework pelatihan HuggingFace dan merilis Alpaca 7B. Anda juga dapat menggunakan model LLaMA dari Meta, tetapi dalam pengujian saya, LLM Alpaca Stanford berkinerja jauh lebih baik dan juga cukup cepat.
Perangkat Keras Seperti Apa yang Anda Butuhkan untuk Menjalankan Alpaca?
Anda dapat menggunakan Alpaca 7B pada mesin apa pun yang layak. Saya menginstal Alpaca 7B di PC entry-level saya dan bekerja dengan cukup baik. Sebagai gambaran, PC saya ditenagai oleh prosesor Intel i3 Generasi ke-10 dengan SSD 256 GB dan RAM 8 GB. Untuk GPU, saya menggunakan GPU entry-level GeForce GT 730 Nvidia dengan VRAM 2GB.
alpaca-lora (7b) を raspberry pi cm4 で 動かし て み まし た ^^)/とても ゆっくり です が 、 この 小さな 筐体 で 話し て くれる の は 、 可愛い 可愛い 可愛い です です ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね ね😍 #LLM #IoT pic.twitter.com/SyP3HZhMYX— Hari Jadi ke-30 Mitsunori SATOMI＠VR (@gravitino) Maret 20, 2023
Bahkan tanpa GPU khusus, Anda dapat menjalankan Alpaca secara lokal. Namun, waktu respons akan lambat. Selain itu, ada pengguna yang sudah bisa menjalankan Alpaca bahkan di komputer kecil seperti Raspberry Pi 4. Jadi bisa disimpulkan bahwa model bahasa Alpaca juga bisa berjalan dengan baik di komputer entry-level.
Siapkan Lingkungan Perangkat Lunak untuk Menjalankan Alpaca dan LLaMA
Windows
Di Windows, Anda perlu menginstal Python, Node.js, dan C++ untuk memulai dengan menggunakan model bahasa besar offline di komputer Anda. Inilah cara melakukannya.
1. Pertama, unduh Python 3.10 (atau lebih rendah) dari di sini. Gulir ke bawah dan klik”Windows installer (64-bit)”untuk mengunduh file setup.
2. Luncurkan file penyiapan dan aktifkan kotak centang di samping “Tambahkan Python.exe ke PATH.” Sekarang, instal Python dengan semua pengaturan default.
3. Setelah itu, instal Node.js versi 18.0 (atau lebih tinggi) dari di sini. Biarkan semuanya default saat menginstal program.
4. Terakhir, unduh edisi “Komunitas” Visual Studio dari tautan ini secara gratis.
5. Luncurkan file penyiapan Visual Studio 2022, dan awalnya akan mengunduh beberapa file. Setelah itu, jendela baru akan diluncurkan. Di sini, pastikan “Pengembangan desktop dengan C++” diaktifkan.
6. Terakhir, klik “Instal” dan tunggu hingga penginstalan selesai.
7. Saya sarankan untuk me-restart komputer Anda setelah semuanya terinstal. Selanjutnya, buka “Command Prompt” dan jalankan perintah di bawah ini untuk memeriksa apakah Python dan Node.js berhasil dipasang. Keduanya harus mengembalikan nomor versi. Anda sekarang siap melakukannya.
python–version node–version 
Apple macOS
Python umumnya sudah diinstal sebelumnya di macOS, jadi Anda hanya perlu menginstal Node.js (versi 18.0 atau lebih tinggi). Inilah cara melakukannya:
1. Unduh Penginstal Node.js macOS (versi 18.0 atau lebih tinggi) dari tautan di sini.
2. Selanjutnya, buka Terminal dan jalankan perintah di bawah untuk memeriksa apakah Node.js terpasang dengan benar. Jika Anda mendapatkan nomor versi sebagai gantinya, Anda siap melakukannya.
node–version 
3. Selanjutnya, periksa versi Python dengan menjalankan perintah di bawah ini. Itu harus Python 3.10 atau lebih rendah.
python3–versi
4. Jika Anda tidak mendapatkan keluaran atau kebetulan memiliki versi Python terbaru, unduh Python 3.10 (atau lebih rendah) dari di sini. Gulir ke bawah dan klik “macOS 64-bit universal2 installer” untuk mengunduh Python. Sekarang, instal di Mac Anda.
Linux dan ChromeOS
Di Linux dan ChromeOS, Anda perlu menyiapkan Python dan Node.js sebelum menjalankan offline Model alpaka dan LLaMA. Berikut langkah-langkah yang harus diikuti.
1. Buka Terminal dan jalankan perintah di bawah ini untuk memeriksa versi Python. Jika Python 3.10 atau lebih rendah, Anda sudah siap.
python3–versi 
2. Jika Anda memiliki versi yang lebih tinggi, Anda dapat menggunakan perintah di bawah untuk memasang Python 3.10 di Linux dan ChromeOS.
sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get update sudo apt-get install python3.10 
3. Setelah Python, pasang Node.js dengan menjalankan perintah di bawah ini.
sudo apt install nodejs 
4. Setelah instalasi, jalankan perintah di bawah ini untuk memeriksa versi Node.js. Seharusnya 18.0 atau lebih tinggi.
node–version 
Instal Model Alpaca dan LLaMA di Komputer Anda
Setelah Anda menyiapkan Python dan Node.js, saatnya menginstal dan menjalankan LLM mirip ChatGPT di PC Anda. Pastikan Terminal mendeteksi perintah python dan node sebelum Anda melanjutkan.
1. Buka Terminal (dalam kasus saya, Command Prompt) dan jalankan perintah di bawah ini untuk menginstal model Alpaca 7B LLM (diperlukan ruang disk sekitar 4,2 GB). Jika ingin memasang model Alpaca 13B, ganti 7B dengan 13B. Model yang lebih besar membutuhkan ruang 8.1GB.
npx dalai alpaca instal 7B 
2. Sekarang, ketik “y” dan tekan Enter. Ini akan mulai menginstal model Alpaca 7B. Seluruh proses akan memakan waktu 20 hingga 30 menit, tergantung pada konektivitas internet dan ukuran model Anda.
3. Setelah pemasangan selesai, Anda akan melihat layar seperti ini.
4. Anda juga dapat memilih untuk menginstal model LLaMA atau melanjutkan ke langkah berikutnya untuk menguji model Alpaca secara instan. Ingat, ukuran LLaMA jauh lebih besar. Model 7B-nya membutuhkan ruang hingga 31GB. Untuk menginstalnya, jalankan perintah di bawah ini. Anda dapat mengganti 7B dengan 13B, 30B, dan 65B. Model terbesar membutuhkan ruang hingga 432GB.
npx dalai llama instal 7B 
5. Terakhir, jalankan perintah di bawah, dan ini akan memulai server web secara instan.
npx dalai sajikan 
6. Gunakan browser web di PC Anda dan buka alamat di bawah ini. Ini akan membawa Anda ke UI web tempat Anda dapat menguji model Alpaca dan LLaMA secara lokal dan tanpa internet.
http://localhost:3000 
7. Di sini, Anda harus memilih model “Alpaca 7B” atau “LLaMA 7B” dari menu tarik-turun “model” di pojok kanan atas. Karena saya baru menginstal model Alpaca 7B, ini adalah default saya.
8. Sekarang Anda dapat mulai menggunakan model bahasa seperti ChatGPT ini di PC Anda tanpa konektivitas internet. Ganti”PROMPT”dengan kueri Anda dan klik”Go”.
9. Inilah tampilan penggunaan sumber daya saat menjalankan server Alpaca LLM lokal di PC Windows saya.
10. Jika Anda ingin menghapus model yang diunduh untuk mengosongkan ruang disk, buka direktori profil pengguna Anda. Di sini, folder”dalai”memiliki semua file, termasuk modelnya. Menghapus folder”dalai”akan segera mengosongkan ruang.
Gunakan Layanan Seperti ChatGPT Secara Pribadi dan Sepenuhnya Offline
Jadi ini adalah bagaimana Anda dapat menjalankan LLM seperti ChatGPT di PC lokal Anda dan mendapatkan hasil yang layak juga. Seiring berjalannya waktu, model LLM baru dan sangat efisien akan tersedia di masa mendatang yang dapat dijalankan di smartphone hingga komputer papan kecil seperti Raspberry Pi. Bagaimanapun, itu semua dari kami. Jika Anda ingin menggunakan ChatGPT 4 secara gratis, buka artikel tertaut kami untuk beberapa sumber luar biasa. Dan jika Anda ingin melatih chatbot AI berdasarkan dokumen Anda sendiri, kami memiliki panduan mendalam yang siap untuk Anda. Terakhir, jika Anda menghadapi masalah, beri tahu kami di bagian komentar di bawah.
Tinggalkan komentar
Tahun lalu, MSI meluncurkan Titan GT77 dengan Intel Core i9-12900HX dan GPU Laptop RTX 3080 Ti, dan ini adalah laptop gaming terkuat di muka bumi. Itu adalah pemukul berat terberat […]
Sudah beberapa bulan sejak seri iPhone 14 diluncurkan, dan telah ditetapkan dengan baik bahwa ini adalah tahun model Pro. Tetapi jika Anda berniat untuk menggunakan Pro berenda, jumlah yang harus ditanggung […]
Wondershare telah mengembangkan beberapa perangkat lunak dan alat terbaik untuk menyederhanakan hidup dan upaya kreatif kita selama beberapa tahun terakhir. Secara khusus, Wondershare Filmora telah menerima banyak penghargaan. Itu adalah penerima penghargaan Video Editing Leader […]
