Hiện có một số trình phát AI trên thị trường, bao gồm ChatGPT, Google Bard, Bing AI Chat, v.v. Tuy nhiên, tất cả chúng đều yêu cầu bạn phải có kết nối internet để tương tác với AI. Điều gì sẽ xảy ra nếu bạn muốn cài đặt một Mô hình ngôn ngữ lớn (LLM) tương tự trên máy tính của mình và sử dụng nó cục bộ? Một chatbot AI mà bạn có thể sử dụng riêng tư và không cần kết nối internet. Chà, với mẫu Alpaca mới do Stanford phát hành, bạn có thể đến gần đến thực tế đó. Vâng, bạn có thể chạy ngoại tuyến mô hình ngôn ngữ giống như ChatGPT trên PC của mình. Vì vậy, trên lưu ý đó, hãy tiếp tục và tìm hiểu cách sử dụng LLM cục bộ mà không cần internet.
Chạy LLM giống ChatGPT cục bộ mà không cần Internet (Riêng tư và bảo mật)
Trong bài viết này, tôi đã đề cập mọi thứ về cách chạy LLM giống ChatGPT trên PC cục bộ mà không cần mạng internet. Bạn có thể mở rộng bảng bên dưới và tìm hiểu chi tiết về các bước.
Mục lục
Alpaca và LLaMA là gì?
Alpaca là một mô hình ngôn ngữ AI nhỏ được phát triển bởi một nhóm các nhà khoa học máy tính tại Đại học Stanford. Điều độc đáo về Alpaca là nó nhỏ và tiết kiệm chi phí như thế nào. Chỉ với 7 tỷ tham số, Alpaca cũng tốt như mô hình text-davinci-003 của OpenAI. Và bạn có thể chạy nó trên máy tính cục bộ của mình mà không cần kết nối internet. Điều đó khá tuyệt, phải không?
Hình ảnh: Stanford.edu
Nhưng nó được đào tạo như thế nào? Đáng ngạc nhiên là Alpaca được tinh chỉnh trên LLaMa, mô hình ngôn ngữ lớn của Meta mà gần đây bị rò rỉ trực tuyến. Và để đào tạo mô hình ngôn ngữ này, các nhà khoa học đã sử dụng mô hình “text-davinci-003” của OpenAI để tạo dữ liệu tự hướng dẫn chất lượng cao 52K. Với bộ dữ liệu này, họ đã tinh chỉnh mô hình LLaMA bằng cách sử dụng khung đào tạo của HuggingFace và phát hành Alpaca 7B. Bạn cũng có thể sử dụng mô hình LLaMA của Meta, nhưng trong thử nghiệm của tôi, Alpaca LLM của Stanford hoạt động tốt hơn nhiều và nó cũng khá nhanh.
Bạn cần loại phần cứng nào để chạy Alpaca?
Bạn có thể sử dụng Alpaca 7B trên bất kỳ loại máy nào. Tôi đã cài đặt Alpaca 7B trên PC cấp thấp của mình và nó hoạt động khá tốt. Để cung cấp cho bạn một số ý tưởng, PC của tôi được trang bị bộ xử lý Intel i3 thế hệ thứ 10 với SSD 256GB và RAM 8GB. Đối với GPU, tôi đang sử dụng GPU GeForce GT 730 cấp nhập cảnh của Nvidia với 2GB VRAM.
alpaca-lora (7b) を mâm xôi pi cm4 で て まし た ^^) 😍 #LLM #IoT pic.twitter.com/SyP3HZhMYX— Lễ kỷ niệm 30 năm Mitsunori SATOMI＠VR (@gravitino) Tháng 3 20, 2023
Ngay cả không có GPU chuyên dụng, bạn vẫn có thể chạy Alpaca cục bộ. Tuy nhiên, thời gian phản hồi sẽ chậm. Ngoài ra, có những người dùng đã có thể chạy Alpaca ngay cả trên một máy tính nhỏ như Raspberry Pi 4. Vì vậy, bạn có thể suy luận rằng mô hình ngôn ngữ Alpaca cũng có thể chạy rất tốt trên các máy tính cấp thấp.
Thiết lập môi trường phần mềm để chạy Alpaca và LLaMA
Windows
Trên Windows, bạn cần cài đặt Python, Node.js và C++ để bắt đầu với việc sử dụng một mô hình ngôn ngữ lớn ngoại tuyến trên máy tính của bạn. Đây là cách để đi về nó.
1. Trước tiên, hãy tải xuống Python 3.10 (hoặc phiên bản thấp hơn) từ tại đây. Cuộn xuống và nhấp vào “Trình cài đặt Windows (64-bit)” để tải xuống tệp cài đặt.
2. Khởi chạy tệp thiết lập và bật hộp kiểm bên cạnh “Thêm Python.exe vào PATH.” Bây giờ, hãy cài đặt Python với tất cả cài đặt mặc định.
3. Sau đó, hãy cài đặt Node.js phiên bản 18.0 (hoặc cao hơn) từ tại đây. Giữ mọi thứ mặc định trong khi cài đặt chương trình.
4. Cuối cùng, tải xuống miễn phí phiên bản Visual Studio “Cộng đồng” từ liên kết này.
5. Khởi chạy tệp thiết lập Visual Studio 2022 và ban đầu nó sẽ tải xuống một số tệp. Sau đó, một cửa sổ mới sẽ khởi chạy. Tại đây, hãy đảm bảo rằng “Phát triển máy tính để bàn với C++” đã được bật.
6. Cuối cùng, nhấp vào “Cài đặt” và đợi cho đến khi quá trình cài đặt hoàn tất.
7. Tôi khuyên bạn nên khởi động lại máy tính của mình sau khi mọi thứ đã được cài đặt. Tiếp theo, mở “Command Prompt” và chạy các lệnh bên dưới để kiểm tra xem Python và Node.js đã được cài đặt thành công chưa. Cả hai sẽ trả về số phiên bản. Bây giờ bạn đã sẵn sàng để bắt đầu.
python–version node–version 
MacOS của Apple
Python thường được cài đặt sẵn trên macOS nên bạn chỉ cần cài đặt Node.js (phiên bản 18.0 trở lên). Đây là cách bạn có thể làm:
1. Tải xuống Trình cài đặt Node.js macOS (phiên bản 18.0 trở lên) từ liên kết tại đây.
2. Tiếp theo, hãy mở Terminal và chạy lệnh bên dưới để kiểm tra xem Node.js đã được cài đặt đúng chưa. Nếu bạn nhận lại được số phiên bản, thì bạn đã sẵn sàng.
node–version tại đây. Cuộn xuống và nhấp vào “trình cài đặt macOS 64-bit universal2” để tải xuống Python. Bây giờ, hãy cài đặt nó trên máy Mac của bạn.
Linux và ChromeOS
Trên Linux và ChromeOS, bạn cần thiết lập Python và Node.js trước khi chạy ngoại tuyến Mô hình Alpaca và LLaMA. Dưới đây là các bước để làm theo.
1. Mở Terminal và chạy lệnh bên dưới để kiểm tra phiên bản Python. Nếu là Python 3.10 trở xuống thì bạn đã hoàn tất.
python3–version 
2. Trong trường hợp bạn có phiên bản cao hơn, bạn có thể sử dụng các lệnh bên dưới để cài đặt Python 3.10 trên Linux và ChromeOS.
sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get update sudo apt-get install python3.10 
3. Sau Python, cài đặt Node.js bằng cách chạy lệnh bên dưới.
sudo apt install nodejs 
4. Sau khi cài đặt, hãy chạy lệnh bên dưới để kiểm tra phiên bản Node.js. Nó phải là 18.0 trở lên.
node–version 
Cài đặt các mô hình Alpaca và LLaMA trên máy tính của bạn
Sau khi bạn đã thiết lập xong Python và Node.js, đã đến lúc cài đặt và chạy LLM giống như ChatGPT trên PC của bạn. Đảm bảo rằng Terminal phát hiện cả lệnh python và nút trước khi bạn tiếp tục.
1. Mở Terminal (trong trường hợp của tôi là Command Prompt) và chạy lệnh bên dưới để cài đặt mô hình Alpaca 7B LLM (cần khoảng 4,2 GB dung lượng ổ đĩa). Nếu bạn muốn cài đặt mô hình Alpaca 13B, hãy thay thế 7B bằng 13B. Mô hình lớn hơn cần 8,1 GB dung lượng.
npx dalai alpaca cài đặt 7B 
2. Bây giờ, hãy nhập “y” và nhấn Enter. Điều này sẽ bắt đầu cài đặt mô hình Alpaca 7B. Toàn bộ quá trình sẽ mất từ 20 đến 30 phút, tùy thuộc vào kết nối internet và kích thước mô hình của bạn.
3. Sau khi cài đặt hoàn tất, bạn sẽ thấy một màn hình như thế này.
4. Bạn cũng có thể chọn cài đặt các mô hình LLaMA hoặc chuyển sang bước tiếp theo để kiểm tra mô hình Alpaca ngay lập tức. Hãy nhớ rằng, LLaMA có kích thước lớn hơn nhiều. Mẫu 7B của nó chiếm tới 31GB dung lượng. Để cài đặt nó, hãy chạy lệnh dưới đây. Bạn có thể thay thế 7B bằng 13B, 30B và 65B. Mô hình lớn nhất chiếm tới 432GB dung lượng.
npx dalai llama install 7B 
5. Cuối cùng, hãy chạy lệnh bên dưới và lệnh này sẽ khởi động máy chủ web ngay lập tức.
npx dalai phục vụ 
6. Sử dụng trình duyệt web trên PC của bạn và mở địa chỉ bên dưới. Điều này sẽ đưa bạn đến giao diện người dùng web nơi bạn có thể kiểm tra các mô hình Alpaca và LLaMA cục bộ và không có internet.
http://localhost:3000 
7. Tại đây, bạn cần chọn kiểu máy “Alpaca 7B” hoặc “LLaMA 7B” từ menu thả xuống “kiểu máy” ở góc trên cùng bên phải. Vì tôi chỉ cài đặt mô hình Alpaca 7B nên đây là mặc định của tôi.
8. Giờ đây, bạn có thể bắt đầu sử dụng mô hình ngôn ngữ giống như ChatGPT này trên PC của mình mà không cần kết nối internet. Thay thế “PROMPT” bằng truy vấn của bạn và nhấp vào “Go”.
9. Đây là việc sử dụng tài nguyên trông như thế nào khi chạy máy chủ Alpaca LLM cục bộ trên PC Windows của tôi.
10. Trong trường hợp bạn muốn xóa các mô hình đã tải xuống để giải phóng dung lượng ổ đĩa, hãy mở thư mục hồ sơ người dùng của bạn. Ở đây, thư mục “dalai” có tất cả các tệp, bao gồm cả mô hình. Xóa thư mục “dalai” sẽ giải phóng dung lượng ngay lập tức.
Sử dụng dịch vụ giống ChatGPT một cách riêng tư và hoàn toàn ngoại tuyến
Vì vậy, đây là cách bạn có thể chạy LLM giống ChatGPT trên PC cục bộ của mình và cũng nhận được kết quả tốt. Thời gian trôi qua, các mô hình LLM mới và hiệu quả cao sẽ ra mắt trong tương lai, có thể chạy trên điện thoại thông minh cho đến các máy tính bảng nhỏ như Raspberry Pi. Dù sao, đó là tất cả từ chúng tôi. Nếu bạn muốn sử dụng ChatGPT 4 miễn phí, hãy truy cập bài viết được liên kết của chúng tôi để biết một số tài nguyên tuyệt vời. Và trong trường hợp bạn muốn đào tạo một chatbot AI dựa trên tài liệu của riêng mình, chúng tôi có hướng dẫn chuyên sâu dành cho bạn. Cuối cùng, nếu bạn gặp phải bất kỳ vấn đề nào, hãy cho chúng tôi biết trong phần bình luận bên dưới.
Để lại nhận xét
Năm ngoái, MSI đã ra mắt Titan GT77 với Intel Core i9-12900HX và GPU dành cho máy tính xách tay RTX 3080 Ti và đây là máy tính xách tay chơi game mạnh nhất trên hành tinh. Đó là năm nặng nề nhất trong số các đối thủ hạng nặng […]
Đã vài tháng kể từ khi dòng iPhone 14 ra mắt và người ta đã xác định rõ rằng đây là năm của các mẫu Pro. Nhưng nếu bạn có ý định tìm kiếm Ưu điểm rườm rà, thì số tiền đó […]
Wondershare đã và đang phát triển một số phần mềm và công cụ tốt nhất để đơn giản hóa cuộc sống và nỗ lực sáng tạo của chúng ta trong vài năm qua. Đặc biệt, Wondershare Filmora đã nhận được nhiều giải thưởng. Đó là người đã nhận được giải thưởng Nhà lãnh đạo biên tập video […]
