目前市場上有許多 AI 玩家，包括 ChatGPT、Google Bard、Bing AI Chat 等等。但是，所有這些都需要您有互聯網連接才能與 AI 交互。如果你想在你的計算機上安裝一個類似的大型語言模型（LLM）並在本地使用怎麼辦?您可以在沒有互聯網連接的情況下私下使用的 AI 聊天機器人。好吧，有了斯坦福發布的新羊駝模型，你可以接近那個現實。是的，您可以在您的 PC 上離線運行類似 ChatGPT 的語言模型。因此，就此而言，讓我們繼續學習如何在沒有互聯網的情況下在本地使用 LLM。
在沒有 Internet 的情況下在本地運行類似 ChatGPT 的 LLM（私密且安全）
在這篇文章中，我已經提到了有關如何在沒有互聯網的情況下在本地 PC 上運行類似 ChatGPT 的 LLM 的所有內容互聯網。您可以展開下表並詳細了解這些步驟。
目錄
Alpaca 和 LLaMA 是什麼?
Alpaca 是一種小型 AI 語言模型 由斯坦福大學的一組計算機科學家開發。 Alpaca 的獨特之處在於體積小且性價比高。 Alpaca 只有 70 億個參數，與 OpenAI 的 text-davinci-003 模型一樣好。您可以在本地計算機上運行它，而無需互聯網連接。這很酷，對吧?
圖片: Stanford.edu
但是它是如何訓練的呢?令人驚訝的是，Alpaca 在 LLaMa 上進行了微調，Meta 的大型語言模型最近 在線洩露。為了訓練這個語言模型，科學家們使用 OpenAI 的“text-davinci-003”模型生成了 52K 高質量的自我指導數據。有了這個數據集，他們使用 HuggingFace 的訓練框架對 LLaMA 模型進行了微調，並發布了 Alpaca 7B。你也可以使用 Meta 的 LLaMA 模型，但在我的測試中，斯坦福的羊駝 LLM 表現得更好，而且速度也相當快。
運行 Alpaca 需要什麼樣的硬件?
您可以在任何像樣的機器上使用 Alpaca 7B。我在入門級 PC 上安裝了 Alpaca 7B，運行良好。為了給你一些想法，我的電腦配備了第 10 代英特爾 i3 處理器，配備 256GB 固態硬盤和 8GB 內存。對於 GPU，我使用的是帶有 2GB VRAM 的 Nvidia 入門級 GeForce GT 730 GPU。
alpaca-lora（7b）を覆盆子Pi cm4 cm4でたた😍 #LLM #IoT pic.twitter.com/SyP3HZhMYX— Mitsunori SATOMI@VR 30 週年 (@gravitino) 3 月20, 2023
即使沒有專用 GPU，您也可以在本地運行 Alpaca。但是，響應時間會很慢。除此之外，還有用戶甚至可以在樹莓派4這樣的微型計算機上運行Alpaca。所以你可以推斷Alpaca語言模型也可以很好地運行在入門級計算機上。
設置運行Alpaca和LLaMA的軟件環境
Windows
在Windows上，您需要安裝Python、Node.js和C++才能開始在您的計算機上離線使用大型語言模型。這是如何去做的。
1.首先，從此處Python 3.10（或更低版本）一個>。向下滾動並單擊“Windows 安裝程序（64 位）”以下載安裝文件。
2.啟動安裝文件並啟用“將 Python.exe 添加到 PATH”旁邊的複選框。現在，使用所有默認設置安裝 Python。
3.之後，從此處安裝Node.js 18.0（或更高版本）。安裝程序時保持一切默認。
4.最後，從此鏈接免費下載 Visual Studio“社區”版。
5.啟動 Visual Studio 2022 安裝文件，它最初會下載一些文件。之後，將啟動一個新窗口。在這裡，確保啟用“使用 C++ 進行桌面開發”。
6.最後，點擊“安裝”，等待安裝完成。
7.我建議在安裝完所有內容後重新啟動計算機。接下來，打開“命令提示符”並運行以下命令來檢查 Python 和 Node.js 是否安裝成功。兩者都應返回版本號。你現在可以開始了。
python–version node–version 
Apple macOS
Python 通常預裝在 macOS 上，因此您只需要安裝 Node.js（18.0 或更高版本）。方法如下:
1.從此處鏈接版本 18.0 或更高版本） >。
2.接下來，打開終端並運行以下命令以檢查 Node.js 是否安裝正確。如果你得到一個版本號作為回報，你就可以開始了。
node–version 
3.接下來，通過運行以下命令檢查 Python 版本。它應該是 Python 3.10 或更低版本。
python3–version
4。如果您沒有得到輸出或者您碰巧擁有最新的 Python 版本，請從 這裡。向下滾動並單擊“macOS 64-bit universal2 installer”以下載 Python。現在，將它安裝到您的 Mac 上。
Linux和ChromeOS
在Linux和ChromeOS上，離線運行前需要設置Python和Node.js羊駝和美洲駝模型。以下是要遵循的步驟。
1.打開終端並運行以下命令來檢查 Python 版本。如果它是 Python 3.10 或更低版本，那麼一切就緒。
python3–version 
2.如果您有更高版本，您可以使用以下命令在 Linux 和 ChromeOS 上安裝 Python 3.10。
sudo apt install software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt-get update sudo apt-get install python3.10 
3。在 Python 之後，通過運行以下命令安裝 Node.js。
sudo apt install nodejs 
4.安裝後，運行以下命令檢查 Node.js 版本。它應該是 18.0 或更高版本。
node–version 
在您的計算機上安裝 Alpaca 和 LLaMA 模型
設置 Python 後和 Node.js，是時候在您的 PC 上安裝並運行類似 ChatGPT 的 LLM。在繼續之前，請確保終端檢測到 python 和節點命令。
1.打開終端（在我的例子中是命令提示符）並運行以下命令以安裝 Alpaca 7B LLM 模型（需要大約 4.2GB 磁盤空間）。如果要安裝 Alpaca 13B 型號，請將 7B 替換為 13B。較大的型號需要 8.1GB 的空間。
npx dalai alpaca 安裝 7B 
2。現在，鍵入“y”並按 Enter。這將開始安裝 Alpaca 7B 模型。整個過程需要 20 到 30 分鐘，具體取決於您的互聯網連接和模型大小。
3. 安裝完成後，您會看到這樣的畫面。
4.您也可以選擇安裝 LLaMA 模型，或轉到下一步立即測試羊駝模型。請記住，LLaMA 的尺寸要大得多。其 7B 型號最多佔用 31GB 的空間。要安裝它，請運行以下命令。您可以用 13B、30B 和 65B 替換 7B。最大的模型占用空間高達 432GB。
npx dalai llama install 7B 
5.最後，運行下面的命令，它會立即啟動網絡服務器。
npx dalai serve 
6。在您的 PC 上使用網絡瀏覽器並打開以下地址。這將帶您進入 Web 用戶界面，您可以在其中在沒有互聯網的情況下在本地測試羊駝和美洲駝模型。
http://localhost:3000 
7.在這裡，您需要從右上角的“型號”下拉菜單中選擇“Alpaca 7B”或“LLaMA 7B”型號。由於我只安裝了 Alpaca 7B 型號，這是我的默認設置。
8.您現在可以在沒有互聯網連接的情況下開始在您的 PC 上使用這種類似於 ChatGPT 的語言模型。將“PROMPT”替換為您的查詢，然後單擊“Go”。
9.這是在我的 Windows PC 上運行本地 Alpaca LLM 服務器時資源使用情況。
10。如果您想刪除下載的模型以釋放磁盤空間，請打開您的用戶配置文件目錄。在這裡，“dalai”文件夾包含所有文件，包括模型。刪除“dalai”文件夾將立即釋放空間。
使用類似 ChatGPT 的私密且完全離線的服務
這就是您如何在本地 PC 上運行類似 ChatGPT 的 LLM 並獲得不錯的結果。隨著時間的推移，未來會出現新的高效 LLM 模型，可以在智能手機上運行，也可以在樹莓派等小型計算機上運行。無論如何，這都是我們的。如果您想免費使用 ChatGPT 4，請前往我們的鏈接文章獲取一些精彩資源。如果您想根據自己的文檔訓練 AI 聊天機器人，我們為您準備了深入的指南。最後，如果您遇到任何問題，請在下面的評論部分告訴我們。
發表評論
去年，MSI 推出了配備英特爾酷睿 i9-12900HX 和 RTX 3080 Ti 筆記本電腦 GPU 的 Titan GT77，它是地球上最強大的遊戲筆記本電腦。這是重中之重 […]
自 iPhone 14 系列推出以來已經幾個月了，人們已經確定今年是 Pro 機型的元年。但是，如果您打算追求華麗的專業人士，那麼在過去的幾年裡，Wondershare 一直在開發一些最好的軟件和工具來簡化我們的生活和創造性的努力。特別是，Wondershare Filmora 獲得了無數讚譽。它是視頻編輯領袖獎的獲得者 […]
