NVIDIA 推出了一款名為 NeMo Guardrails 的新軟件，它將確保由大型語言模型 (LLM) 驅動的聊天機器人-例如 ChatGPT（微軟 Bing AI 的引擎）-以各種方式保持正常運行。
該軟件著手解決的最大問題是所謂的“幻覺”，即聊天機器人出錯並做出不准確甚至荒謬陳述的情況。
這類事件在 Bing AI 和谷歌的 Bard 的早期使用中都有報導。坦率地說，它們經常令人尷尬，這會削弱人們對聊天機器人的信任，原因顯而易見。
正如 ZDNet 報導的那樣，NVIDIA 設計了 NeMo Guardrails，以保持上述聊天機器人“準確、適當、切題且安全” ”，並且開源軟件存在三個主要的“護欄”。即安全、安保和主題護欄。
安全系統負責消除聊天機器人的幻覺，消除機器人散播的不准確和錯誤信息，確保人工智能在回應中引用材料時參考可靠來源.
至於主題護欄，這些可用於阻止聊天機器人偏離其旨在解決的特定主題之外，這無疑再次有助於遏制奇怪行為的實例。當被推到邊緣話題時，這就是 AI 可以再次偏離軌道的時候。
除此之外，還有安全護欄來防止連接到被標記為可疑的外部應用程序或不安全，NVIDIA 告訴我們。
NeMo 框架
我們不知道 NeMo Guardrails 軟件何時發布，但到那時，它將包含在 NVIDIA NeMo 框架（它是 GitHub 上的開源代碼）。因此，開發人員將能夠廣泛使用它來幫助解決他們 AI 項目中最糟糕的過度行為，或者至少是這個想法-NeMo Guardrails 將與廣泛的支持 LLM 的應用程序兼容。
NVIDIA觀察:
“幾乎每個軟件開發人員都可以使用 NeMo Guardrails-無需成為機器學習專家或數據科學家。他們可以通過幾行代碼快速創建新規則。”
就監管聊天機器人和確保它們不會偏離正題或完全出錯而言，這聽起來像是一個受歡迎的發展，這對於沒有監督的 AI 實體來說是一個明顯的問題。
事實上，我們最近聽到歐洲監管機構呼籲調查 AI 是否對消費者構成風險，以及應採取哪些措施來保護公眾免受上述危險。
歐洲消費者組織 (BEUC) 特別擔心聊天機器人可能對年輕人和兒童產生的影響，他們可能會傾向於相信 AI 是權威的，甚至是萬無一失的，但實際上很可能會犯錯誤。然而，NVIDIA 的軟件可能會確保後者很少發生。
