現階段對話式 AI 聊天機器人的一個問題是它們容易產生幻覺。換句話說，他們編造信息以滿足用戶的要求。 ChatGPT 是一種語言模型，旨在為用戶提供對問題的回答，在此過程中，AI 聊天機器人將提供信息來填補任何空白，即使它提供的信息不是真的。
紐約時報（來自Mashable) 報導了 Levidow 的一位名叫 Steven Schwartz 的律師，擔任律師 30 年的 Levidow & Oberman。但多虧了 ChatGPT，施瓦茨發現自己正在尋找新的職業。你看，Schwartz 代表一位名叫 Roberto Mata 的客戶起訴哥倫比亞航空公司 Avianca，因為他的膝蓋在飛行過程中被一輛服務推車撞到了他。
Schwartz 決定使用 ChatGPT 可以讓他失去了 30 年的法律職業生涯
Avianca 試圖讓法官駁回此案，Mata 的律師（包括 Schwartz）提交了一份摘要，其中包含法庭審理的類似案件，試圖向法官證明案件不應被駁回。但這就是 ChatGPT 和 Schwartz 搞砸的地方。 Schwartz 在它第一次登陸州法院時立案，並在它被轉移到曼哈頓聯邦法院時提供法律研究。
一位律師使用 ChatGPT 進行“法律研究”，並在一份文件，現在法官遇到了很多麻煩 pic.twitter.com/AJSE7Ts7W7
— 丹尼爾·費爾德曼 (@d_feldman) 2023 年 5 月 27 日
為了加強他的備案，Schwartz 求助於 ChatGPT 幫助他找到提交法庭的類似案件。 ChatGPT 列出了這些案件:Varghese 訴中國南方航空公司、Shaboon 訴埃及航空公司、Petersen 訴伊朗航空公司、Martinez 訴達美航空公司、Estate of Durden 訴荷蘭皇家航空公司和 Miller 訴聯合航空公司。這聽起來像是一份可供法官引用的案件清單。只有一個很小的問題；這些案件都不是真實的！它們都是由 ChatGPT 編造的。
律師從不考慮到 AI 聊天機器人可能會給他提供虛假信息
Avianca 的法律團隊和法官很快意識到他們找不到 Schwartz 提交的任何案件。在一份宣誓書中，他在向法院提交的文件中，施瓦茨附上了一張他與 ChatGPT 互動的截圖，並表示就對話式人工智能聊天機器人而言，他“不知道其內容可能是假的”。法官已安排下一次聽證會一個月來“討論對 Schwartz 的潛在製裁”。
讓這成為對任何計劃讓 AI 為他們做一些工作的人的警告。您可能認為自己在節省時間，但如果您用 AI 聊天機器人的結果代替自己的辛勤工作，最終可能會遇到更多麻煩。我絕不希望我的文章由 AI 撰寫，使用 AI 不僅會傷害你自己，而且你通過聲稱自己不是你寫的東西的作者身份來欺騙你的聽眾，或者因為你可能會為你的聽眾提供製作-up 信息。
無論您是計劃使用 AI 聊天機器人來幫助您完成需要撰寫的論文的學生，還是希望引用案例的律師，都沒有關係。 AI 聊天機器人可以產生幻覺並為您提供虛假信息。這並不是說它們沒有用處，也許可以為您指明正確的方向。但是一旦指向完成，您就需要確保您獲取的信息是合法的。
