全球四大會計師事務所之一德勤（Deloitte）澳洲分公司，出包了！

澳洲德勤被揭露為政府撰寫價值約 44 萬澳幣（約新台幣 875.2 萬元）的報告中，使用了生成式 AI，且內容出現重大失誤，像是引用不存在的學術研究、杜撰法院判決內容等。在被學者抓包後，澳洲德勤承諾將退還部分款項。

這份報告是由澳洲就業及勞資關係部（DEWR）委託，目的是審查澳洲福利津貼的支付狀況。然而報告發布後，卻被發現內容充滿了 AI「幻覺」產生的虛構資訊，引發外界對大型顧問公司過度依賴 AI 的疑慮。

從不存在的書到杜撰的判例！AI「幻覺」如何被學者一眼識破？

這起事件是由雪梨大學的健康與福利法研究員克里斯・魯基（Chris Rudge）揭發，他表示閱讀報告時，發現內容引用一本由他的同事 —— 公法與憲法學教授麗莎・伯頓・克勞福德（Lisa Burton Crawford） —— 所撰寫的書籍，然而報告中提及的書名，不只並非該同事的專業領域，還是完全杜撰的。

這種 AI 為了填補資訊空白或錯誤解讀數據而「猜測」答案的現象，被稱為「幻覺（hallucinations）」。魯基向媒體表示：「我立刻就知道，這要不是 AI 的幻覺，就是世界上守得最好的祕密，因為我從沒聽過這本書，而且書名聽起來很荒謬。」

除了這本「幽靈書籍」，報告中還引用多篇不存在的學術文章，甚至在提及一件名為「迪安娜・阿馬托訴聯邦案（Deanna Amato v Commonwealth）」的判決時，摘要內容也包含錯誤資訊。

報告出包，德勤仍堅稱：提出的結論不受影響！

在媒體報導此事後，澳洲政府部門悄悄地在網站上傳了報告的修訂版本。德勤在更新版本中承認，他們使用了由客戶授權並託管於其 Azure 平台上的生成式 AI 大型語言模型 Azure OpenAI GPT-4o。新版本移除或修正了超過十幾處的錯誤引用、註腳及排印錯誤。

儘管報告內容出包，德勤卻在更新說明中強調：「這些更新不影響或改變報告中的實質內容、調查結果與建議。」德勤發言人也表示，此事已與客戶協調解決。澳洲政府部門證實，德勤將退還合約的的尾款，但未透露具體金額。

學者質疑：一份假引用換 N 份真資料，反證研究過程草率？

然而魯基對德勤的補救方式提出更進一步的質疑，他觀察到在新版報告中，德勤並非將一個虛構的參考資料換成一個真實的資料，而是用 5、6、7 甚至 8 個新的參考資料，來取代一個 AI 幻覺的假資料。

魯基指出，這種修補方式可能暗示一個更嚴重的問題：「這表明報告內文最初的那個主張，根本不是基於任何單一的可信來源。」

儘管如此，魯基也補充，雖然他對於研究過程提出批評，但他並不會因此就認定整份報告「不合法」，因為報告的最終結論與其他關於福利制度的廣泛證據大致相符。

這起事件不僅重創德勤的專業形象，也揭示 AI 在專業領域應用的風險。魯基的見解點出，問題不只是「AI 會犯錯」，而是 AI 可能生成缺乏證據的主張。而德勤事後的修正方式，反而暴露原始研究過程的瑕疵。

資料來源：The Guardian、Financial Express、Fortune；本文初稿由 AI 協助整理，編輯：支琬清