試想一個情境：公司打算讓 AI 分析客訴後撰寫回信，原本的客服人員負責監督 AI 回應的品質後才發送。看起來人機分工明確，能有效提高客服效率。但 BCG 最近發現企業在工作流程運用 AI，即便有人員查核，結局仍不盡理想。問題出在哪？
當人們過於信任 AI，檢查機制就會不確實
原因在於人類的監督失效了，因素可歸納為以下 3 點。第一是人們過於信任 AI，當使用者多次檢查 AI 產出的內容，發現都沒錯，就不會再仔細檢查。或是他們不知道 AI 的能力有限，所以 AI 出錯時，反而會懷疑是自己的問題。第二，AI 提供的資訊不夠充分，像是缺少上下文，或是僅秀出支撐某個建議的證據，卻沒有提供反對的例子。這些都可能使人們難以判斷、查證，確認資訊是否為真。
第三，因為人們想滿足某個目的，而忽視其他面向。像是企業導入 AI，是期望提升效率，所以如果要花很多心力驗證 AI 產出的內容正不正確，又會再拖慢速度，員工可能就不會花時間檢查。或是審核者只專注結果是否正確，忽略 AI 工具不應該做哪些事。例如有公司推出 AI 智慧客服，把焦點放在確認客服可以正確回答問題，卻被用戶鑽漏洞，用來寫程式碼、笑話，挪作他用，徒然浪費算力。
5 做法建立監督機制，兼顧 AI 效率與正確性
所以當公司導入 AI，不能只專注在功能，還需要建立有效的人類監督機制。做法就是將工作流程拆開、設下檢查點（checkpoint），再針對各個檢查點設計監督機制。而企業可參考以下 5 類做法，建立有效的機制。
第一類做法是安排具備行業知識（domain knowledge）的職員，查核 AI 提供的內容，像資深的工程師，能較快辨識出 AI 寫的程式是否正確。第二類做法是評估人工審核的表現，確認職員是否真的能識別正確和不正確的 AI 產出。舉例來說，開發者可以不時置入錯誤資訊，測試客服人員會不會發現，但若放入的錯誤訊息數量太多，會影響 AI 的效率。
企業也可以追蹤 AI 出錯的頻率，開發者需要先設計反饋機制，例如能夠按讚（同意）或倒讚（拒絕）。後續就可以比較測試和執行階段的拒絕率。如果組織預期 AI 產出的 20% 是錯誤答案，但導入後只有 5% 的拒絕率，可能就需要分析檢視人工審查階段是否出現問題。
第三類做法是建立準則。舉例來說，當負責市場調查的職員，知道需要檢查 AI 是否提供正面及反面的案例，發現 AI 只給出單方說法時，就會知道內容有疑慮。最後一類做法，則是依據 AI 產出的風險高低，決定審查的強度，取得監管與效率間的平衡。例如品牌發布貼文，如果是活動宣傳，可以加快審核，但如果跟價格有關，就需要較嚴謹的檢查。
這種設計檢查點的方法，也有利於企業衡量 AI 效率，同時確保內容無誤。因為關鍵績效指標（KPI），會因導入階段而不同。也就是說，公司能夠將人機分開檢視，AI 產製內容的 KPI，著重效率；而進入檢查點、由人類監管的階段的 KPI，會以正確性為主。若沒有將環節拆開來看，可能會導致員工審查時，也需追求效率，進而輕忽準確性。（口述｜徐瑞廷，整理｜麻愷晅）
| 評估標準 | 如何檢驗 AI 回應 | 發現問題後的做法 |
|---|---|---|
| 具相關性且易於理解 | 檢視回應是否符合使用者需求。例如答案與提問相關。 | 審核生成回應所使用的數據、技術。 |
| 負責任 | 驗證大型語言模型（LLM）的回應是否符合法規或公司政策。 | 審查數據準確性、相關性及提示工程。 |
| 公平且可靠 | 檢視大型語言模型提供的回應，是否恰當、不冒犯人且無偏見。 | 檢查防護措施、提示工程，以避免不當回應。 |
| 保護資料及隱私 | 檢驗生成式 AI 應用是否不會洩露數據，能提供合理引用資料。 | 檢視公司內部資料流動的過程、防護措施。 |
| 安全且穩健 | 檢驗生成式 AI 應用是否可靠，能減少非預期行為導致的風險。 | 審查生成式 AI 應用的安全性及韌性。 |
資料來源｜〈GenAI Can’t Scale Without Responsible AI〉，BCG
