經理人用戶成長中心 支琬清
AI 的產出愈精美,你的大腦愈閒置!研究揭露:「成品效應」讓你忘了怎麼思考
分享
隨著 AI 技術逐漸融入工作日常,使用者是否具備與 AI 良好互動的技能,已成為評估 AI 工具影響力的關鍵之一。Anthropic 在最新發布的教育報告中,正式推出名為「AI 流利指數」(The AI Fluency Index)的衡量方式。研究中採用了一套由學者與 Anthropic 共同開發、包含 24 種特定行為的「4D AI 流利度框架」(4D AI Fluency Framework),用來定義何謂安全且有效的人機協作。
研究團隊從框架中選取 11 種在介面中直接可觀察的行為指標,包括釐清目標、提供範例、質疑推理等。報告指出,大眾對 AI 工具的依賴度提升,然而在面對精美產出時,人類的批判性思考能力似乎有所下滑。
願意與 AI 進行「多輪對話」的人較具備批判性思考
報告數據顯示,「迭代與精煉(Iterates and refines)」是目前使用者最普遍展現的流利行為,在樣本中占比高達 85.7%。這種行為的本質是「把 AI 當成思考夥伴」,而非單純的代辦者。
使用者不會在得到第一個答案後就拍板結案,而是會根據 AI 的初步回覆,進一步提出疑問或指令,如:「這部分可以再深入一點嗎?」、「如果換個立場會怎樣?」、「這個邏輯好像不對,我們重來」等,透過多次對話往返來持續優化工作。
研究發現,願意進行多輪對話的使用者平均展現出的其他流利行為,約為其餘使用者的 2 倍。
另外,高度迭代的對話過程與批判性思考呈強烈正相關。與單次簡單問答相比,進行迭代的使用者「質疑推理過程」的可能性高出 5.6 倍,「辨識缺失脈絡」的可能性也高出 4 倍。
顯示 AI 使用流利程度與反覆對話和微調有關,儘管目前無法確定兩者間的因果關係,但願意與 AI 進行迭代協作的使用者,確實展現出更具批判性的互動特徵。
AI 產出愈精美,人變得愈無腦?
報告也揭露另一個值得關注的現象,研究團隊稱為 「成品效應」(Artifact effect) 。研究發現,占樣本總數 12.3%、涉及程式碼、文件和互動工具等具體產出的對話中,使用者更傾向在初期便下達指令,例如在「釐清目標」的行為上增加了 14.7 個百分點、在「指定格式」上增加了 14.5 個百分點,卻減少了對內容的評估與辨識行為。
數據指出,當 AI 產出看起來功能完備、視覺精美時,使用者辨識出「缺失脈絡」的比例下降 5.2 個百分點,「檢查事實」下降 3.7 個百分點,而「質疑模型推理」的行為也減少了 3.1 個百分點。
研究團隊推測,精美的外觀容易讓使用者產生「工作已完成」的錯覺;但也強調,介面中評估行為的減少,可能只是因為使用者轉而在對話介面外作業,如實際執行程式碼或測試應用程式,來驗證產出。
如何提升 AI 流利度?Anthropic 研究團隊建議 3 招
儘管 AI 工具已普及,但研究發現目前僅有 30% 的對話會明確設定「協作模式」(Interaction mode),顯示使用者在對話初期主動設定互動預期的技巧上,仍有進步空間。為此,研究團隊根據數據歸納出 3 項建議。
首先是 積極進行「迭代與精煉」 ,使用者應將 AI 視為思考夥伴,針對不滿意的部分進行反饋並持續微調需求。
其次是 針對「精美產出」保持質疑 ,報告指出,當結果看起來愈完美、愈具備功能性時,正是使用者最該停下來詢問「這準確嗎?」、「推理是否成立?」的關鍵時刻,以免因為產生「工作已完成」的錯覺而忽略批判性評估。
第三項建議是 主動「設定協作條款」 ,透過具體指令改變對話動態。使用者可以嘗試加入如:「如果我的假設有誤,請指出」、「在給答案前先帶我走一遍你的推理過程」,或是「告訴我你不確定的地方」等指令。在對話初期確立預期,能有效改變後續對話的協作方式。
資料來源:Anthropic;本文初稿由 AI 協助整理,編輯:支琬清