今年 10 月初,社群上傳出聯發科縮減員工使用 AI 的 token 額度,員工反映難以工作。對此,聯發科表示公司鼓勵員工應用 AI 工具提升生產力,並指出內部有智慧自動調度機制,會依任務複雜度自動匹配內部專屬模型或外部模型,以更具效益的 token 使用模式,支撐公司長遠發展。
這是許多企業正在經歷的轉折,今年以來,不少國外企業也因為高額的 AI 支出而改變政策。然而,企業該管的真的只是 token 用量嗎?
先衝量再踩煞車,企業的 AI 政策為何轉彎?
為了加快轉型,許多企業鼓勵員工盡量嘗試 AI 工具,有些公司更認為使用率愈高,代表創新力和生產力愈強,因此以 token 用量評量員工。舉例來說,Uber 曾設立內部排行榜,依 AI 工具的總用量替團隊排名,鼓勵員工採用 AI。亞馬遜(Amazon)則設定目標,要讓 8 成以上的開發人員每週使用 AI,內部也出現名為「Kirorank」的排行榜,依員工在 AI 開發平台 Kiro 上的活動量排名。
但是 AI 工具的計費方式和過去買斷的軟體不同,token 用得愈多,花費就愈高。隨著 AI 從軟體開發擴散到業務、行銷、營運等部門,加上 AI 代理會大量消耗 token,企業的 AI 帳單金額暴增。
根據《TechCrunch》報導,Uber 在短短 4 個月內就花光了全年的 AI 預算。Uber 隨後將每位員工每項 AI 工具的支出,限制在每月 1500 美元以內,需要更多額度的員工則須另外申請核准。《商業內幕》(Business Insider)的報導也提到沃爾瑪(Walmart)對其內部自研的 vibe coding 工具「Code Puppy」實施 token 配額制度,結束過去的「吃到飽」模式。
企業鼓勵狂用、設下限額,其實卡在同一個盲點
然而,也有公司認為 token 是不該省的投資。輝達(NVIDIA)執行長黃仁勳就曾表示,年薪 50 萬美元的工程師應該至少使用價值 25 萬美元的 token,「我會在年底問他們花了多少 token,如果那個人說 5000 美元,我會抓狂。」
換句話說,token 的使用可能攸關企業的長遠發展,那麼省下這筆成本,會不會反而讓公司錯失更大的成長機會?
答案取決於企業怎麼評量 AI 的成效。由於 token 用量是一個容易被看見、計算的指標,所以企業將其作為關鍵績效指標。但一旦 token 用量和績效考核掛鉤,員工就可能做表面功夫,想辦法衝高看得見的活動量。亞馬遜的 Kirorank 排行榜就是一例,根據《金融時報》報導,有員工為了衝高排名,讓 AI 代理執行不必要的任務。
結果,企業花了大錢,換來的卻是灌水的用量。帳單失控後,企業的直覺反應是限制用量,但是他們盯著的依然是同一個數字,卻沒有回答到一個問題:哪些 token 真正創造了價值。
察覺問題的企業,已經開始轉變策略。知名教育科技公司多鄰國(Duolingo)原本將 AI 使用情形納入績效考核,但後來取消這項做法。多鄰國執行長路易斯.馮.安(Luis von Ahn)更重要的是員工「把工作做到最好」,AI 有幫助就用,沒幫助就不強迫使用。
別只看 token 花了多少,要看「每次成功」花了多少
因此,企業需要改變衡量方法,波士頓顧問公司(BCG)便指出,公司需要追蹤的不只是 token 的總支出,而是每次帶來成功結果的成本。
原因在於使用者與 AI 模型的互動都會持續產生費用,單看總花費無法反映這筆支出是帶來了實際業務價值,還是白白浪費。
此外,若使用者為了節省 token 而選擇較弱的模型,但因準確度不足導致多次重試、修正,甚至耗費大量人工審核時間,最終達成單次成功成果的 token 與人力成本,反而會高於直接調用能力較強的模型。
所以涉及 AI 報酬率的計算,分子會是「最終成功並被採納的成果」,而非「產出的總生成量」。分母則要納入除了 token 費用以外的成本,包含指令的設計、修正錯誤的時間成本。
而要做到如此細緻的計算,企業需要做 3 件事情:
1.區分 token 的價值屬性
不同用途的 token,衡量效益的方式也不同。波士頓顧問公司認為,企業可以先把 token 費用分成三類:第一類屬於投資,性質類似資本支出,例如用來打造 AI 代理的 token;第二類屬於營運費用,也就是執行內部日常工作的 token,財務長可以依部門和流程編列預算,並要求主管對產出負責;第三類是銷貨成本,也就是用在產品或客戶互動中的 token,後續會納入毛利率的計算。
2.定義什麼才是真正的成果
分子必須是真正的成果,而不是活動量。以寫程式為例,程式碼行數只是活動指標,該計算的是真正上線、通過審查的程式。
所以如果客服流程的結案數增加,但需要處理的客訴也跟著變多,就代表 token 創造的並非回報,而只是在製造活動量。
3.每個流程都有負責人追蹤
每個工作流程都要標明負責人、所屬部門、對應的損益科目、使用的模型與供應商,以及預期成果。
同時,建立儀表板追蹤每個工作流程消耗的 token 與產出的成果,並針對 token 消耗最高的工作流程進行定期審查,比較它帶來的成果與投入的全部成本。如果低於預期,或產生大量無效的產出,就應該重新調整範疇或終止專案。
token 用量與生產力之間,並非必然成正比,節省 token,也不等於提高經營效率。當 AI 變成必備工具,企業不能只問花了多少錢,更要問這些錢帶來多少價值,學習為「真正需要的聰明」買單。
核稿編輯:陳書榕
資料來源:BCG、TechCrunch(1)、TechCrunch(2)、TechCrunch(3)、The News International、Financial Times(1)、Financial Times(2)、The Wall Street Journal