返回原文章

當 AI 系統架構從 GPU 獨大轉向雙引擎,IT 採購策略該如何優化?

Powered by 經理人知識庫
  1. 解析問題重點

    擷取核心關鍵詞:AI系統架構、GPU、雙引擎、IT採購策略、架構優化

  2. 檢索經理人知識庫

    比對25000+管理文章與 800+深度專題

  3. 篩選核心資料

    選出 8 篇高相關度報導

  4. 彙整觀點

    交叉比對編輯立場與資料

  5. 生成答案

    整合為一篇完整回應

當 AI 系統架構從 GPU 獨大轉向「雙引擎」(如 CPU 與 GPU 協作,或引入 TPU 等多元晶片)的趨勢下,IT 採購策略應從單純的「硬體採購」轉向「資源調度與全棧式管理」。以下是優化採購策略的具體作法:

1. 建立資源調度平台,取代盲目擴充硬體

企業不應再以「為每個專案買一台 GPU」的模式進行採購,這會導致資源浪費。應參考中華電信研究院的經驗,開發或導入如 DeepFlow 這類「GPU 資源調度工具」。[7]

  • 共享機制:透過資源調度平台,讓不同部門共用算力,將原本閒置的資源最大化利用,避免重複採購。[7]
  • 自動化管理:導入整合機器學習管理(MLOps)與大型語言模型管理(LLMOps)的平台,不僅能縮短模型迭代時間,還能透過監控系統識別哪些工具受歡迎、哪些資源被閒置,從而精準規劃後續採購。[3][7]

2. 採取「小而精」的聚焦採購策略

面對多元的硬體選擇(如 GPU、TPU 或 ASIC),企業應避免「畢其功於一役」的全面鋪開,而是採取「小而精」的聚焦策略。[5]

  • 定義核心場景:根據業務價值與可行性,優先改造如行銷、銷售或研發等能直接創造營收的部門,並針對這些場景選擇最適合的算力方案。[3][5]
  • 評估推論與訓練的差異:Google 的經驗顯示,推論(Inference)佔比往往高達 90%,若只是為了推論,應考慮使用專用晶片(如 TPU 或 ASIC)而非通用 GPU,以追求更高的效能功耗比,降低長期營運成本。[8]

3. 從「買硬體」轉向「買 AI 能力」

採購思維應從一次性的硬體交易,轉向持續性的服務與生態系整合。[6]

  • 評估全棧服務價值:如輝達提供的 CUDA 生態系,雖然硬體昂貴,但其軟硬體整合能省下開發者走彎路的時間。[1][6]
  • 成本效益分析:在自行建置(On-premises)與購買現成解決方案(如雲端 API)之間,需納入維護成本、電力消耗與技術人員依賴度進行綜合評估。若公司內部無專門 AI 團隊,購買現成解決方案通常能更快部署且風險較低。[2][3]

4. 賦能採購人員成為「策略顧問」

採購部門不應再只是單純的「執行者」(Order Taker),而應轉型為「策略顧問」(Strategy Advisor)。[4]

  • 整合需求:採購人員應主動整合各部門需求,透過總量談判爭取更優惠的條件,而非各部門各自為政。[4]
  • 建立容錯文化:推動 AI 採購轉型時,主管必須給予員工容錯空間。IBM 台灣採購部門的成功案例顯示,當員工因為使用 AI 嘗試新方案而犯錯時,主管採取「一起補救」而非「追究責任」的態度,才能鼓勵員工主動尋找更具效益的供應商或技術方案。[4]
以上觀點由經理人知識庫整合自多篇管理報導,非通用 AI 生成。內容反映《經理人》長期採訪與編輯立場。
已複製連結

Manager AI 幫你提問:

從 25000+管理文章與 800+深度專題為你找答案

內容由AI根據經理人知識庫輔助生成,提問請勿輸入機密資料,請自行判斷準確性。

解鎖更多提問機會!

請先登入會員

會員專區

使用會員功能前,請先登入

  • 台灣首款對話式 AI 職場教練,一次提升領導力
  • 會員專享每日運勢、名人金句抽籤
  • 收藏文章、追蹤作者,享受個人化學習頁面
  • 定向學習!20 大關鍵字,開放自選、訂閱
  • 解鎖下載專區!10+ 會員專刊一次載