當 AI 系統架構從 GPU 獨大轉向「雙引擎」(如 CPU 與 GPU 協作,或引入 TPU 等多元晶片)的趨勢下,IT 採購策略應從單純的「硬體採購」轉向「資源調度與全棧式管理」。以下是優化採購策略的具體作法:
1. 建立資源調度平台,取代盲目擴充硬體
企業不應再以「為每個專案買一台 GPU」的模式進行採購,這會導致資源浪費。應參考中華電信研究院的經驗,開發或導入如 DeepFlow 這類「GPU 資源調度工具」。[7]
- 共享機制:透過資源調度平台,讓不同部門共用算力,將原本閒置的資源最大化利用,避免重複採購。[7]
- 自動化管理:導入整合機器學習管理(MLOps)與大型語言模型管理(LLMOps)的平台,不僅能縮短模型迭代時間,還能透過監控系統識別哪些工具受歡迎、哪些資源被閒置,從而精準規劃後續採購。[3][7]
2. 採取「小而精」的聚焦採購策略
面對多元的硬體選擇(如 GPU、TPU 或 ASIC),企業應避免「畢其功於一役」的全面鋪開,而是採取「小而精」的聚焦策略。[5]
- 定義核心場景:根據業務價值與可行性,優先改造如行銷、銷售或研發等能直接創造營收的部門,並針對這些場景選擇最適合的算力方案。[3][5]
- 評估推論與訓練的差異:Google 的經驗顯示,推論(Inference)佔比往往高達 90%,若只是為了推論,應考慮使用專用晶片(如 TPU 或 ASIC)而非通用 GPU,以追求更高的效能功耗比,降低長期營運成本。[8]
3. 從「買硬體」轉向「買 AI 能力」
採購思維應從一次性的硬體交易,轉向持續性的服務與生態系整合。[6]
- 評估全棧服務價值:如輝達提供的 CUDA 生態系,雖然硬體昂貴,但其軟硬體整合能省下開發者走彎路的時間。[1][6]
- 成本效益分析:在自行建置(On-premises)與購買現成解決方案(如雲端 API)之間,需納入維護成本、電力消耗與技術人員依賴度進行綜合評估。若公司內部無專門 AI 團隊,購買現成解決方案通常能更快部署且風險較低。[2][3]
4. 賦能採購人員成為「策略顧問」
採購部門不應再只是單純的「執行者」(Order Taker),而應轉型為「策略顧問」(Strategy Advisor)。[4]