傳統 CPU 就像一台極速運轉的超跑，極盡所能地將一、兩位乘客（複雜邏輯）以最高速度送達；而 GPU 則是無數輛並列發車的公車，在同一時間載著成千上萬名乘客（矩陣資料）到達同一個站牌。在 AI 時代，高能效比的 Arm 處理架構，憑藉模組化與精簡指令集，逐漸成為巨型 AI 加速系統中的最佳控場樞紐。
然而，這還不足以說明輝達（NVIDIA）帝國為何難以撼動？輝達的護城河不單是硬體，而是深耕多年的 CUDA 生態系。CUDA 實質上是一個極度緊密的軟硬體協同抽象層（software-hardware co-design abstraction）。
作為早期參與 PlayStation 3 繪圖晶片 RSX 與 Fermi 架構設計的架構師之一，我親歷了這段歷史。當時研發時的核心目標，是打造一個能靈活以軟體修補硬體瑕疵、並快速迭代的平行通用計算（GPGPU）平台。
坦白說，當時我完全沒有預料到，這個為了讓開發者方便撰寫平行運算程式所建立的抽象層，會在十多年後成為催化全球 AI 革命的最強燃料。這正是技術抽象層（abstraction layer）的威力：它讓開發者完全不必理會底層極其複雜的晶片細節，建構出後人難以跨越的軟體轉移壁壘。
如果 CUDA 護城河這麼高，為什麼各大雲端巨頭仍前仆後繼自研晶片？要看懂這場硬體大戰，經理人必須理解晶片與記憶體的底層邏輯。
巨頭們自研晶片打破算力限制、商業轉型
1. AI 正在轉變為新一代的「作業系統」
也就是說開發者不再直接面對硬體程式設計，而是對著 LLM 與工作流。對雲端巨頭而言，只要針對特定且龐大的 AI 推理任務（inference workloads）優化，就能繞過通用的 CUDA，追求極致的能源效率。 這種抽象層的轉移，也改變了晶片公司的商業模式。
以打造出晶圓級巨型晶片著稱的晶片公司 Cerebras，從直接販售昂貴的硬體，轉向提供雲端推理服務（ Cerebras Inference ）。客戶不再購買硬體，而是直接購買 API 與按用量計費。硬體與記憶體佈局的複雜性被完全抽象化，經理人只需為 token 付費。
2.算力如何突破晶片的物理寬度？
晶片運算能力是靠晶體管面積堆疊呈指數成長，但記憶體傳輸速度卻受限於晶片的物理寬度，也就是電腦科學最古老的幽靈「記憶體牆」（memory wall）。這就像運算核心是無數高效能的工廠，但聯外道路卻只有一條，所以處理器大部分時間都在「空等資料」。
因此，Google TPU 和 Cerebras 都直接將靜態記憶體（SRAM）刻在晶片旁邊來消除傳輸距離。Google TPU 採用高頻寬記憶體（HBM）在 3D 空間中拓寬道路，而 Cerebras 更是把整個晶圓做成一整塊巨型晶片來增加平行度。
追求靈巧低成本的邊緣 AI，適合具軟硬體整合優勢的台灣
當硬體架構從過去一統江湖的 x86，轉向由「應用驅動」的抽象時代，晶片發展必然迎來百花齊放的新戰國時代——而這正是擅長軟硬高度整合的台灣，最能發揮的黃金戰場。以邊緣端的低功耗推論為例，過去受限於記憶體牆，運算與記憶體必須分離；如今透過「小晶片（Chiplet）與存算一體（CIM, compute-in-memory）」的異質整合，台灣能利用先進 3D 封裝（CoWoS/3D IC）將客製化 NPU 與記憶體垂直堆疊，讓軟體演算法與硬體架構直接進行「協同設計（Co-design）」，將傳輸延遲與功耗降低數倍。
當軟硬體之間的藩籬被徹底打通，兩者便從過去「軟體去適應硬體」的主從關係，轉為平起平坐的合作態勢。當算力賽局從雲端的暴力堆疊，轉向邊緣端的靈巧散佈，台灣憑藉全球頂尖的晶圓代工、封裝與記憶體產業鏈，必能在這波浪潮中發揮軟硬整合的獨門絕活，為全球打造最關鍵的 AI 硬體心臟。
參考資料：
- [1] NVIDIA, "CUDA C++ Programming Guide: CUDA System Architecture and Co-Design,"
- 2 McKinsey & Company, "The new economics of AI,"
- 3 Cerebras Systems, "Cerebras Inference: The Fastest AI Inference in the World,"
- 4 William A. Wulf & Sally A. McKee, "Hitting the Memory Wall: Implications of the Obvious," Computer Architecture News,
- [5] IEEE Spectrum, "New AI Chip Twice as Energy Efficient as Alternatives,"
核稿編輯：張玉琦
