商業 Business > 創新創業
feature picture
3

下一場 AI 競爭要靠它!耐能智慧定義的 NPU 如何征服全球?

撰文 李岱君
2025-05-28
分享
收藏
已完成
已取消

「如果哆啦 A 夢需要連接網路才能運作,那麼斷網時,大雄的朋友就變成一個無用的鐵罐,」耐能智慧創辦人暨執行長劉峻誠的辦公室擺滿哆啦 A 夢的模型,這不僅是童年的記憶,更是他技術願景的象徵:讓 AI 不受雲端限制,直接在終端設備上智慧運作,也就是 邊緣 AI(edge AI)

AI 技術近年大爆發,大家都在談模型多強、應用多快,但對 AI 模型而言,一張照片辨識、一段語音理解,都是數百萬次的計算堆疊。你要它反應快、準確高、還要即時回應,傳統的 CPU 或 GPU 就開始吃不消。這也是為什麼大部分 AI 還是得靠雲端跑,但就得犧牲隱私、拉高成本。

從產業戰略角度看,AI 的關鍵瓶頸已從模型訓練,轉向落地應用的成本與速度。能否擺脫雲端依賴,將決定 AI 是否能像智慧型手機一樣普及到每個角落。這正是 NPU(神經網路處理器,neural processing unit) 崛起的戰略價值,它不只是一顆晶片,更是讓 AI「真正普及」的產業革命。

而定義這項技術的,是來自台灣的耐能智慧。

看準邊緣 AI 前景,定義 NPU

2015 年,當 AI 還是冷門領域時,劉峻誠創立了耐能智慧。當年的主流 AI 模型,都依賴龐大的伺服器和高功耗的 GPU。劉峻誠認為,AI 模型既然已經是未來的運算主角,勢必也需要搭配部署在邊緣、即時反應、低功耗的硬體架構,也就是他所定義的處理器 NPU 來運算。

起初是有個老闆希望劉峻誠幫他找團隊支援案子,結果無法取得足夠的資金和人力,他不得不自己承擔責任,便把 NPU 當作創業題。

然而公司很快地陷入危機,「最慘的時候剩 2 個人,被追債 500 萬美金,」劉峻誠自己都估計公司有「99% 的機率會倒」。在絕境中,劉峻誠聯繫人生各階段的朋友,「有些同學接到電話就說,我知道你要幹嘛,叫我們辭職去你要倒的公司、不拿薪水,我們沒那麼笨。」

沒想到還是有一些人願意辭去高通、聯發科的高薪工作加入。「連別人都這麼相信你,那你更不能害怕、更不能膽怯,」面對這樣的信任與支持,劉峻誠不再只是為自己而戰。「這一群人是以前學生時代跟你一起在球場上揮灑汗水,甚至你還去幫他追女朋友,很多人真的是你人生的一部分。我生命中最好的同學都在這裡。」

面對科技巨頭競爭,耐能靠什麼生存?關鍵在於差異化定位和敏捷開發。公司採用 24 小時不間斷開發模式,「美國團隊睡覺時,台灣團隊接棒;台灣下班後,美國團隊又開始工作,」這使開發速度超過同業 2~3 倍。

「沒有傘,你在下雨的時候就只能跑得比人家快。」

劉峻誠形容耐能的生存哲學,也正是這種壓力,成為公司研發速度超前的關鍵。

延伸閱讀:GPU 戰況分析:AMD 下戰帖、英特爾窮追,輝達能否保住龍頭地位?

挑戰雲端霸權,讓 AI 應用充滿生活

劉峻誠的核心發明是「可重構式架構」,這一概念獲得 IEEE 達林頓獎 (IEEE Darlington Award,獎勵在晶片設計、半導體電路創新等領域的世界級貢獻,每年全球只有一篇論文獲選) 等國際認可。「我們做了一堆『腦細胞』,需要時把它們像黏土一樣堆成不同形狀,執行不同 AI 任務,」他解釋,「這種設計讓一顆晶片可以靈活應對多種場景,同時保持極高效率。」

耐能的技術在 3 個維度具備競爭優勢,正好切中邊緣 AI 的核心需求:省電、輕巧、彈性高。

首先,在電力效率上,他們的晶片比傳統 GPU 省電 20 到 30 倍,適合部署在電源有限的裝置上;其次,晶片面積比傳統設計小了超過 80%,能更輕鬆嵌入手機、監視器等小型裝置;最後,他們不像傳統 ASIC(客製化晶片)那樣「寫死」模型,設計上保留彈性,可以因應 AI 模型更新,直接在原有硬體上升級,不需重新開發。

那耐能的晶片如何實現邊緣 AI 的場景?2017 年,耐能推出全球首款專為 AI 設計的 NPU 晶片,應用於格力電器的智慧空調中。賣場的空調能根據偵測到的人數調整模式,人多時進入強力模式;人少時自動省電。

又例如在安控層面,能讓攝影機在不連網情況下,也能識別異常行為,既保護隱私又提高效率;或是在智慧水表應用中,耐能的 AI 不只收集數據,還能識別異常模式,「台灣約 30% 的水在輸送過程中流失,」劉峻誠解釋,而在水表中設置的 AI 能發現這些微小漏水點,節省大量資源。

延伸閱讀:研華總座:台灣大多數產業,需要的是邊緣 AI!潛力大,但仍有4大挑戰待克服
耐能科技_2025-04-15_侯俊偉攝影_ (2).jpg
辦公室掛著「勿忘初心」砥礪自己,兒時對於未來世界的想像跟期待,現在正因為自己的努力而向前推進。
侯俊偉攝影

在商業模式上,耐能採取多元策略,不同於大多數晶片設計公司。他們不只賣晶片,還提供完整解決方案和 IP 授權,劉峻誠解釋,「軟體團隊比晶片團隊還大,比例約 4:1。」這種模式類似安謀(ARM)結合輝達的混合策略,既賺取硬體利潤,又透過技術授權擴大市場滲透。

耐能的產品已應用於 4 大領域:智慧家居、安控、車用和伺服器,公司已與多家全球頂級 ODM/OEM 廠商合作,產品從智慧家電到車載系統,從安防監控到筆記型電腦。營收 70% 來自海外,主要分布在日本、韓國和美國。在韓國市場,已成為安控 AI 晶片的主要供應商,韓華、LG 等大廠都是耐能的客戶。

不只做 NPU 晶片,更打造 AI 時代的「教科書」

耐能科技_2025-04-15_侯俊偉攝影_ (4).jpg
劉峻誠寫的教科書目前已是NPU的權威教材,他笑說「最初的版本,圖都還是手繪的,」自己也很意外為了教課用寫的講義,會成為重要的學術基石。
侯俊偉攝影

耐能不僅傳播知識,也奠定在產學界的權威地位。劉峻誠發明了 NPU 的概念,並應邀到清大、交大、成大教書。為了教課方便,他將上課講義彙整後出版成教科書,竟意外打響名號,國內外頂尖學府都紛紛作為指定教材,包含普林斯頓、UCLA 等,書商開玩笑跟他說「銷量比雞排妹的寫真集還好!」同時也被評為 AI 領域全球最有影響力的書籍第 6 名。

隨後,國際知名出版社注意到這本暢銷書,將它正式出版並推向全球市場。隨著需求增加,劉峻誠又陸續編寫了大學版、高中版、甚至國小國中版本,形成一套完整的 AI 教育系統。

劉峻誠回憶,「5、6 歲時,我拉著弟弟撿木箱,裝了簡單馬達,嘗試做出哆啦 A 夢,」如今,這個童年夢想正因為自己而加速實現,耐能的 NPU 能讓機器人,不依賴外部指令(雲端),直接理解並回應人類需求。「我們希望 AI 不再是遙遠的、抽象的概念,而是能成為每個人身邊的好朋友。」

核稿編輯:王宥筑

繼續閱讀 創業 AI
相關文章
成功 Success > 數位工具
feature picture
1

「邊緣 AI」是什麼?DeepSeek 崛起,為何帶動商機大爆發?

撰文 李岱君
2025-02-19
分享
收藏
已完成
已取消

中國科技公司 DeepSeek 最新的 R1 模型一出,無疑是對科技業投下震撼彈,標榜不到 600 萬美元的訓練成本,就造出媲美 OpenAI 性能的大型語言模型,動搖了「開發頂級 AI 必須仰賴高階晶片」的傳統認知。

然而,DeepSeek 帶來的影響遠不止於此。當運算成本不再高不可攀,AI 模型能夠在一般設備上運行,過去被視為明日之星的 邊緣 AI(Edge AI) ,是否終於迎來規模化商轉的關鍵時刻?

「邊緣 AI」是什麼?為何過去難實現?

所謂的邊緣 AI,就是 把 AI 的運算能力部署到終端設備上,讓 AI 模型能夠在本地進行資料處理和決策,而不需要依賴雲端運算。 例如你自己的電腦已安裝 AI 模型,即使不連上網路使用 ChatGPT,也能進行即時的 AI 對話,且所有的運算跟數據都在自己的電腦,不用上雲端,這也是 AI PC(AI 筆電)的概念。

這幾年,邊緣 AI 的討論似是雷聲大雨點小。關鍵原因在於,過去技術還沒跟上,沒辦法真正大規模應用。首先,AI 模型本身就很大,運算需求高。以前的大型語言模型動輒幾十億參數,需要強大算力支撐,可手機、筆電這些邊緣設備根本吃不消。

其次,數據傳輸也是個大問題。為了繞過算力瓶頸,很多應用把數據傳到雲端處理,但這會帶來網速慢、延遲高的問題。像自動駕駛、工業控制這些講究即時反應的場景,根本不能等雲端處理完再回傳結果。

再來是隱私和安全問題。把用戶數據集中存放在雲端,難保不會有資料外洩風險。現在大家愈來愈重視數據安全,很多企業開始推崇「數據不出邊緣」,也就是在本地設備上處理數據,而不是全部傳到雲端。

最後,AI 模型的訓練需要大量數據和算力,這對企業來說是個沉重負擔。尤其是中小企業,光是訓練一個高品質模型的成本就讓人卻步,讓邊緣 AI 一直難以真正起飛。 也因為這些技術瓶頸,過去邊緣 AI 大多停留在概念階段,距離大規模應用還有很長的路要走。再加上長期以來大家習慣依賴雲端,導致業界推動變革的速度也比較慢。

延伸閱讀:AI Agent 是什麼?如何完成複雜任務?3 大工作步驟、5大類 AI 代理一次看

DeepSeek 效應:重新定義 AI 發展路徑

而 DeepSeek 的技術創新,正是邊緣 AI 發展困境的破局點。《華爾街日報》(The Wall Street Journal)分析,DeepSeek 採用的「混合專家模型」(mixture of experts,簡稱 MoE)堪稱革命性突破。它不是用一個龐大的 AI 模型去解決所有問題,而是拆分成多個專精不同領域的小型模型來處理任務,然後再由一個「總指揮」來整合產出結果。這種設計大幅降低了運算需求,讓 AI 可以在一般規格的設備上跑起來,而不需要昂貴的高性能硬體。

市場研究諮詢公司《Forrester》指出,DeepSeek 的模型可以在普通筆電上運作,雖然速度不如高端設備,但已可以支援許多應用。例如醫療照護,醫療設備能在地端處理影像診斷,減少數據傳輸風險,保護病患隱私。

混合專家模型同時也解決了邊緣 AI 長期以來的兩大痛點:一、成本問題,企業不需要砸大錢建置運算中心,或支付高昂的雲端服務費;二、效能限制:改良後的模型讓一般設備也能跑 AI,不再受限於昂貴的硬體。

延伸閱讀:如何免受 AI「幻覺」影響?3 個檢查重點,確保生成內容正確性

邊緣 AI 起飛,誰能賺到這波紅利?

對於硬體產業來說,邊緣 AI 的發展意味著傳統高性能 AI 晶片的需求可能減少,但這並不代表市場機會的消失,反而創造了新的成長空間。為了讓 AI 應用更接近使用端,企業對於小型化、低功耗的專用晶片的需求日益增加。華碩(ASUS)和惠普(HP)等大廠已推出搭載最新 AI 處理器的個人電腦,這種趨勢讓傳統晶片大廠如英特爾(Intel)有機會重返 AI 市場,以適應這股去中心化運算的浪潮。

同時,邊緣 AI 的崛起也帶動了軟體服務模式改變。工業電腦製造商不再侷限於硬體銷售,而是開始提供「AI 效能訂閱制」服務,可以根據實際需求,選擇不同等級的 AI 運算能力,大幅降低導入 AI 的門檻。

在這場產業重組中,真正決定競爭優勢的關鍵不僅是硬體或軟體,而是兩者的整合能力。企業要在邊緣 AI 時代取得領先地位,必須具備將硬體設計、AI 模型優化與應用開發結合的能力。例如,工業用電腦廠商研華科技,正在打造生成式 AI 計算平台,希望能夠讓中小企業在沒有高硬體成本的情況下進行 AI 大型語言模型的運算。

此外,在開發邊緣 AI 時,更必須確保 AI 模型的可靠性和準確性。因為當 AI 模型被部署到終端設備時,如果無法解決 AI 容易產生幻覺(即產生不準確或虛構的答案)的問題,那麼即時運算和本地部署的優勢都將大打折扣。

資料來源:CNBCForresterMorgan StanleySocial Europe、WSJ(1)(2)、WeForumDataCenter FrontierIBM

核稿編輯:王宥筑

本文不提供合作夥伴轉載使用

繼續閱讀 AI
相關文章
feature picture
2

Arm 搶占 AI 邊緣戰場!裝置端部署成企業下一步戰略關鍵

撰文 尤韻蓉
2025-05-19
分享
收藏
已完成
已取消

2025年台北國際電腦展(COMPUTEX)前哨戰起跑!今(5/19)晶片設計架構大廠安謀(Arm)資深副總裁暨終端產品事業部總經理克里斯.柏基(Chris Bergey),以「雲端至邊緣:共築在 Arm 架構上的人工智慧發展」為題發表演講,拆解安謀與 AI 發展的下一步。

今日同場的對談者還有,輝達(NVIDIA)網路事業群資深副總裁凱文.戴爾林(Kevin Deierling)、聯發科個人裝置事業部副總裁暨總經理亞當.金(Adam King)。

在 2024 年在 COMPUTEX 上,Arm 推出 Arm Kelidi 軟體工具,能夠與多個主流 AI 框架整合,提高各裝置的 AI 效能,現在也能用在邊緣裝置,像是開發手機 App、資料中心應用、AI 車輛等。

克里斯.柏基怎麼看 Arm 的布局與 AI 發展的下一步?他點出兩大關鍵趨勢,擘畫出 AI 從雲端到邊緣的發展藍圖。

趨勢一:AI 正從雲端轉向邊緣(from Cloud to Edge)

「 AI 發展的下一個關鍵,不只是模型本身,而是這些模型會在哪裡運作,」過往 AI 依賴雲端伺服器進行運算,但現在落地到實體裝置, 克里斯.柏基指出,接下來許多 AI 助理與智慧應用不再以雲端為優先,而是從裝置端出發設計,也就是所謂的邊緣 AI。

何謂邊緣AI?意即,AI 模型可以直接在裝置運算,不用再把資料傳到雲端。邊緣 AI 的優點,是運算速度將比雲端模型更快、也可以支援離線運作。

AI 不再只活在資料中心,而是走入我們的手掌與生活現場,這樣的應用,將從智慧眼鏡、AI PC、手機晶片,到車用平台與工廠機器人,全都存在,而這正是 AI 走向規模化、讓用戶規模最大化的關鍵。

可以想像的是,AI正在重塑我們的生活場景,以及每個消費戰場。

這也意味著,晶片供應商未來不只要搶占雲端伺服器市場,更得積極布局邊緣 AI 應用。

為了因應這點,克里斯.柏基表示,Arm 不只是架構設計者,而是一個平台,讓客戶與開發者,能從雲端到邊緣 AI 都使用他們家的架構。

這樣的做法,會有什麼好處?克里斯.柏基進一步指出,當未來 AI 發展愈來愈複雜,合作夥伴愈多、開發者愈多,就愈容易構築安謀的生態系、創造飛輪效益。

這也是 Arm 的優勢之一,例如比起英特爾(Intel)的 x86 架構,只開放給少數客戶使用,Arm 的架構是用授權的方式,提供所有客戶使用,也讓更多晶片公司、裝置製造商、甚至新創團隊能夠基於 Arm 架構,開發屬於自己的晶片與 AI 應用,使其做到在手機晶片市場的市占率達 99%。

延伸閱讀:揭露輝達的 2 大轉變!黃仁勳 Computex 演講:台灣有機會成為 AI 產業的領頭羊

趨勢二:AI 代理,將成為下一波主戰場

在對談階段, NVIDIA 網路事業群資深副總裁凱文.戴爾林點出未來 AI 的發展重點在於 AI 推理(訓練過的機器學習模型,能夠進行預測或決策),他指出「2025 是 AI 推理之年。」AI 模型的開發主要分成訓練(training)和推理(inference),過去幾年人們著重於訓練 AI,現在到了讓 AI 能夠直接做出決策的時候,不用再一步一步指引 AI 決策。

比如說過去的 AI 多半是「單次互動」模式,也就是使用者提出一個問題,由 AI 一次性地產出答案,例如請 AI 寫一封請假信、翻譯一句話或幫忙改寫一段內容。

但隨著任務日益複雜,AI 正逐步走向「代理型工作流程(agentic workflow)」——多個 AI 模組彼此協作、分工處理,形成一整套自動化決策與執行的流程。

舉例來說,當你對 AI 說「幫我安排周三下午的會議」,背後可能會啟動語音轉文字模型、行事曆查詢工具、信件撰寫助手等,彼此串接、協同完成任務。這樣的模式大幅提升了 AI 的應用,但同時也帶來一個新挑戰:延遲(latency)成為關鍵瓶頸,考驗 AI 的即時運算能力與效率。

延伸閱讀:「邊緣 AI」是什麼?DeepSeek 崛起,為何帶動商機大爆發?

這種轉變帶來效率提升,但也使延遲成為關鍵挑戰,考驗AI的即時運算能力。

從克里斯.柏基與凱文.戴爾林的分享可見,AI 競賽已進入新階段,朝向克里斯.柏基所說的「AI is everywhere」時代邁進,應用場景將更加多元廣泛。

核稿編輯|陳書榕

繼續閱讀 科技業
相關文章
會員專區

使用會員功能前,請先登入

  • 台灣首款對話式 AI 職場教練,一次提升領導力
  • 會員專享每日運勢、名人金句抽籤
  • 收藏文章、追蹤作者,享受個人化學習頁面
  • 定向學習!20 大關鍵字,開放自選、訂閱
  • 解鎖下載專區!10+ 會員專刊一次載
追蹤我們