跳到正文

不用 GPU 跑大模型 · 端側大模型硬體 · 本地大模型 · NPU 與 GPU · 大模型專用晶片

不用 GPU 怎麼跑大模型:裝置端的五種硬體方案

燔石半導體技術團隊 · 釋出

不用資料中心 GPU,大模型可以跑在五類硬體上:執行量化模型的 CPU、手機或 PC 晶片裡的 NPU、嵌入式 GPU 模組、FPGA,以及專用大模型晶片。前三類有同一個瓶頸,就是記憶體頻寬,因為每個 token 都要讀一遍全部權重。專用晶片能去掉這個瓶頸,但只有在模型定型、產品有量的時候才划算。

為什麼要繞開 GPU

資料中心 GPU 是跑模型最省事的辦法,卻不適合絕大多數裝置。它的功耗有數百瓦,價格比整臺產品還高,需要的散熱條件也是手持裝置、車載模組和工業相機提供不了的。

還有一些理由與硬體無關。很多產品必須在沒有網路時工作,很多部署不允許資料離開裝置。這兩條都要求推理發生在裝置本身。

五種方案對比

方案速度被什麼限制換模型適合
CPU 跑量化模型記憶體頻寬與核心數換一個模型檔案即可原型、小批次、小模型
手機或 PC 晶片裡的 NPU與系統共用的記憶體,以及廠商工具鏈支援哪些運算元工具鏈能編譯的模型本來就基於該晶片的產品
嵌入式 GPU 模組記憶體頻寬與模組的功耗預算記憶體放得下的模型都可以有幾十瓦餘量的機器人與閘道器
FPGA邏輯容量與儲存介面;單價高可重新程式設計驗證加速器設計;小批次
專用大模型晶片(存算一體或模型固化)設計時確定;權重不搬運取決於路線:投片時固化、上電載入,或更新外存模型定型、功耗預算緊的量產裝置

前三種有同一個瓶頸

在 CPU、NPU 和嵌入式 GPU 上,權重都放在普通記憶體裡,每生成一個 token 讀一遍。解碼速度的上限是記憶體頻寬除以模型大小。到了這個上限,再加算力也沒有用,所以 TOPS 很漂亮的晶片生成文字仍然可能很慢。

更小的模型、更低的精度可以抬高這個上限,目前端側的大部分工作也都花在這裡:量化得更狠,換更小的模型,接受隨之而來的質量。

什麼時候值得上專用晶片

專用晶片把權重留在運算發生的地方,頻寬上限不再適用。代價是一次投片,這是一筆固定投入,以及一個部分或全部提前確定的模型。

同時滿足三個條件時才划算:模型在產品生命週期內已經定型,或者只在同一家族內更新;產品的出貨量足以攤薄固定投入;功耗預算緊到通用器件放不進去。三條裡缺任何一條,模組或 NPU 都是更好的選擇。

一條可行的路徑

  • 先在 CPU 或 GPU 模組上做原型,量出產品實際需要的 token/s。
  • 確定模型家族,以及可以接受的精度。
  • 在 FPGA 評估板上跑目標模型,投入之前先確認速度與表現。
  • 當出貨量與功耗預算都說得通時,再轉向專用晶片,標準品或定製。

後兩步是燔石提供的:帶模型對映工具的 FPGA 評估板、三顆標準端側晶片、圍繞客戶模型的定製晶片,以及給自研 SoC 團隊的推理 IP 授權。

常見問題

大模型能在 CPU 上跑嗎?

能。量化後的小模型可以跑在普通 CPU 上。速度受記憶體頻寬限制,模型一大就掉得很快。

裝置上跑大模型一定要 NPU 嗎?

不一定。NPU 在其工具鏈支援你的模型時有幫助,但它和系統其他部分共用記憶體,遇到的頻寬上限與 CPU 相同。

跑大模型功耗最低的辦法是什麼?

用完全不搬運權重的晶片。存算一體把運算放進儲存陣列內部,去掉了推理能耗裡最大的一塊。

什麼時候適合定製大模型晶片?

模型已經定型、產品有量、功耗預算排除了通用器件的時候。否則模組或 NPU 更合適。

把問題帶到你的專案裡

發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。

申請樣機