不用 GPU 跑大模型 · 端側大模型硬體 · 本地大模型 · NPU 與 GPU · 大模型專用晶片
不用 GPU 怎麼跑大模型:裝置端的五種硬體方案
燔石半導體技術團隊 · 釋出

不用資料中心 GPU,大模型可以跑在五類硬體上:執行量化模型的 CPU、手機或 PC 晶片裡的 NPU、嵌入式 GPU 模組、FPGA,以及專用大模型晶片。前三類有同一個瓶頸,就是記憶體頻寬,因為每個 token 都要讀一遍全部權重。專用晶片能去掉這個瓶頸,但只有在模型定型、產品有量的時候才划算。
為什麼要繞開 GPU
資料中心 GPU 是跑模型最省事的辦法,卻不適合絕大多數裝置。它的功耗有數百瓦,價格比整臺產品還高,需要的散熱條件也是手持裝置、車載模組和工業相機提供不了的。
還有一些理由與硬體無關。很多產品必須在沒有網路時工作,很多部署不允許資料離開裝置。這兩條都要求推理發生在裝置本身。
五種方案對比
| 方案 | 速度被什麼限制 | 換模型 | 適合 |
|---|---|---|---|
| CPU 跑量化模型 | 記憶體頻寬與核心數 | 換一個模型檔案即可 | 原型、小批次、小模型 |
| 手機或 PC 晶片裡的 NPU | 與系統共用的記憶體,以及廠商工具鏈支援哪些運算元 | 工具鏈能編譯的模型 | 本來就基於該晶片的產品 |
| 嵌入式 GPU 模組 | 記憶體頻寬與模組的功耗預算 | 記憶體放得下的模型都可以 | 有幾十瓦餘量的機器人與閘道器 |
| FPGA | 邏輯容量與儲存介面;單價高 | 可重新程式設計 | 驗證加速器設計;小批次 |
| 專用大模型晶片(存算一體或模型固化) | 設計時確定;權重不搬運 | 取決於路線:投片時固化、上電載入,或更新外存 | 模型定型、功耗預算緊的量產裝置 |
前三種有同一個瓶頸
在 CPU、NPU 和嵌入式 GPU 上,權重都放在普通記憶體裡,每生成一個 token 讀一遍。解碼速度的上限是記憶體頻寬除以模型大小。到了這個上限,再加算力也沒有用,所以 TOPS 很漂亮的晶片生成文字仍然可能很慢。
更小的模型、更低的精度可以抬高這個上限,目前端側的大部分工作也都花在這裡:量化得更狠,換更小的模型,接受隨之而來的質量。
什麼時候值得上專用晶片
專用晶片把權重留在運算發生的地方,頻寬上限不再適用。代價是一次投片,這是一筆固定投入,以及一個部分或全部提前確定的模型。
同時滿足三個條件時才划算:模型在產品生命週期內已經定型,或者只在同一家族內更新;產品的出貨量足以攤薄固定投入;功耗預算緊到通用器件放不進去。三條裡缺任何一條,模組或 NPU 都是更好的選擇。
一條可行的路徑
- 先在 CPU 或 GPU 模組上做原型,量出產品實際需要的 token/s。
- 確定模型家族,以及可以接受的精度。
- 在 FPGA 評估板上跑目標模型,投入之前先確認速度與表現。
- 當出貨量與功耗預算都說得通時,再轉向專用晶片,標準品或定製。
後兩步是燔石提供的:帶模型對映工具的 FPGA 評估板、三顆標準端側晶片、圍繞客戶模型的定製晶片,以及給自研 SoC 團隊的推理 IP 授權。
常見問題
大模型能在 CPU 上跑嗎?
能。量化後的小模型可以跑在普通 CPU 上。速度受記憶體頻寬限制,模型一大就掉得很快。
裝置上跑大模型一定要 NPU 嗎?
不一定。NPU 在其工具鏈支援你的模型時有幫助,但它和系統其他部分共用記憶體,遇到的頻寬上限與 CPU 相同。
跑大模型功耗最低的辦法是什麼?
用完全不搬運權重的晶片。存算一體把運算放進儲存陣列內部,去掉了推理能耗裡最大的一塊。
什麼時候適合定製大模型晶片?
模型已經定型、產品有量、功耗預算排除了通用器件的時候。否則模組或 NPU 更合適。



