NPU 和 GPU 的區別 · NPU 跑大模型 · 端側大模型晶片 · 邊緣 AI 加速器 · 大模型 ASIC
端側跑大模型:NPU、GPU 模組和專用晶片怎麼選
燔石半導體技術團隊 · 釋出

NPU、嵌入式 GPU 模組和專用大模型晶片都能讓語言模型在裝置裡跑起來,但它們的短板各不相同。NPU 已經在產品裡,不額外花錢,可它和系統共用記憶體,還受廠商工具鏈限制。GPU 模組能跑記憶體裝得下的任何模型,功耗要幾十瓦。專用晶片去掉了記憶體瓶頸,功耗最低,但模型要提前定下來。怎麼選取決於三個問題:模型有多穩定,出貨量有多大,手裡有多少瓦。
三種器件,三個瓶頸
三者做的是同一種運算。區別在於運算發生時權重放在哪裡,因為每生成一個 token 都要把模型的全部權重讀一遍。
NPU 從系統記憶體裡讀權重,這塊記憶體同時還要服務處理器、螢幕和其他一切。嵌入式 GPU 模組有自己更快的記憶體,代價是功耗。專用大模型晶片把權重放在運算陣列裡面或緊挨著,根本不需要去取。
並排比較
| 手機或 PC 晶片裡的 NPU | 嵌入式 GPU 模組 | 專用大模型晶片 | |
|---|---|---|---|
| 權重放在哪 | 共享的系統記憶體 | 模組自帶的記憶體 | 運算陣列內部或緊鄰 |
| token/s 受什麼限制 | 系統記憶體頻寬,以及工具鏈支援哪些運算元 | 模組的記憶體頻寬 | 設計時確定,不受頻寬限制 |
| 典型功耗 | 算在主晶片的功耗裡 | 幾十瓦 | 一瓦到幾十瓦,取決於模型大小 |
| 換模型 | 廠商工具鏈能編譯的模型 | 記憶體裝得下的任何模型 | 看路線:製造時固定、上電時重載,或在片外儲存裡更新 |
| 前期投入 | 除主晶片外沒有 | 每臺的模組價格 | 一次投片,按出貨量攤薄 |
| 最適合 | 產品已經用了這顆晶片,小模型就夠 | 出貨量小,或模型經常變 | 模型已定、出貨量大、功耗緊 |
定性比較。具體數字取決於器件型號、模型和精度。
NPU 的上限在哪
NPU 的指標是 TOPS,也就是每秒做多少次運算。這個數字不涉及記憶體。對語言模型來說,上限是記憶體頻寬除以模型大小,而 NPU 用的是和整個系統共享的那塊記憶體。
第二個限制是軟體。模型裡的每個運算元都得被廠商工具鏈支援,才能跑在 NPU 上。新的模型結構往往比工具鏈先到,不支援的部分就退回到 CPU 上跑。
如果產品裡已經有這顆晶片、模型又小,NPU 是合理的第一選擇。模型一變大,或者響應要快,它就不夠了。
GPU 模組的上限在哪
GPU 模組是最靈活的選擇:記憶體裝得下的模型都能跑,軟體也成熟。代價是功耗、散熱和單價。幾十瓦加一塊散熱片,隨身裝置和大多數電池供電的產品就用不了。
它同樣受記憶體頻寬限制。同一塊模組上,模型越大,每秒生成的 token 就按比例越少。
什麼時候該用專用晶片
三個條件同時成立時,專用晶片才划算:模型在產品生命週期內是確定的,或者只在同一個家族內變化;出貨量足夠攤薄一次投片;功耗預算緊到通用器件放不下。
模型固定到什麼程度,取決於路線。MaskROM 存算一體在製造時固定權重,SRAM 存算一體在上電時載入,近存計算把權重放在片外儲存裡,可以像韌體一樣更新。
燔石三條路線都有晶片,也把推理核心作為 IP 授權給自研 SoC 的團隊。官網公佈的數字均為設計目標。
一條簡短的判斷路徑
- 模型在 1B 參數以內,每秒幾個 token 也能接受?先用手頭已有的 NPU。
- 模型每隔幾週就變,或者出貨量小?用 GPU 模組。
- 模型已定、出貨量大、功耗只有幾瓦?評估專用晶片,先從 FPGA 評估板開始。
- 在自研 SoC?授權一個推理核心,不必再加一顆晶片。
常見問題
NPU 跑大模型比 GPU 快嗎?
一般不會。兩者都受權重讀取速度限制。NPU 與系統共用記憶體,跑語言模型時每秒 token 數通常低於有獨立記憶體的 GPU 模組。
為什麼 TOPS 很高,生成文字卻不快?
TOPS 只統計運算次數,不管記憶體。語言模型的解碼速度上限是記憶體頻寬除以模型大小,超過這個上限的算力用不上。
專用大模型晶片以後還能換模型嗎?
看路線。SRAM 存算一體和近存計算可以載入新權重。MaskROM 在製造時固定權重,換模型需要新的光罩。
NPU 和大模型推理 IP 核有什麼區別?
NPU 是晶片裡已經做好的通用神經網路加速器。推理 IP 核是針對特定模型結構的設計模組,由晶片團隊整合進自己的 SoC。



