跳到正文

NPU 和 GPU 的區別 · NPU 跑大模型 · 端側大模型晶片 · 邊緣 AI 加速器 · 大模型 ASIC

端側跑大模型:NPU、GPU 模組和專用晶片怎麼選

燔石半導體技術團隊 · 釋出

NPU、嵌入式 GPU 模組和專用大模型晶片都能讓語言模型在裝置裡跑起來,但它們的短板各不相同。NPU 已經在產品裡,不額外花錢,可它和系統共用記憶體,還受廠商工具鏈限制。GPU 模組能跑記憶體裝得下的任何模型,功耗要幾十瓦。專用晶片去掉了記憶體瓶頸,功耗最低,但模型要提前定下來。怎麼選取決於三個問題:模型有多穩定,出貨量有多大,手裡有多少瓦。

三種器件,三個瓶頸

三者做的是同一種運算。區別在於運算發生時權重放在哪裡,因為每生成一個 token 都要把模型的全部權重讀一遍。

NPU 從系統記憶體裡讀權重,這塊記憶體同時還要服務處理器、螢幕和其他一切。嵌入式 GPU 模組有自己更快的記憶體,代價是功耗。專用大模型晶片把權重放在運算陣列裡面或緊挨著,根本不需要去取。

並排比較

手機或 PC 晶片裡的 NPU嵌入式 GPU 模組專用大模型晶片
權重放在哪共享的系統記憶體模組自帶的記憶體運算陣列內部或緊鄰
token/s 受什麼限制系統記憶體頻寬,以及工具鏈支援哪些運算元模組的記憶體頻寬設計時確定,不受頻寬限制
典型功耗算在主晶片的功耗裡幾十瓦一瓦到幾十瓦,取決於模型大小
換模型廠商工具鏈能編譯的模型記憶體裝得下的任何模型看路線:製造時固定、上電時重載,或在片外儲存裡更新
前期投入除主晶片外沒有每臺的模組價格一次投片,按出貨量攤薄
最適合產品已經用了這顆晶片,小模型就夠出貨量小,或模型經常變模型已定、出貨量大、功耗緊

定性比較。具體數字取決於器件型號、模型和精度。

NPU 的上限在哪

NPU 的指標是 TOPS,也就是每秒做多少次運算。這個數字不涉及記憶體。對語言模型來說,上限是記憶體頻寬除以模型大小,而 NPU 用的是和整個系統共享的那塊記憶體。

第二個限制是軟體。模型裡的每個運算元都得被廠商工具鏈支援,才能跑在 NPU 上。新的模型結構往往比工具鏈先到,不支援的部分就退回到 CPU 上跑。

如果產品裡已經有這顆晶片、模型又小,NPU 是合理的第一選擇。模型一變大,或者響應要快,它就不夠了。

GPU 模組的上限在哪

GPU 模組是最靈活的選擇:記憶體裝得下的模型都能跑,軟體也成熟。代價是功耗、散熱和單價。幾十瓦加一塊散熱片,隨身裝置和大多數電池供電的產品就用不了。

它同樣受記憶體頻寬限制。同一塊模組上,模型越大,每秒生成的 token 就按比例越少。

什麼時候該用專用晶片

三個條件同時成立時,專用晶片才划算:模型在產品生命週期內是確定的,或者只在同一個家族內變化;出貨量足夠攤薄一次投片;功耗預算緊到通用器件放不下。

模型固定到什麼程度,取決於路線。MaskROM 存算一體在製造時固定權重,SRAM 存算一體在上電時載入,近存計算把權重放在片外儲存裡,可以像韌體一樣更新。

燔石三條路線都有晶片,也把推理核心作為 IP 授權給自研 SoC 的團隊。官網公佈的數字均為設計目標。

一條簡短的判斷路徑

  • 模型在 1B 參數以內,每秒幾個 token 也能接受?先用手頭已有的 NPU。
  • 模型每隔幾週就變,或者出貨量小?用 GPU 模組。
  • 模型已定、出貨量大、功耗只有幾瓦?評估專用晶片,先從 FPGA 評估板開始。
  • 在自研 SoC?授權一個推理核心,不必再加一顆晶片。

常見問題

NPU 跑大模型比 GPU 快嗎?

一般不會。兩者都受權重讀取速度限制。NPU 與系統共用記憶體,跑語言模型時每秒 token 數通常低於有獨立記憶體的 GPU 模組。

為什麼 TOPS 很高,生成文字卻不快?

TOPS 只統計運算次數,不管記憶體。語言模型的解碼速度上限是記憶體頻寬除以模型大小,超過這個上限的算力用不上。

專用大模型晶片以後還能換模型嗎?

看路線。SRAM 存算一體和近存計算可以載入新權重。MaskROM 在製造時固定權重,換模型需要新的光罩。

NPU 和大模型推理 IP 核有什麼區別?

NPU 是晶片裡已經做好的通用神經網路加速器。推理 IP 核是針對特定模型結構的設計模組,由晶片團隊整合進自己的 SoC。

把問題帶到你的專案裡

發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。

申請樣機