端側推理晶片 · 邊緣AI晶片 · AI硬體晶片 · 端側大模型 · NPU
端側推理晶片怎麼選:從模型、功耗到更新方式的七個問題
燔石半導體技術團隊 · 釋出

選端側推理晶片,先回答七個問題:跑什麼模型、多大參數量、多久更新一次、功耗預算多少、需要多快的解碼速度、資料能否離開裝置、量產規模多大。這七個答案基本上就決定了應該選 GPU / NPU 通用方案,還是存算一體或近存計算的專用 ASIC。
1. 跑什麼模型,多大參數量
這是第一個也是最硬的約束。語言模型看參數量與上下文長度,視覺模型看輸入解析度與幀率。0.5B 到 1B 的語言模型可以用單瓦級功耗跑在 MaskROM 存算一體晶片上;7B 到 35B 需要近存計算配合幾十瓦整機;即時視覺分割看的是每秒處理多少畫素,而不是 TOPS。
不要被 TOPS 數字帶偏。通用 NPU 標稱的 TOPS 是峰值乘加能力,大模型解碼階段是頻寬受限的,實際利用率常常只有個位數百分比。真正該問的是:這顆晶片每秒能讀多少次全部權重。
2. 模型多久更新一次
這個問題決定了能不能用 MaskROM。產品定義清晰、模型經過充分驗證、一年內不會換,MaskROM 把權重鑄進矽晶片,功耗和成本都是最低的。模型還在每季度迭代,就要選 SRAM 存內計算或近存計算,讓權重可以上電載入或駐留外存。
一個實用的做法是分階段:先用 FPGA 評估板和推理 IP 把模型跑起來,等模型定型再決定是否走 MaskROM 投片。
3. 功耗預算
隨身裝置通常只有 1 到 3 W 的整機預算,車載和機器人本體有 10 到 70 W,行業邊緣節點可以到百瓦。功耗預算直接篩掉了大半方案:GPU 模組動輒 15 W 起步,還沒算散熱。
存算一體的功耗優勢來自權重不搬運。這一點在解碼階段尤其明顯,因為解碼是純頻寬受限的。
4. 需要多快
語音互動要求首字延遲在幾百毫秒以內,解碼速度超過人的閱讀速度(大約 10 到 20 token/s)就夠用;批次處理或多路併發則希望吞吐越高越好,幾千到上萬 token/s 才能攤薄成本。視覺任務看幀率:產線缺陷檢測要跟上產線節拍,無人機巡檢要跟上飛行速度。
5. 資料能不能離開裝置
專網、涉密終端、醫療與工業現場往往從制度上就不允許資料上雲。這時端側推理不是「價效比」問題,而是「能不能做」的問題。全程本地推理意味著裝置可以完全離線執行,這是架構層面的保證。
6. 量產規模
幾千臺的專案,用通用模組加軟體最佳化最省事;幾十萬臺的產品,專用 ASIC 的單顆成本和功耗優勢會把整機 BOM 拉開一個量級。MaskROM 路線尤其如此:光罩是一次性投入,量越大越划算。
7. 誰來做軟體
通用方案要自己做模型轉換、量化、運算元適配;專用 ASIC 通常由晶片方提供模型對映。問清楚:目標模型是不是原生支援,量化方案是什麼,評估板能不能拿到,工程樣機多久能到。
一張清單
把七個答案填進去,路線就出來了:模型 ≤ 1B、一年不變、功耗 ≤ 3 W、量產大,選 MaskROM 存算一體;模型迭代快、需要現場換模型,選 SRAM 存內計算;模型 ≥ 7B、有幾十瓦預算,選近存計算;模型還沒定型,先用 FPGA 評估板和 IP 授權把它跑起來。



