機器人 端側大模型 · 具身智慧 晶片 · 機器人 推理晶片 · 邊緣 AI 機器人 · 本地大模型 機器人
機器人為什麼要在本體上跑大模型:具身智慧的端側推理硬體
燔石半導體技術團隊 · 釋出

用語言模型或視覺語言模型做規劃的機器人,不能依賴資料中心:網路帶來的延遲時大時小,而機器人工作的地方不保證有網。把模型放在本體上跑,推理速度就成了控制迴路裡一個固定的量。硬體要同時滿足三個條件:每秒 token 數跟得上規劃頻率,本體上大約十到七十瓦的功耗預算,以及每一臺出貨的機器表現一致。
為什麼模型必須在機器人身上
雲端模型多久能回答,取決於網路。對聊天視窗來說這只是不方便;對一臺正在運動的機器來說,遲到的回答就是另一個回答。在本體上執行的規劃和感知耗時是已知的,這正是控制系統需要的。
還有兩個原因。機器人工作在倉庫、工廠、田間和家裡,這些地方網路不穩定,或者不允許聯網。攝像頭和麥克風的資料不出機器,在私密和受監管的場所也容易落地得多。
負載長什麼樣
| 層級 | 做什麼 | 對硬體的要求 |
|---|---|---|
| 底層控制 | 高頻的電機與平衡迴路 | 即時控制器;不是語言模型的任務 |
| 感知 | 每一幀的視覺與多感測器融合 | 固定延遲下穩定的每秒幀數 |
| 任務規劃 | 語言模型或視覺語言模型把目標拆成步驟 | 高 token/s,因為規劃是給軟體用的,不是給人讀的 |
| 對話 | 和身邊的人說話 | 首 token 時間短;token/s 要求不高 |
機器人通常把這幾層放在不同的硬體上,以不同的頻率執行。
為什麼這裡的 token/s 比聊天更重要
人的閱讀速度大約每秒五到七個 token,所以聊天回答超過三十之後提升有限。規劃器不一樣。它的輸出由軟體解析,每一步推理、每一次工具呼叫都會多出沒人讀的 token。生成這些 token 的時間,就是機器人在等的時間。
假設一次規劃要 300 個 token:每秒 20 個 token 的晶片要十五秒,每秒 3,000 個的只要十分之一秒。前一臺機器人每個動作前都要停一下,後一臺可以邊走邊重新規劃。
功耗與頻寬的預算
機器人本體能分給計算的通常是十到七十瓦,散熱條件有限。在這個預算內,通用模組被記憶體頻寬卡住:算力再多,解碼速度也超不過頻寬除以模型大小。
近存計算適合這裡。把運算單元放在高頻寬儲存旁邊,在片上流式傳送權重,可以抬高大模型的上限,同時權重仍然可以更新。即時視覺則用 SRAM 存算一體,在儲存陣列內部完成運算。
燔石面向這一類的是鎮嶽 Trident 和千目 Argus:前者走近存計算,目標是在 70W 系統功耗內執行最大 Qwen 3.5 35B 的模型;後者走 SRAM 存算一體,面向即時視覺。兩者均為設計目標,最終規格按專案確認。
硬體怎麼選型
- 先寫下規劃頻率:每次決策多少 token,多久需要決策一次。
- 確定模型家族和能接受的精度。
- 定下本體上計算部分的功耗預算,把散熱算進去。
- 如果模型還在迭代,確認權重能在現場更新。
- 定晶片之前,先在評估板上把目標模型跑起來。
常見問題
機器人可以用雲端大模型嗎?
對時間不敏感的任務可以。控制迴路裡的規劃不行,網路延遲波動太大,而且很多現場的網路受限或不允許聯網。
機器人需要每秒多少 token?
取決於每次決策的 token 數和決策頻率。規劃結果是給軟體用的,所以每秒幾百到幾千 token 會直接變成更短的停頓。
機器人能拿多少功耗做推理?
本體上通常有十到七十瓦可以分給計算,散熱有限,資料中心級的加速器放不進去。
機器人上的模型能更新嗎?
能,只要晶片把權重放在 SRAM 或片外儲存裡。近存計算和 SRAM 存算一體都可以載入新權重。


