跳到正文

機器人 端側大模型 · 具身智慧 晶片 · 機器人 推理晶片 · 邊緣 AI 機器人 · 本地大模型 機器人

機器人為什麼要在本體上跑大模型:具身智慧的端側推理硬體

燔石半導體技術團隊 · 釋出

用語言模型或視覺語言模型做規劃的機器人,不能依賴資料中心:網路帶來的延遲時大時小,而機器人工作的地方不保證有網。把模型放在本體上跑,推理速度就成了控制迴路裡一個固定的量。硬體要同時滿足三個條件:每秒 token 數跟得上規劃頻率,本體上大約十到七十瓦的功耗預算,以及每一臺出貨的機器表現一致。

為什麼模型必須在機器人身上

雲端模型多久能回答,取決於網路。對聊天視窗來說這只是不方便;對一臺正在運動的機器來說,遲到的回答就是另一個回答。在本體上執行的規劃和感知耗時是已知的,這正是控制系統需要的。

還有兩個原因。機器人工作在倉庫、工廠、田間和家裡,這些地方網路不穩定,或者不允許聯網。攝像頭和麥克風的資料不出機器,在私密和受監管的場所也容易落地得多。

負載長什麼樣

層級做什麼對硬體的要求
底層控制高頻的電機與平衡迴路即時控制器;不是語言模型的任務
感知每一幀的視覺與多感測器融合固定延遲下穩定的每秒幀數
任務規劃語言模型或視覺語言模型把目標拆成步驟高 token/s,因為規劃是給軟體用的,不是給人讀的
對話和身邊的人說話首 token 時間短;token/s 要求不高

機器人通常把這幾層放在不同的硬體上,以不同的頻率執行。

為什麼這裡的 token/s 比聊天更重要

人的閱讀速度大約每秒五到七個 token,所以聊天回答超過三十之後提升有限。規劃器不一樣。它的輸出由軟體解析,每一步推理、每一次工具呼叫都會多出沒人讀的 token。生成這些 token 的時間,就是機器人在等的時間。

假設一次規劃要 300 個 token:每秒 20 個 token 的晶片要十五秒,每秒 3,000 個的只要十分之一秒。前一臺機器人每個動作前都要停一下,後一臺可以邊走邊重新規劃。

功耗與頻寬的預算

機器人本體能分給計算的通常是十到七十瓦,散熱條件有限。在這個預算內,通用模組被記憶體頻寬卡住:算力再多,解碼速度也超不過頻寬除以模型大小。

近存計算適合這裡。把運算單元放在高頻寬儲存旁邊,在片上流式傳送權重,可以抬高大模型的上限,同時權重仍然可以更新。即時視覺則用 SRAM 存算一體,在儲存陣列內部完成運算。

燔石面向這一類的是鎮嶽 Trident 和千目 Argus:前者走近存計算,目標是在 70W 系統功耗內執行最大 Qwen 3.5 35B 的模型;後者走 SRAM 存算一體,面向即時視覺。兩者均為設計目標,最終規格按專案確認。

硬體怎麼選型

  • 先寫下規劃頻率:每次決策多少 token,多久需要決策一次。
  • 確定模型家族和能接受的精度。
  • 定下本體上計算部分的功耗預算,把散熱算進去。
  • 如果模型還在迭代,確認權重能在現場更新。
  • 定晶片之前,先在評估板上把目標模型跑起來。

常見問題

機器人可以用雲端大模型嗎?

對時間不敏感的任務可以。控制迴路裡的規劃不行,網路延遲波動太大,而且很多現場的網路受限或不允許聯網。

機器人需要每秒多少 token?

取決於每次決策的 token 數和決策頻率。規劃結果是給軟體用的,所以每秒幾百到幾千 token 會直接變成更短的停頓。

機器人能拿多少功耗做推理?

本體上通常有十到七十瓦可以分給計算,散熱有限,資料中心級的加速器放不進去。

機器人上的模型能更新嗎?

能,只要晶片把權重放在 SRAM 或片外儲存裡。近存計算和 SRAM 存算一體都可以載入新權重。

把問題帶到你的專案裡

發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。

申請樣機