机器人 端侧大模型 · 具身智能 芯片 · 机器人 推理芯片 · 边缘 AI 机器人 · 本地大模型 机器人
机器人为什么要在本体上跑大模型:具身智能的端侧推理硬件
燔石半导体技术团队 · 发布

用语言模型或视觉语言模型做规划的机器人,不能依赖数据中心:网络带来的延迟时大时小,而机器人工作的地方不保证有网。把模型放在本体上跑,推理速度就成了控制回路里一个固定的量。硬件要同时满足三个条件:每秒 token 数跟得上规划频率,本体上大约十到七十瓦的功耗预算,以及每一台出货的机器表现一致。
为什么模型必须在机器人身上
云端模型多久能回答,取决于网络。对聊天窗口来说这只是不方便;对一台正在运动的机器来说,迟到的回答就是另一个回答。在本体上运行的规划和感知耗时是已知的,这正是控制系统需要的。
还有两个原因。机器人工作在仓库、工厂、田间和家里,这些地方网络不稳定,或者不允许联网。摄像头和麦克风的数据不出机器,在私密和受监管的场所也容易落地得多。
负载长什么样
| 层级 | 做什么 | 对硬件的要求 |
|---|---|---|
| 底层控制 | 高频的电机与平衡回路 | 实时控制器;不是语言模型的任务 |
| 感知 | 每一帧的视觉与多传感器融合 | 固定延迟下稳定的每秒帧数 |
| 任务规划 | 语言模型或视觉语言模型把目标拆成步骤 | 高 token/s,因为规划是给软件用的,不是给人读的 |
| 对话 | 和身边的人说话 | 首 token 时间短;token/s 要求不高 |
机器人通常把这几层放在不同的硬件上,以不同的频率运行。
为什么这里的 token/s 比聊天更重要
人的阅读速度大约每秒五到七个 token,所以聊天回答超过三十之后提升有限。规划器不一样。它的输出由软件解析,每一步推理、每一次工具调用都会多出没人读的 token。生成这些 token 的时间,就是机器人在等的时间。
假设一次规划要 300 个 token:每秒 20 个 token 的芯片要十五秒,每秒 3,000 个的只要十分之一秒。前一台机器人每个动作前都要停一下,后一台可以边走边重新规划。
功耗与带宽的预算
机器人本体能分给计算的通常是十到七十瓦,散热条件有限。在这个预算内,通用模组被内存带宽卡住:算力再多,解码速度也超不过带宽除以模型大小。
近存计算适合这里。把运算单元放在高带宽存储旁边,在片上流式传送权重,可以抬高大模型的上限,同时权重仍然可以更新。实时视觉则用 SRAM 存算一体,在存储阵列内部完成运算。
燔石面向这一类的是镇岳 Trident 和千目 Argus:前者走近存计算,目标是在 70W 系统功耗内运行最大 Qwen 3.5 35B 的模型;后者走 SRAM 存算一体,面向实时视觉。两者均为设计目标,最终规格按项目确认。
硬件怎么选型
- 先写下规划频率:每次决策多少 token,多久需要决策一次。
- 确定模型家族和能接受的精度。
- 定下本体上计算部分的功耗预算,把散热算进去。
- 如果模型还在迭代,确认权重能在现场更新。
- 定芯片之前,先在评估板上把目标模型跑起来。
常见问题
机器人可以用云端大模型吗?
对时间不敏感的任务可以。控制回路里的规划不行,网络延迟波动太大,而且很多现场的网络受限或不允许联网。
机器人需要每秒多少 token?
取决于每次决策的 token 数和决策频率。规划结果是给软件用的,所以每秒几百到几千 token 会直接变成更短的停顿。
机器人能拿多少功耗做推理?
本体上通常有十到七十瓦可以分给计算,散热有限,数据中心级的加速器放不进去。
机器人上的模型能更新吗?
能,只要芯片把权重放在 SRAM 或片外存储里。近存计算和 SRAM 存算一体都可以加载新权重。


