车载大模型 · 座舱大模型 芯片 · 端侧大模型 汽车 · 离线语音助手 车载 · 车载推理芯片
车载大模型为什么要上车:座舱助手的端侧推理
燔石半导体技术团队 · 发布

基于语言模型的座舱助手,在隧道里、地下车库里、没有信号的路上都得能回答。它处理的是车里每个人说的话;一辆车要用十年以上,这期间云端模型每次请求都要计费。这些压力把推理推到了车上。硬件于是需要:足够支撑多步助手的每秒 token 数,几十瓦的功耗预算,可以通过 OTA 更新的权重,以及和车型项目一样长的供货周期。
为什么不用云端
车断网是常事:隧道、车库、乡道、过境。助手在这些地方不出声,司机就学会了不依赖它。模型在车上跑,响应就和信号无关。
还有两个原因。座舱里的语音是司机和每位乘客的个人数据,留在车内,在很多市场合规都简单得多。一辆车要用十年以上,按次计费的云端成本摊到整个生命周期,是车企为每一辆卖出去的车背着的负债。
助手实际在算什么
| 任务 | 输出给谁用 | 关键点 |
|---|---|---|
| 唤醒词与语音识别 | 系统 | 常开,功耗要极低 |
| 理解请求并选择动作 | 车内软件 | token/s;司机等的是动作,不是文字 |
| 多步任务,比如带途经点和条件的导航 | 软件,分多次调用模型 | 整条链路上的 token/s |
| 语音回复 | 司机 | 首 token 时间短 |
| 读用户手册、总结消息 | 司机 | 上下文长度和稳定的速度 |
多步请求里的大部分 token,在司机听到任何声音之前就已经被软件用掉了。
车上的硬件预算
座舱域能给这类负载的通常是十到七十瓦,被动散热或共用散热,温度变化范围大。这足够在专门的硬件上跑一个中等规模的模型,放不下数据中心的加速器。
座舱里的通用处理器受内存带宽限制,而且这块内存还要分给屏幕和其他功能。解码速度超不过带宽除以模型大小。近存计算把运算单元放在专用的高带宽存储旁边,抬高了这个上限。
为什么权重要能更新
一辆车会持续收到好几年的软件更新,上市时装的模型不会是第五年的模型。在制造时固定权重的硬件,不适合做主助手。近存计算把权重放在片外存储里,新模型像其他更新一样通过 OTA 下发。
固定权重的芯片在车上仍然有位置:那些小而稳定、要求极低功耗下即时响应的功能。
燔石的镇岳 Trident 面向这一类,走近存计算:目标是在 70W 系统功耗内运行最大 Qwen 3.5 35B 的模型,权重可更新。以上为设计目标,最终规格按项目确认。
该问供应商的问题
- 目前支持哪些模型?新模型怎么送到已经上路的车上?
- 按实际出货的精度,token/s 是多少?是实测还是设计目标?
- 工作温度范围和车规认证计划是什么?
- 承诺供货多久?用的是哪个工艺节点?
- 有没有评估平台,可以在定硬件之前把自己的助手跑起来?
常见问题
车可以在没有网络的情况下跑大模型吗?
可以。有了车载推理芯片,模型完全在车内运行,助手在隧道、车库和没有信号的地方都能用。
车上能跑多大的模型?
在几十瓦的预算内,近存计算面向的是几十亿到数百亿参数的模型。实际能用多大,取决于助手需要的每秒 token 数。
车上的模型怎么更新?
如果芯片把权重放在片外存储里,新模型和其他车载软件一样通过 OTA 下发。
车载助手为什么需要很高的 token/s?
一个多步请求要调用模型好几次,输出由软件使用。司机要等它们全部完成,所以速度直接变成更短的等待。


