跳到正文

车载大模型 · 座舱大模型 芯片 · 端侧大模型 汽车 · 离线语音助手 车载 · 车载推理芯片

车载大模型为什么要上车:座舱助手的端侧推理

燔石半导体技术团队 · 发布

基于语言模型的座舱助手,在隧道里、地下车库里、没有信号的路上都得能回答。它处理的是车里每个人说的话;一辆车要用十年以上,这期间云端模型每次请求都要计费。这些压力把推理推到了车上。硬件于是需要:足够支撑多步助手的每秒 token 数,几十瓦的功耗预算,可以通过 OTA 更新的权重,以及和车型项目一样长的供货周期。

为什么不用云端

车断网是常事:隧道、车库、乡道、过境。助手在这些地方不出声,司机就学会了不依赖它。模型在车上跑,响应就和信号无关。

还有两个原因。座舱里的语音是司机和每位乘客的个人数据,留在车内,在很多市场合规都简单得多。一辆车要用十年以上,按次计费的云端成本摊到整个生命周期,是车企为每一辆卖出去的车背着的负债。

助手实际在算什么

任务输出给谁用关键点
唤醒词与语音识别系统常开,功耗要极低
理解请求并选择动作车内软件token/s;司机等的是动作,不是文字
多步任务,比如带途经点和条件的导航软件,分多次调用模型整条链路上的 token/s
语音回复司机首 token 时间短
读用户手册、总结消息司机上下文长度和稳定的速度

多步请求里的大部分 token,在司机听到任何声音之前就已经被软件用掉了。

车上的硬件预算

座舱域能给这类负载的通常是十到七十瓦,被动散热或共用散热,温度变化范围大。这足够在专门的硬件上跑一个中等规模的模型,放不下数据中心的加速器。

座舱里的通用处理器受内存带宽限制,而且这块内存还要分给屏幕和其他功能。解码速度超不过带宽除以模型大小。近存计算把运算单元放在专用的高带宽存储旁边,抬高了这个上限。

为什么权重要能更新

一辆车会持续收到好几年的软件更新,上市时装的模型不会是第五年的模型。在制造时固定权重的硬件,不适合做主助手。近存计算把权重放在片外存储里,新模型像其他更新一样通过 OTA 下发。

固定权重的芯片在车上仍然有位置:那些小而稳定、要求极低功耗下即时响应的功能。

燔石的镇岳 Trident 面向这一类,走近存计算:目标是在 70W 系统功耗内运行最大 Qwen 3.5 35B 的模型,权重可更新。以上为设计目标,最终规格按项目确认。

该问供应商的问题

  • 目前支持哪些模型?新模型怎么送到已经上路的车上?
  • 按实际出货的精度,token/s 是多少?是实测还是设计目标?
  • 工作温度范围和车规认证计划是什么?
  • 承诺供货多久?用的是哪个工艺节点?
  • 有没有评估平台,可以在定硬件之前把自己的助手跑起来?

常见问题

车可以在没有网络的情况下跑大模型吗?

可以。有了车载推理芯片,模型完全在车内运行,助手在隧道、车库和没有信号的地方都能用。

车上能跑多大的模型?

在几十瓦的预算内,近存计算面向的是几十亿到数百亿参数的模型。实际能用多大,取决于助手需要的每秒 token 数。

车上的模型怎么更新?

如果芯片把权重放在片外存储里,新模型和其他车载软件一样通过 OTA 下发。

车载助手为什么需要很高的 token/s?

一个多步请求要调用模型好几次,输出由软件使用。司机要等它们全部完成,所以速度直接变成更短的等待。

把问题带到你的项目里

发来目标模型、性能与功耗目标,我们回复适配路线与评估方案。

申请样机