跳到正文

离线大模型 设备 · 离线翻译机 芯片 · 随身设备 端侧大模型 · 低功耗 大模型芯片 · AI 玩具 芯片

离线大模型装进随身设备:翻译机、录音笔、AI 耳机与玩具

燔石半导体技术团队 · 发布

翻译机、录音笔、耳机、玩具,整机只有一到三瓦,电池还要撑一整天。在这里跑语言模型,意味着模型要小,通常在十亿参数以内,硬件也不能把电花在搬运权重上。这类产品出货量大,模型在整个产品生命周期里不变,所以最适合把模型直接固化进芯片。

为什么要离线

这些产品用在飞机上、没有流量的国外、教室里、会议中,还会交到孩子手里。断网就不能用的功能,等于在最需要的时候失灵。离线也意味着语音不会被送到服务器,这对录音、会议和儿童产品都很重要。

还有成本。云端模型只要设备在用,每次请求都要计费。模型在设备里,硬件的钱付完之后,每次请求不再花钱。

预算

约束典型范围排除了什么
整机功耗一到三瓦GPU 模组,起步就是几十瓦
续航用满一整天待机功耗高的方案
物料成本计算部分只有几美元带大内存的先进工艺处理器
体积与散热没有风扇,热容量很小需要主动散热的方案
响应语音要很快开始首 token 时间长的硬件

以上是这类产品的典型范围,具体因产品而异。

为什么小模型加固定权重正合适

在一到三瓦里,实际能用的模型在十亿参数以内。这个规模的模型现在已经能把翻译、摘要、对话和指令理解做到可以出货的水平。

这类产品还有一个别的产品少有的特点:模型选定一次,整个产品生命周期都不换。这就可以在制造时把权重固化进芯片。MaskROM 存算一体的权重就是硅片的一部分,运算也在同一个阵列里完成,不用花电去搬权重,也不需要为权重再配一颗存储芯片。

燔石的逐火 Forge 走的就是这条路线,面向单瓦级设备里的 Qwen 3.5 0.8B,设计目标是 17,000 token/s。在这个速度下,一段完整的回复在零点几秒内生成,芯片大部分时间处于空闲,这正是电池需要的。

小设备里,速度换来什么

人听和读都很慢,所以看起来随身设备每秒几个 token 就够了。有三件事改变了这个判断。芯片算得快,就能早点回去休眠,省电。翻译和摘要处理的是整段内容,等待时间等于总长度除以速度。新一代小模型会先推理再回答,每句回复背后的 token 数成倍增加。

选芯片前要确认什么

  • 芯片里固定的是哪个模型?同一家族的新模型能不能复用这套设计?
  • token/s 是实测还是设计目标?对应什么精度?
  • 待机功耗是多少,而不只是生成时的功耗?
  • 有没有评估板,可以用自己的提示词和语种测试?
  • 最小起订量和供货节奏是怎样的?

常见问题

翻译机可以完全离线跑大模型吗?

可以。十亿参数以内的模型,在为此设计的硬件上能跑在一到三瓦的预算里,不需要联网。

电池供电的设备里能放多大的模型?

一到三瓦的预算下,十亿参数以内的模型比较实际。更大的模型需要近存计算和几十瓦的功耗。

模型需要更换怎么办?

MaskROM 芯片换模型需要新的掩膜,不过同一家族的新模型可以复用架构。如果预计模型会在出货后更换,SRAM 或近存路线更合适。

为什么不直接用设备里已有的处理器?

通用处理器每生成一个 token 都要从共享内存里把权重读一遍,费时也费电。存算一体芯片在存放权重的地方直接完成运算。

把问题带到你的项目里

发来目标模型、性能与功耗目标,我们回复适配路线与评估方案。

申请样机