离线大模型 设备 · 离线翻译机 芯片 · 随身设备 端侧大模型 · 低功耗 大模型芯片 · AI 玩具 芯片
离线大模型装进随身设备:翻译机、录音笔、AI 耳机与玩具
燔石半导体技术团队 · 发布

翻译机、录音笔、耳机、玩具,整机只有一到三瓦,电池还要撑一整天。在这里跑语言模型,意味着模型要小,通常在十亿参数以内,硬件也不能把电花在搬运权重上。这类产品出货量大,模型在整个产品生命周期里不变,所以最适合把模型直接固化进芯片。
为什么要离线
这些产品用在飞机上、没有流量的国外、教室里、会议中,还会交到孩子手里。断网就不能用的功能,等于在最需要的时候失灵。离线也意味着语音不会被送到服务器,这对录音、会议和儿童产品都很重要。
还有成本。云端模型只要设备在用,每次请求都要计费。模型在设备里,硬件的钱付完之后,每次请求不再花钱。
预算
| 约束 | 典型范围 | 排除了什么 |
|---|---|---|
| 整机功耗 | 一到三瓦 | GPU 模组,起步就是几十瓦 |
| 续航 | 用满一整天 | 待机功耗高的方案 |
| 物料成本 | 计算部分只有几美元 | 带大内存的先进工艺处理器 |
| 体积与散热 | 没有风扇,热容量很小 | 需要主动散热的方案 |
| 响应 | 语音要很快开始 | 首 token 时间长的硬件 |
以上是这类产品的典型范围,具体因产品而异。
为什么小模型加固定权重正合适
在一到三瓦里,实际能用的模型在十亿参数以内。这个规模的模型现在已经能把翻译、摘要、对话和指令理解做到可以出货的水平。
这类产品还有一个别的产品少有的特点:模型选定一次,整个产品生命周期都不换。这就可以在制造时把权重固化进芯片。MaskROM 存算一体的权重就是硅片的一部分,运算也在同一个阵列里完成,不用花电去搬权重,也不需要为权重再配一颗存储芯片。
燔石的逐火 Forge 走的就是这条路线,面向单瓦级设备里的 Qwen 3.5 0.8B,设计目标是 17,000 token/s。在这个速度下,一段完整的回复在零点几秒内生成,芯片大部分时间处于空闲,这正是电池需要的。
小设备里,速度换来什么
人听和读都很慢,所以看起来随身设备每秒几个 token 就够了。有三件事改变了这个判断。芯片算得快,就能早点回去休眠,省电。翻译和摘要处理的是整段内容,等待时间等于总长度除以速度。新一代小模型会先推理再回答,每句回复背后的 token 数成倍增加。
选芯片前要确认什么
- 芯片里固定的是哪个模型?同一家族的新模型能不能复用这套设计?
- token/s 是实测还是设计目标?对应什么精度?
- 待机功耗是多少,而不只是生成时的功耗?
- 有没有评估板,可以用自己的提示词和语种测试?
- 最小起订量和供货节奏是怎样的?
常见问题
翻译机可以完全离线跑大模型吗?
可以。十亿参数以内的模型,在为此设计的硬件上能跑在一到三瓦的预算里,不需要联网。
电池供电的设备里能放多大的模型?
一到三瓦的预算下,十亿参数以内的模型比较实际。更大的模型需要近存计算和几十瓦的功耗。
模型需要更换怎么办?
MaskROM 芯片换模型需要新的掩膜,不过同一家族的新模型可以复用架构。如果预计模型会在出货后更换,SRAM 或近存路线更合适。
为什么不直接用设备里已有的处理器?
通用处理器每生成一个 token 都要从共享内存里把权重读一遍,费时也费电。存算一体芯片在存放权重的地方直接完成运算。


