跳到正文

token/s · 每秒 token 数 · 大模型推理速度 · 首 token 延迟 · 内存带宽

token/s 是什么意思?大模型推理速度多快才够用

燔石半导体技术团队 · 发布

token/s 是大模型生成输出的速度。人的阅读速度大约是每秒 5 到 8 个 token,所以聊天回答在每秒 10 到 30 个 token 时就很流畅。推理模型、智能体和控制回路需要每秒数百到数千个 token,因为它们生成的大部分 token 根本不是给人读的。在设备上,速度的上限等于内存带宽除以模型大小,这正是端侧芯片要让权重不再搬运的原因。

token 是什么,这个数字衡量的又是什么

token 是模型处理文本的最小单位:一个短词、长词的一部分,或者一个标点。英文里常用的经验值是一个 token 约等于四分之三个单词;中文里一个汉字大约对应一个 token 上下,具体因分词器而异。

token/s 通常指解码速度,也就是模型开始输出之后每秒生成多少 token。它旁边还有两个数字:首 token 延迟,指第一个字出现前要等多久;提示处理速度,指模型读输入有多快。一个系统可能其中一项很快,另一项很慢。

多快才够用

用途门槛由什么决定够用的速度
读聊天回答人每分钟读 300 到 500 个汉字,约每秒 5 到 8 个 token10 到 30 token/s 就很流畅
语音助手说话每分钟约 200 到 250 字,每秒 3 到 4 个 token;第一个字出来前的等待更关键几十 token/s,加上很短的首 token 延迟
推理模型与智能体隐藏的推理步骤和工具调用,让每个可见回答背后的 token 成倍增加数百到数千 token/s
机器人与实时控制模型处在控制回路里,每次决策有固定的时间预算回路要求多少就要多少,而且要稳定
批量文档处理看总工作量,而不是某个用户的体验合计 token/s,按每瓦、每元衡量

规律很简单。输出给人读的时候,比阅读速度快太多就没有意义。输出给软件消费的时候,速度直接变成更短的任务时间,每秒几千 token 才有用武之地。

单用户速度与合计吞吐

厂商报 token/s 有两种口径:单用户,指一个请求单独运行的速度;合计,指一台服务器同时处理的所有请求加起来。后者总是更大,但说明不了一段对话的响应有多快。

比较芯片时,要确认两边用的是同一种口径、同一个模型、同一种精度。同一块硬件上,低精度的小模型和高精度的大模型,数字可以差出很多倍。

在设备上,内存带宽决定上限

每生成一个 token,都要把模型的所有权重读一遍。如果权重放在普通内存里,无论处理器多快,解码速度都不可能超过内存带宽除以模型大小。

假设一台设备的内存带宽是 50 GB/s。一个 8B 参数的模型按 8 位精度约 8 GB,上限就是每秒 6 个 token 左右;一个 0.8B 的模型约 0.8 GB,上限在每秒 60 个左右。实际系统还到不了这个上限,因为同一块内存还要服务其他任务。

这就是内存墙,也是端侧推理芯片采用存算一体或近存计算的原因:权重不再经过总线搬运,带宽这个上限也就不存在了。

怎么读规格表

  • 对应哪个模型,什么精度?
  • 单用户还是合计,批量是多少?
  • 是硅片实测,还是设计目标?
  • 提示词和上下文有多长?
  • 功耗是多少,是整机还是只算芯片?

燔石公布自己的数字时也按这几条说明:逐火 Forge 的目标是在单瓦级设备里以 17,000 token/s 运行 Qwen 3.5 0.8B,镇岳 Trident 的目标是在 70W 整机功耗内以 15,000 token/s 运行最高 Qwen 3.5 35B 的模型。两者均为设计目标,最终规格以项目确认资料为准。

常见问题

人每秒能读多少个 token?

大约 5 到 8 个。成年人读中文每分钟约 300 到 500 字,一个汉字大约对应一个 token。

本地大模型每秒多少 token 算好?

聊天场景每秒 10 到 30 个 token 就很流畅。智能体、推理模型和自动化流程由软件消费输出,越快越好,每秒数百到数千个 token 都有用。

token/s 和 TOPS 是一回事吗?

不是。TOPS 统计每秒完成多少次运算,不反映内存。大模型的解码速度通常卡在权重读取上,所以 TOPS 很高的芯片生成 token 仍然可能很慢。

为什么小模型快这么多?

每个 token 都要读一遍全部权重,所以在同样的内存带宽下,体积只有十分之一的模型大约能多读十倍的次数。

把问题带到你的项目里

发来目标模型、性能与功耗目标,我们回复适配路线与评估方案。

申请样机