跳到正文

你的设备,最快能跑多少 token/s?

权重放在普通内存里时,每生成一个 token 都要把全部权重读一遍。所以解码速度有一个算得出来的上限:内存带宽除以模型大小。

模型大小
8.0 GB
解码速度上限
6.3 token/s

对话流畅

这是理论上限。真实系统会更低,因为同一块内存还要服务别的任务,而且带宽取的是规格峰值。

常见设备对照(8 位权重)

设备(理论峰值带宽)0.8B · 0.8 GB4B · 4 GB8B · 8 GB27B · 27 GB70B · 70 GB
Raspberry Pi 5 · LPDDR4X-426717 GB/s214.32.10.60.2
PC · DDR5-5600 ×289.6 GB/s11222113.31.3
Apple M2100 GB/s12525133.71.4
NVIDIA Jetson AGX Orin204.8 GB/s25651267.62.9
Apple M2 Max400 GB/s50010050155.7

带宽按公开内存规格的理论峰值计算,单位 token/s,仅用于量级比较。

上限为什么存在

处理器再快也没用:算力在等权重。这就是「内存墙」。想越过这个上限,只能让权重不再搬运,也就是存算一体或近存计算,把运算放在权重所在的位置。

常见问题

这个上限是怎么算的?

模型大小(GB)= 参数量(十亿)× 位宽 ÷ 8。解码上限(token/s)= 内存带宽(GB/s)÷ 模型大小(GB)。每个 token 需要把全部权重读一遍,所以速度不会超过这个值。

为什么实测比上限低?

内存带宽还要分给系统和其他任务,规格值是理论峰值,注意力缓存等数据也要读写。实测通常只有上限的一部分。

专用芯片为什么能超过这个上限?

存算一体芯片在存储阵列内部完成运算,权重不经过总线,带宽上限就不再适用。

有具体项目要讨论?

发来目标模型、性能与功耗目标,我们回复适配路线与评估方案。

申请样机