你的设备,最快能跑多少 token/s?
权重放在普通内存里时,每生成一个 token 都要把全部权重读一遍。所以解码速度有一个算得出来的上限:内存带宽除以模型大小。
- 模型大小
- 8.0 GB
- 解码速度上限
- 6.3 token/s
对话流畅
这是理论上限。真实系统会更低,因为同一块内存还要服务别的任务,而且带宽取的是规格峰值。
常见设备对照(8 位权重)
| 设备(理论峰值带宽) | 0.8B · 0.8 GB | 4B · 4 GB | 8B · 8 GB | 27B · 27 GB | 70B · 70 GB |
|---|---|---|---|---|---|
| Raspberry Pi 5 · LPDDR4X-426717 GB/s | 21 | 4.3 | 2.1 | 0.6 | 0.2 |
| PC · DDR5-5600 ×289.6 GB/s | 112 | 22 | 11 | 3.3 | 1.3 |
| Apple M2100 GB/s | 125 | 25 | 13 | 3.7 | 1.4 |
| NVIDIA Jetson AGX Orin204.8 GB/s | 256 | 51 | 26 | 7.6 | 2.9 |
| Apple M2 Max400 GB/s | 500 | 100 | 50 | 15 | 5.7 |
带宽按公开内存规格的理论峰值计算,单位 token/s,仅用于量级比较。
常见问题
这个上限是怎么算的?
模型大小(GB)= 参数量(十亿)× 位宽 ÷ 8。解码上限(token/s)= 内存带宽(GB/s)÷ 模型大小(GB)。每个 token 需要把全部权重读一遍,所以速度不会超过这个值。
为什么实测比上限低?
内存带宽还要分给系统和其他任务,规格值是理论峰值,注意力缓存等数据也要读写。实测通常只有上限的一部分。
专用芯片为什么能超过这个上限?
存算一体芯片在存储阵列内部完成运算,权重不经过总线,带宽上限就不再适用。
有具体项目要讨论?
发来目标模型、性能与功耗目标,我们回复适配路线与评估方案。
