你的裝置,最快能跑多少 token/s?
權重放在普通記憶體裡時,每生成一個 token 都要把全部權重讀一遍。所以解碼速度有一個算得出來的上限:記憶體頻寬除以模型大小。
- 模型大小
- 8.0 GB
- 解碼速度上限
- 6.3 token/s
對話流暢
這是理論上限。真實系統會更低,因為同一塊記憶體還要服務別的任務,而且頻寬取的是規格峰值。
常見裝置對照(8 位權重)
| 裝置(理論峰值頻寬) | 0.8B · 0.8 GB | 4B · 4 GB | 8B · 8 GB | 27B · 27 GB | 70B · 70 GB |
|---|---|---|---|---|---|
| Raspberry Pi 5 · LPDDR4X-426717 GB/s | 21 | 4.3 | 2.1 | 0.6 | 0.2 |
| PC · DDR5-5600 ×289.6 GB/s | 112 | 22 | 11 | 3.3 | 1.3 |
| Apple M2100 GB/s | 125 | 25 | 13 | 3.7 | 1.4 |
| NVIDIA Jetson AGX Orin204.8 GB/s | 256 | 51 | 26 | 7.6 | 2.9 |
| Apple M2 Max400 GB/s | 500 | 100 | 50 | 15 | 5.7 |
頻寬按公開記憶體規格的理論峰值計算,單位 token/s,僅用於量級比較。
常見問題
這個上限是怎麼算的?
模型大小(GB)= 參數量(十億)× 位寬 ÷ 8。解碼上限(token/s)= 記憶體頻寬(GB/s)÷ 模型大小(GB)。每個 token 需要把全部權重讀一遍,所以速度不會超過這個值。
為什麼實測比上限低?
記憶體頻寬還要分給系統和其他任務,規格值是理論峰值,注意力快取等資料也要讀寫。實測通常只有上限的一部分。
專用晶片為什麼能超過這個上限?
存算一體晶片在儲存陣列內部完成運算,權重不經過匯流排,頻寬上限就不再適用。
有具體專案要討論?
發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。
