跳到正文

你的裝置,最快能跑多少 token/s?

權重放在普通記憶體裡時,每生成一個 token 都要把全部權重讀一遍。所以解碼速度有一個算得出來的上限:記憶體頻寬除以模型大小。

模型大小
8.0 GB
解碼速度上限
6.3 token/s

對話流暢

這是理論上限。真實系統會更低,因為同一塊記憶體還要服務別的任務,而且頻寬取的是規格峰值。

常見裝置對照(8 位權重)

裝置(理論峰值頻寬)0.8B · 0.8 GB4B · 4 GB8B · 8 GB27B · 27 GB70B · 70 GB
Raspberry Pi 5 · LPDDR4X-426717 GB/s214.32.10.60.2
PC · DDR5-5600 ×289.6 GB/s11222113.31.3
Apple M2100 GB/s12525133.71.4
NVIDIA Jetson AGX Orin204.8 GB/s25651267.62.9
Apple M2 Max400 GB/s50010050155.7

頻寬按公開記憶體規格的理論峰值計算,單位 token/s,僅用於量級比較。

上限為什麼存在

處理器再快也沒用:算力在等權重。這就是「記憶體牆」。想越過這個上限,只能讓權重不再搬運,也就是存算一體或近存計算,把運算放在權重所在的位置。

常見問題

這個上限是怎麼算的?

模型大小(GB)= 參數量(十億)× 位寬 ÷ 8。解碼上限(token/s)= 記憶體頻寬(GB/s)÷ 模型大小(GB)。每個 token 需要把全部權重讀一遍,所以速度不會超過這個值。

為什麼實測比上限低?

記憶體頻寬還要分給系統和其他任務,規格值是理論峰值,注意力快取等資料也要讀寫。實測通常只有上限的一部分。

專用晶片為什麼能超過這個上限?

存算一體晶片在儲存陣列內部完成運算,權重不經過匯流排,頻寬上限就不再適用。

有具體專案要討論?

發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。

申請樣機