token/s · 每秒 token 數 · 大模型推理速度 · 首 token 延遲 · 記憶體頻寬
token/s 是什麼意思?大模型推理速度多快才夠用
燔石半導體技術團隊 · 釋出

token/s 是大模型生成輸出的速度。人的閱讀速度大約是每秒 5 到 8 個 token,所以聊天回答在每秒 10 到 30 個 token 時就很流暢。推理模型、智慧體和控制迴路需要每秒數百到數千個 token,因為它們生成的大部分 token 根本不是給人讀的。在裝置上,速度的上限等於記憶體頻寬除以模型大小,這正是端側晶片要讓權重不再搬運的原因。
token 是什麼,這個數字衡量的又是什麼
token 是模型處理文本的最小單位:一個短詞、長詞的一部分,或者一個標點。英文裡常用的經驗值是一個 token 約等於四分之三個單詞;中文裡一個漢字大約對應一個 token 上下,具體因分詞器而異。
token/s 通常指解碼速度,也就是模型開始輸出之後每秒生成多少 token。它旁邊還有兩個數字:首 token 延遲,指第一個字出現前要等多久;提示處理速度,指模型讀輸入有多快。一個系統可能其中一項很快,另一項很慢。
多快才夠用
| 用途 | 門檻由什麼決定 | 夠用的速度 |
|---|---|---|
| 讀聊天回答 | 人每分鐘讀 300 到 500 個漢字,約每秒 5 到 8 個 token | 10 到 30 token/s 就很流暢 |
| 語音助手 | 說話每分鐘約 200 到 250 字,每秒 3 到 4 個 token;第一個字出來前的等待更關鍵 | 幾十 token/s,加上很短的首 token 延遲 |
| 推理模型與智慧體 | 隱藏的推理步驟和工具呼叫,讓每個可見回答背後的 token 成倍增加 | 數百到數千 token/s |
| 機器人與即時控制 | 模型處在控制迴路裡,每次決策有固定的時間預算 | 迴路要求多少就要多少,而且要穩定 |
| 批次文件處理 | 看總工作量,而不是某個使用者的體驗 | 合計 token/s,按每瓦、每元衡量 |
規律很簡單。輸出給人讀的時候,比閱讀速度快太多就沒有意義。輸出給軟體消費的時候,速度直接變成更短的任務時間,每秒幾千 token 才有用武之地。
單使用者速度與合計吞吐
廠商報 token/s 有兩種口徑:單使用者,指一個請求單獨執行的速度;合計,指一臺伺服器同時處理的所有請求加起來。後者總是更大,但說明不了一段對話的響應有多快。
比較晶片時,要確認兩邊用的是同一種口徑、同一個模型、同一種精度。同一塊硬體上,低精度的小模型和高精度的大模型,數字可以差出很多倍。
在裝置上,記憶體頻寬決定上限
每生成一個 token,都要把模型的所有權重讀一遍。如果權重放在普通記憶體裡,無論處理器多快,解碼速度都不可能超過記憶體頻寬除以模型大小。
假設一臺裝置的記憶體頻寬是 50 GB/s。一個 8B 參數的模型按 8 位精度約 8 GB,上限就是每秒 6 個 token 左右;一個 0.8B 的模型約 0.8 GB,上限在每秒 60 個左右。實際系統還到不了這個上限,因為同一塊記憶體還要服務其他任務。
這就是記憶體牆,也是端側推理晶片採用存算一體或近存計算的原因:權重不再經過匯流排搬運,頻寬這個上限也就不存在了。
怎麼讀規格表
- 對應哪個模型,什麼精度?
- 單使用者還是合計,批次是多少?
- 是矽晶片實測,還是設計目標?
- 提示詞和上下文有多長?
- 功耗是多少,是整機還是隻算晶片?
燔石公佈自己的數字時也按這幾條說明:逐火 Forge 的目標是在單瓦級裝置裡以 17,000 token/s 執行 Qwen 3.5 0.8B,鎮嶽 Trident 的目標是在 70W 整機功耗內以 15,000 token/s 執行最高 Qwen 3.5 35B 的模型。兩者均為設計目標,最終規格以專案確認資料為準。
常見問題
人每秒能讀多少個 token?
大約 5 到 8 個。成年人讀中文每分鐘約 300 到 500 字,一個漢字大約對應一個 token。
本地大模型每秒多少 token 算好?
聊天場景每秒 10 到 30 個 token 就很流暢。智慧體、推理模型和自動化流程由軟體消費輸出,越快越好,每秒數百到數千個 token 都有用。
token/s 和 TOPS 是一回事嗎?
不是。TOPS 統計每秒完成多少次運算,不反映記憶體。大模型的解碼速度通常卡在權重讀取上,所以 TOPS 很高的晶片生成 token 仍然可能很慢。
為什麼小模型快這麼多?
每個 token 都要讀一遍全部權重,所以在同樣的記憶體頻寬下,體積只有十分之一的模型大約能多讀十倍的次數。



