跳到正文

token/s · 每秒 token 數 · 大模型推理速度 · 首 token 延遲 · 記憶體頻寬

token/s 是什麼意思?大模型推理速度多快才夠用

燔石半導體技術團隊 · 釋出

token/s 是大模型生成輸出的速度。人的閱讀速度大約是每秒 5 到 8 個 token,所以聊天回答在每秒 10 到 30 個 token 時就很流暢。推理模型、智慧體和控制迴路需要每秒數百到數千個 token,因為它們生成的大部分 token 根本不是給人讀的。在裝置上,速度的上限等於記憶體頻寬除以模型大小,這正是端側晶片要讓權重不再搬運的原因。

token 是什麼,這個數字衡量的又是什麼

token 是模型處理文本的最小單位:一個短詞、長詞的一部分,或者一個標點。英文裡常用的經驗值是一個 token 約等於四分之三個單詞;中文裡一個漢字大約對應一個 token 上下,具體因分詞器而異。

token/s 通常指解碼速度,也就是模型開始輸出之後每秒生成多少 token。它旁邊還有兩個數字:首 token 延遲,指第一個字出現前要等多久;提示處理速度,指模型讀輸入有多快。一個系統可能其中一項很快,另一項很慢。

多快才夠用

用途門檻由什麼決定夠用的速度
讀聊天回答人每分鐘讀 300 到 500 個漢字,約每秒 5 到 8 個 token10 到 30 token/s 就很流暢
語音助手說話每分鐘約 200 到 250 字,每秒 3 到 4 個 token;第一個字出來前的等待更關鍵幾十 token/s,加上很短的首 token 延遲
推理模型與智慧體隱藏的推理步驟和工具呼叫,讓每個可見回答背後的 token 成倍增加數百到數千 token/s
機器人與即時控制模型處在控制迴路裡,每次決策有固定的時間預算迴路要求多少就要多少,而且要穩定
批次文件處理看總工作量,而不是某個使用者的體驗合計 token/s,按每瓦、每元衡量

規律很簡單。輸出給人讀的時候,比閱讀速度快太多就沒有意義。輸出給軟體消費的時候,速度直接變成更短的任務時間,每秒幾千 token 才有用武之地。

單使用者速度與合計吞吐

廠商報 token/s 有兩種口徑:單使用者,指一個請求單獨執行的速度;合計,指一臺伺服器同時處理的所有請求加起來。後者總是更大,但說明不了一段對話的響應有多快。

比較晶片時,要確認兩邊用的是同一種口徑、同一個模型、同一種精度。同一塊硬體上,低精度的小模型和高精度的大模型,數字可以差出很多倍。

在裝置上,記憶體頻寬決定上限

每生成一個 token,都要把模型的所有權重讀一遍。如果權重放在普通記憶體裡,無論處理器多快,解碼速度都不可能超過記憶體頻寬除以模型大小。

假設一臺裝置的記憶體頻寬是 50 GB/s。一個 8B 參數的模型按 8 位精度約 8 GB,上限就是每秒 6 個 token 左右;一個 0.8B 的模型約 0.8 GB,上限在每秒 60 個左右。實際系統還到不了這個上限,因為同一塊記憶體還要服務其他任務。

這就是記憶體牆,也是端側推理晶片採用存算一體或近存計算的原因:權重不再經過匯流排搬運,頻寬這個上限也就不存在了。

怎麼讀規格表

  • 對應哪個模型,什麼精度?
  • 單使用者還是合計,批次是多少?
  • 是矽晶片實測,還是設計目標?
  • 提示詞和上下文有多長?
  • 功耗是多少,是整機還是隻算晶片?

燔石公佈自己的數字時也按這幾條說明:逐火 Forge 的目標是在單瓦級裝置裡以 17,000 token/s 執行 Qwen 3.5 0.8B,鎮嶽 Trident 的目標是在 70W 整機功耗內以 15,000 token/s 執行最高 Qwen 3.5 35B 的模型。兩者均為設計目標,最終規格以專案確認資料為準。

常見問題

人每秒能讀多少個 token?

大約 5 到 8 個。成年人讀中文每分鐘約 300 到 500 字,一個漢字大約對應一個 token。

本地大模型每秒多少 token 算好?

聊天場景每秒 10 到 30 個 token 就很流暢。智慧體、推理模型和自動化流程由軟體消費輸出,越快越好,每秒數百到數千個 token 都有用。

token/s 和 TOPS 是一回事嗎?

不是。TOPS 統計每秒完成多少次運算,不反映記憶體。大模型的解碼速度通常卡在權重讀取上,所以 TOPS 很高的晶片生成 token 仍然可能很慢。

為什麼小模型快這麼多?

每個 token 都要讀一遍全部權重,所以在同樣的記憶體頻寬下,體積只有十分之一的模型大約能多讀十倍的次數。

把問題帶到你的專案裡

發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。

申請樣機