大模型推理 ASIC · 推理晶片對比 · Taalas HC1 · Etched Sohu · Cerebras · Model-on-Chip
大模型推理 ASIC 對比:2026 年的五種晶片架構
燔石半導體技術團隊 · 釋出

大模型推理硬體目前分成五種架構:通用 GPU、晶圓級引擎、語言處理單元(LPU)、Transformer 專用 ASIC,以及把某一個模型固化進矽晶片的 Model-on-Chip。它們的區別在於為了速度放棄了多少通用性。同一個 8B 模型的公開速度,從輝達 H200 的單使用者約每秒 230 token,到 Taalas HC1 的約 17,000 token,但這些數字混合了廠商口徑與第三方實測,不能直接比較。這五種都是資料中心產品,裝置裡需要的是另一類晶片。
為什麼推理開始有自己的晶片
GPU 能訓練模型、能跑任何模型、還能做圖形渲染。推理用不到這麼多:它只是同一組矩陣運算,每生成一個 token 重複一遍。每個 token 都要把模型的全部權重讀一遍,所以上限通常不在算得多快,而在權重多快能送到計算單元。
當推理的賬單超過訓練,廠商開始用通用性換速度和能效。下面五種架構排在同一條線上:越往下,晶片能做的事越少,做得越快。
五種架構一覽
| 架構 | 公開代表 | 核心思路 | 公開的速度 | 靈活性 |
|---|---|---|---|---|
| 通用 GPU | 輝達 H200 | 可程式設計平行計算,權重放在旁邊的高頻寬記憶體裡 | Llama 3.1 8B 單使用者約 230 token/s(輝達基準,heise 引用) | 任何模型,訓練與推理皆可 |
| 晶圓級引擎 | Cerebras WSE-3 | 一整片晶圓做成一顆晶片,儲存與計算在同一片矽上 | Llama 3.1 8B 約 1,900 token/s(Artificial Analysis,heise 引用) | 平臺支援的模型 |
| 語言處理單元 LPU | Groq LPU | 只做推理的處理器,執行順序由編譯器靜態排定 | Llama 3.1 8B 約 600 token/s(Artificial Analysis,heise 引用) | 平臺支援的模型 |
| Transformer 專用 ASIC | Etched Sohu | 把 Transformer 的資料通路固定進矽晶片,權重仍在記憶體裡,所以模型可換 | 廠商口徑:8 晶片伺服器在 Llama 70B 上合計超過 500,000 token/s;截至 2026 年年中沒有公開的第三方測試 | 僅限 Transformer 模型 |
| 模型固化 Model-on-Chip | Taalas HC1 | 把某一個模型的權重硬連線進晶片,執行時不需要讀取權重 | Llama 3.1 8B 單使用者約 17,000 token/s(廠商口徑) | 一顆晶片一個模型;介面卡與上下文長度可配置 |
數字為各廠商公佈或 2026 年媒體報道引用的口徑,模型、批次與測試條件各不相同。單使用者速度與整機合計吞吐是兩種指標。來源見文末。
這些數字沒有告訴你的事
單使用者速度和合計吞吐不是一回事。「單使用者每秒 17,000 token」說的是一段對話跑多快;「整機每秒 500,000 token」是許多對話同時跑的總和。不知道批次大小,兩者無法互相換算。
模型大小和精度會改變一切。8B 和 70B 是完全不同的負載;用 3 到 4 位存權重的晶片,和跑 8 位、16 位權重的晶片做的也不是同一件事。Taalas 自己說明過,第一代矽晶片混合使用 3 位與 6 位參數,回答質量相對 GPU 基準有所下降。
最後要看是誰測的。表裡的數字有的來自第三方榜單,有的來自廠商釋出,有一項至今沒有第三方驗證。功耗、價格和供貨時間,釋出時往往根本不提。
這五種,都是資料中心的答案
表裡的每一顆晶片都放在機櫃裡。晶圓級系統的功耗以千瓦計;Taalas HC1 面向約 2.5 千瓦的伺服器;其餘幾種放在標準的加速伺服器裡。沒有哪一種能裝進翻譯機、車機、機器人或工業相機。
裝置需要的是同一個思路,也就是權重不搬運,但要落在一瓦到幾十瓦的功耗裡,並且有能夠批次出貨的供應鏈。這是第六類:基於存算一體與近存計算的端側推理晶片。
燔石半導體做的就是這一類,基於成熟的 SMIC 28nm 工藝。逐火 Forge 走 MaskROM 光罩存算一體,面向單瓦級裝置,適配 Qwen 3.5 0.8B。鎮嶽 Trident 走近存計算,在 70W 整機功耗內支援最高 Qwen 3.5 35B,權重仍可更新。千目 Argus 走 SRAM 存內計算,做即時視覺。燔石的數字均為設計目標口徑。
怎麼選
- 模型幾週一換,或者同時還要訓練:繼續用 GPU。
- 在資料中心裡用少數幾個熱門模型服務大量使用者:晶圓級、LPU 與 Transformer 專用 ASIC 的服務,值得用自己的提示詞實測對比。
- 一個已經定型的模型承擔了絕大部分呼叫:模型固化加速器用靈活性換來最高的單使用者速度。
- 模型必須跑在裝置裡,要離線、功耗預算固定:看基於存算一體或近存計算的端側晶片。
常見問題
什麼是大模型推理 ASIC?
大模型推理 ASIC 是隻為執行大語言模型設計的晶片,不做訓練。它放棄 GPU 的通用性,去掉多餘的開銷,主要是把權重從記憶體搬到計算單元的開銷,換來更高的每瓦 token 產出。
哪一種大模型推理晶片最快?
按小模型的單使用者速度,公開數字最高的是 Taalas HC1:廠商公佈在 Llama 3.1 8B 上約每秒 17,000 token。按整機合計吞吐,Etched 給出的數字最高。這些數字對應的模型和指標都不同,也並非全部經過第三方驗證。
推理 ASIC 會取代 GPU 嗎?
不會。訓練、研究和長尾模型仍然需要通用硬體。推理 ASIC 適合模型已經定型,並且呼叫量巨大或功耗預算極緊的場景。
大模型推理 ASIC 能裝進裝置裡嗎?
資料中心的那幾種不能,它們的功耗在數百瓦到千瓦級。基於存算一體或近存計算的端側推理晶片面向一瓦到幾十瓦,是為裝置設計的。
國內有做模型固化晶片的公司嗎?
有。燔石半導體基於 SMIC 28nm,提供 MaskROM 光罩存算一體、SRAM 存內計算與近存計算三條路線的端側大模型推理晶片與推理 IP,面向裝置而不是資料中心。



