大模型推理 ASIC · 推理芯片对比 · Taalas HC1 · Etched Sohu · Cerebras · Model-on-Chip
大模型推理 ASIC 对比:2026 年的五种芯片架构
燔石半导体技术团队 · 发布

大模型推理硬件目前分成五种架构:通用 GPU、晶圆级引擎、语言处理单元(LPU)、Transformer 专用 ASIC,以及把某一个模型固化进硅片的 Model-on-Chip。它们的区别在于为了速度放弃了多少通用性。同一个 8B 模型的公开速度,从英伟达 H200 的单用户约每秒 230 token,到 Taalas HC1 的约 17,000 token,但这些数字混合了厂商口径与第三方实测,不能直接比较。这五种都是数据中心产品,设备里需要的是另一类芯片。
为什么推理开始有自己的芯片
GPU 能训练模型、能跑任何模型、还能做图形渲染。推理用不到这么多:它只是同一组矩阵运算,每生成一个 token 重复一遍。每个 token 都要把模型的全部权重读一遍,所以上限通常不在算得多快,而在权重多快能送到计算单元。
当推理的账单超过训练,厂商开始用通用性换速度和能效。下面五种架构排在同一条线上:越往下,芯片能做的事越少,做得越快。
五种架构一览
| 架构 | 公开代表 | 核心思路 | 公开的速度 | 灵活性 |
|---|---|---|---|---|
| 通用 GPU | 英伟达 H200 | 可编程并行计算,权重放在旁边的高带宽内存里 | Llama 3.1 8B 单用户约 230 token/s(英伟达基准,heise 引用) | 任何模型,训练与推理皆可 |
| 晶圆级引擎 | Cerebras WSE-3 | 一整片晶圆做成一颗芯片,存储与计算在同一片硅上 | Llama 3.1 8B 约 1,900 token/s(Artificial Analysis,heise 引用) | 平台支持的模型 |
| 语言处理单元 LPU | Groq LPU | 只做推理的处理器,执行顺序由编译器静态排定 | Llama 3.1 8B 约 600 token/s(Artificial Analysis,heise 引用) | 平台支持的模型 |
| Transformer 专用 ASIC | Etched Sohu | 把 Transformer 的数据通路固定进硅片,权重仍在内存里,所以模型可换 | 厂商口径:8 芯片服务器在 Llama 70B 上合计超过 500,000 token/s;截至 2026 年年中没有公开的第三方测试 | 仅限 Transformer 模型 |
| 模型固化 Model-on-Chip | Taalas HC1 | 把某一个模型的权重硬连线进芯片,运行时不需要读取权重 | Llama 3.1 8B 单用户约 17,000 token/s(厂商口径) | 一颗芯片一个模型;适配器与上下文长度可配置 |
数字为各厂商公布或 2026 年媒体报道引用的口径,模型、批量与测试条件各不相同。单用户速度与整机合计吞吐是两种指标。来源见文末。
这些数字没有告诉你的事
单用户速度和合计吞吐不是一回事。「单用户每秒 17,000 token」说的是一段对话跑多快;「整机每秒 500,000 token」是许多对话同时跑的总和。不知道批量大小,两者无法互相换算。
模型大小和精度会改变一切。8B 和 70B 是完全不同的负载;用 3 到 4 位存权重的芯片,和跑 8 位、16 位权重的芯片做的也不是同一件事。Taalas 自己说明过,第一代硅片混合使用 3 位与 6 位参数,回答质量相对 GPU 基准有所下降。
最后要看是谁测的。表里的数字有的来自第三方榜单,有的来自厂商发布,有一项至今没有第三方验证。功耗、价格和供货时间,发布时往往根本不提。
这五种,都是数据中心的答案
表里的每一颗芯片都放在机柜里。晶圆级系统的功耗以千瓦计;Taalas HC1 面向约 2.5 千瓦的服务器;其余几种放在标准的加速服务器里。没有哪一种能装进翻译机、车机、机器人或工业相机。
设备需要的是同一个思路,也就是权重不搬运,但要落在一瓦到几十瓦的功耗里,并且有能够批量出货的供应链。这是第六类:基于存算一体与近存计算的端侧推理芯片。
燔石半导体做的就是这一类,基于成熟的 SMIC 28nm 工艺。逐火 Forge 走 MaskROM 掩膜存算一体,面向单瓦级设备,适配 Qwen 3.5 0.8B。镇岳 Trident 走近存计算,在 70W 整机功耗内支持最高 Qwen 3.5 35B,权重仍可更新。千目 Argus 走 SRAM 存内计算,做实时视觉。燔石的数字均为设计目标口径。
怎么选
- 模型几周一换,或者同时还要训练:继续用 GPU。
- 在数据中心里用少数几个热门模型服务大量用户:晶圆级、LPU 与 Transformer 专用 ASIC 的服务,值得用自己的提示词实测对比。
- 一个已经定型的模型承担了绝大部分调用:模型固化加速器用灵活性换来最高的单用户速度。
- 模型必须跑在设备里,要离线、功耗预算固定:看基于存算一体或近存计算的端侧芯片。
常见问题
什么是大模型推理 ASIC?
大模型推理 ASIC 是只为运行大语言模型设计的芯片,不做训练。它放弃 GPU 的通用性,去掉多余的开销,主要是把权重从内存搬到计算单元的开销,换来更高的每瓦 token 产出。
哪一种大模型推理芯片最快?
按小模型的单用户速度,公开数字最高的是 Taalas HC1:厂商公布在 Llama 3.1 8B 上约每秒 17,000 token。按整机合计吞吐,Etched 给出的数字最高。这些数字对应的模型和指标都不同,也并非全部经过第三方验证。
推理 ASIC 会取代 GPU 吗?
不会。训练、研究和长尾模型仍然需要通用硬件。推理 ASIC 适合模型已经定型,并且调用量巨大或功耗预算极紧的场景。
大模型推理 ASIC 能装进设备里吗?
数据中心的那几种不能,它们的功耗在数百瓦到千瓦级。基于存算一体或近存计算的端侧推理芯片面向一瓦到几十瓦,是为设备设计的。
国内有做模型固化芯片的公司吗?
有。燔石半导体基于 SMIC 28nm,提供 MaskROM 掩膜存算一体、SRAM 存内计算与近存计算三条路线的端侧大模型推理芯片与推理 IP,面向设备而不是数据中心。



