跳到正文

大模型推理 ASIC · 推理芯片对比 · Taalas HC1 · Etched Sohu · Cerebras · Model-on-Chip

大模型推理 ASIC 对比:2026 年的五种芯片架构

燔石半导体技术团队 · 发布

大模型推理硬件目前分成五种架构:通用 GPU、晶圆级引擎、语言处理单元(LPU)、Transformer 专用 ASIC,以及把某一个模型固化进硅片的 Model-on-Chip。它们的区别在于为了速度放弃了多少通用性。同一个 8B 模型的公开速度,从英伟达 H200 的单用户约每秒 230 token,到 Taalas HC1 的约 17,000 token,但这些数字混合了厂商口径与第三方实测,不能直接比较。这五种都是数据中心产品,设备里需要的是另一类芯片。

为什么推理开始有自己的芯片

GPU 能训练模型、能跑任何模型、还能做图形渲染。推理用不到这么多:它只是同一组矩阵运算,每生成一个 token 重复一遍。每个 token 都要把模型的全部权重读一遍,所以上限通常不在算得多快,而在权重多快能送到计算单元。

当推理的账单超过训练,厂商开始用通用性换速度和能效。下面五种架构排在同一条线上:越往下,芯片能做的事越少,做得越快。

五种架构一览

架构公开代表核心思路公开的速度灵活性
通用 GPU英伟达 H200可编程并行计算,权重放在旁边的高带宽内存里Llama 3.1 8B 单用户约 230 token/s(英伟达基准,heise 引用)任何模型,训练与推理皆可
晶圆级引擎Cerebras WSE-3一整片晶圆做成一颗芯片,存储与计算在同一片硅上Llama 3.1 8B 约 1,900 token/s(Artificial Analysis,heise 引用)平台支持的模型
语言处理单元 LPUGroq LPU只做推理的处理器,执行顺序由编译器静态排定Llama 3.1 8B 约 600 token/s(Artificial Analysis,heise 引用)平台支持的模型
Transformer 专用 ASICEtched Sohu把 Transformer 的数据通路固定进硅片,权重仍在内存里,所以模型可换厂商口径:8 芯片服务器在 Llama 70B 上合计超过 500,000 token/s;截至 2026 年年中没有公开的第三方测试仅限 Transformer 模型
模型固化 Model-on-ChipTaalas HC1把某一个模型的权重硬连线进芯片,运行时不需要读取权重Llama 3.1 8B 单用户约 17,000 token/s(厂商口径)一颗芯片一个模型;适配器与上下文长度可配置

数字为各厂商公布或 2026 年媒体报道引用的口径,模型、批量与测试条件各不相同。单用户速度与整机合计吞吐是两种指标。来源见文末。

这些数字没有告诉你的事

单用户速度和合计吞吐不是一回事。「单用户每秒 17,000 token」说的是一段对话跑多快;「整机每秒 500,000 token」是许多对话同时跑的总和。不知道批量大小,两者无法互相换算。

模型大小和精度会改变一切。8B 和 70B 是完全不同的负载;用 3 到 4 位存权重的芯片,和跑 8 位、16 位权重的芯片做的也不是同一件事。Taalas 自己说明过,第一代硅片混合使用 3 位与 6 位参数,回答质量相对 GPU 基准有所下降。

最后要看是谁测的。表里的数字有的来自第三方榜单,有的来自厂商发布,有一项至今没有第三方验证。功耗、价格和供货时间,发布时往往根本不提。

这五种,都是数据中心的答案

表里的每一颗芯片都放在机柜里。晶圆级系统的功耗以千瓦计;Taalas HC1 面向约 2.5 千瓦的服务器;其余几种放在标准的加速服务器里。没有哪一种能装进翻译机、车机、机器人或工业相机。

设备需要的是同一个思路,也就是权重不搬运,但要落在一瓦到几十瓦的功耗里,并且有能够批量出货的供应链。这是第六类:基于存算一体与近存计算的端侧推理芯片。

燔石半导体做的就是这一类,基于成熟的 SMIC 28nm 工艺。逐火 Forge 走 MaskROM 掩膜存算一体,面向单瓦级设备,适配 Qwen 3.5 0.8B。镇岳 Trident 走近存计算,在 70W 整机功耗内支持最高 Qwen 3.5 35B,权重仍可更新。千目 Argus 走 SRAM 存内计算,做实时视觉。燔石的数字均为设计目标口径。

怎么选

  • 模型几周一换,或者同时还要训练:继续用 GPU。
  • 在数据中心里用少数几个热门模型服务大量用户:晶圆级、LPU 与 Transformer 专用 ASIC 的服务,值得用自己的提示词实测对比。
  • 一个已经定型的模型承担了绝大部分调用:模型固化加速器用灵活性换来最高的单用户速度。
  • 模型必须跑在设备里,要离线、功耗预算固定:看基于存算一体或近存计算的端侧芯片。

常见问题

什么是大模型推理 ASIC?

大模型推理 ASIC 是只为运行大语言模型设计的芯片,不做训练。它放弃 GPU 的通用性,去掉多余的开销,主要是把权重从内存搬到计算单元的开销,换来更高的每瓦 token 产出。

哪一种大模型推理芯片最快?

按小模型的单用户速度,公开数字最高的是 Taalas HC1:厂商公布在 Llama 3.1 8B 上约每秒 17,000 token。按整机合计吞吐,Etched 给出的数字最高。这些数字对应的模型和指标都不同,也并非全部经过第三方验证。

推理 ASIC 会取代 GPU 吗?

不会。训练、研究和长尾模型仍然需要通用硬件。推理 ASIC 适合模型已经定型,并且调用量巨大或功耗预算极紧的场景。

大模型推理 ASIC 能装进设备里吗?

数据中心的那几种不能,它们的功耗在数百瓦到千瓦级。基于存算一体或近存计算的端侧推理芯片面向一瓦到几十瓦,是为设备设计的。

国内有做模型固化芯片的公司吗?

有。燔石半导体基于 SMIC 28nm,提供 MaskROM 掩膜存算一体、SRAM 存内计算与近存计算三条路线的端侧大模型推理芯片与推理 IP,面向设备而不是数据中心。

参考来源

  1. heise online:AI inference cast in silicon: Taalas announces HC1 chip
  2. CNX Software:Taalas HC1 hardwired Llama-3.1 8B AI accelerator delivers up to 17,000 tokens/s
  3. Fast.io:Etched AI Review 2026: Sohu Chip Specs, Benchmarks, and What Actually Ships

把问题带到你的项目里

发来目标模型、性能与功耗目标,我们回复适配路线与评估方案。

申请样机