Model-on-Chip · 大模型固化芯片 · 模型专用 ASIC · Taalas HC1 · 端侧大模型芯片
Model-on-Chip 是什么?把大模型固化进芯片的专用 ASIC:云端与端侧
燔石半导体技术团队 · 发布 · 更新

模型专用 ASIC(也叫硬连线大模型芯片)把某一个大模型的权重在制造时固定进硅片,推理时不再从内存搬运权重,因此解码速度与能效可以比通用 GPU 高出数量级。它的代价是模型不可随意更换。按部署位置分为两类:云端追求每机架的 token 吞吐与单 token 成本,端侧追求瓦级功耗、离线可用与整机成本。
「固化」到底指什么
通用 GPU 是一台可以运行任何模型的机器:权重放在显存里,每生成一个 token 都要读一遍。模型专用 ASIC 反过来,在设计阶段就确定要跑哪一个模型,把权重写进掩膜 ROM 或金属层,成为芯片结构的一部分。芯片出厂时,模型已经在里面。
这样做省掉的是整个推理过程中最贵的一步:搬运权重。计算单元不再等数据,带宽不再是上限,功耗也不再大多花在路上。
为什么是现在
两件事让这条路从理论变成了产品。第一,模型家族的结构开始稳定:同一家族的新版本往往沿用上一代的层结构,为一个模型做的芯片架构可以被下一代复用。第二,推理的账单越来越大,按 token 付费的成本与算力的电力成本,都在逼着行业为「最常用的那几个模型」做专用硬件。
它不会取代 GPU。训练、研究与长尾模型仍然需要通用硬件;专用 ASIC 适合的是模型已经定型、调用量巨大或功耗预算极紧的场景。
云端与端侧:目标完全不同
云端的模型专用芯片放在数据中心里,对标的是 GPU 服务器:比的是每机架每秒多少 token、每百万 token 多少钱,通常使用较先进的制程,功耗在数百瓦量级。
端侧的模型专用芯片放在设备里:翻译机、车机、机器人、工业相机。比的是能不能在一瓦到几十瓦里跑起来、断网能不能用、整机成本增加多少。数据不离开设备,这在专网与隐私敏感的场景里是硬性要求。
燔石半导体做的是端侧这一类:基于成熟 SMIC 28nm 供应链,提供 MaskROM 掩膜存算一体、SRAM 存内计算与近存计算三条路线,覆盖从单瓦级终端到跑 35B 模型的重载节点。相关数字均为设计目标口径。
公开的参照:Taalas HC1
最清楚的公开案例是 2026 年 2 月发布的 Taalas HC1。按厂商说明与媒体报道,它把 Llama 3.1 8B 硬连线进一颗约 530 亿晶体管的 ASIC,采用台积电 6nm 工艺,芯片面积 815 平方毫米,单用户速度接近每秒 17,000 token。同一个模型,报道引用的英伟达 H200 约为每秒 230 token,Cerebras 在第三方测试里约为每秒 1,900 token。
评估这条路线时有两个细节值得注意。按厂商自己的说明,第一代硅片量化得很激进,混合使用 3 位与 6 位参数,回答质量相对 GPU 基准有所下降。另外它是数据中心产品,面向约 2.5 千瓦的服务器,装不进设备。
端侧做的是同一件事,也就是让权重不再搬运,只是放在成熟工艺上,面向一瓦到几十瓦能承载的模型。
评估供应商时该问什么
第一,模型更新怎么办:换模型是换掩膜、重新加载,还是直接更新外存?同一家族的新模型能不能复用现有架构?第二,页面上的数字是实测还是设计目标,对应哪个模型、什么精度、什么测试条件。第三,流片之前能不能先拿到评估板,用自己的模型和数据跑一遍。第四,工艺与供应链是否可控,交付节奏由什么决定。
如果你正在为设备评估这类芯片,可以在燔石官网的意向简报页用两分钟描述模型、设备、功耗与数量,工程团队会按你的项目回复。
常见问题
固化进芯片的模型还能更新吗?
取决于权重放在哪里。掩膜 ROM 路线的权重是掩膜的一部分,换模型需要换掩膜;部分设计仍支持适配器(LoRA)式的调整和可配置的上下文长度。SRAM 存内计算路线的权重在上电时加载,可以更换。近存计算路线的权重放在外存里,可以像固件一样更新。
Model-on-Chip 和存算一体是一回事吗?
有重叠,但不是一回事。Model-on-Chip 说的是产品决策:把某一个模型固定进硅片。存算一体说的是电路技术:运算发生在存储阵列内部。在阵列里完成计算的掩膜 ROM 芯片两者都是;SRAM 存内计算芯片是存算一体,但模型并不固定。
固化大模型的芯片能跑多快?
公开的参照是 Taalas HC1:厂商公布在 Llama 3.1 8B 上单用户接近每秒 17,000 token。这是厂商口径,对应某一个模型和某一种量化精度。评估任何芯片时,都要问清数字是实测还是设计目标,对应哪个模型、什么精度。
燔石和 Taalas 有关系吗?
没有。燔石半导体与 Taalas 无隶属或合作关系,只是技术方向相近:Taalas 做数据中心加速器,燔石做端侧设备用的芯片与 IP。



