不用 GPU 跑大模型 · 端侧大模型硬件 · 本地大模型 · NPU 与 GPU · 大模型专用芯片
不用 GPU 怎么跑大模型:设备端的五种硬件方案
燔石半导体技术团队 · 发布

不用数据中心 GPU,大模型可以跑在五类硬件上:运行量化模型的 CPU、手机或 PC 芯片里的 NPU、嵌入式 GPU 模组、FPGA,以及专用大模型芯片。前三类有同一个瓶颈,就是内存带宽,因为每个 token 都要读一遍全部权重。专用芯片能去掉这个瓶颈,但只有在模型定型、产品有量的时候才划算。
为什么要绕开 GPU
数据中心 GPU 是跑模型最省事的办法,却不适合绝大多数设备。它的功耗有数百瓦,价格比整台产品还高,需要的散热条件也是手持设备、车载模块和工业相机提供不了的。
还有一些理由与硬件无关。很多产品必须在没有网络时工作,很多部署不允许数据离开设备。这两条都要求推理发生在设备本身。
五种方案对比
| 方案 | 速度被什么限制 | 换模型 | 适合 |
|---|---|---|---|
| CPU 跑量化模型 | 内存带宽与核心数 | 换一个模型文件即可 | 原型、小批量、小模型 |
| 手机或 PC 芯片里的 NPU | 与系统共用的内存,以及厂商工具链支持哪些算子 | 工具链能编译的模型 | 本来就基于该芯片的产品 |
| 嵌入式 GPU 模组 | 内存带宽与模组的功耗预算 | 内存放得下的模型都可以 | 有几十瓦余量的机器人与网关 |
| FPGA | 逻辑容量与存储接口;单价高 | 可重新编程 | 验证加速器设计;小批量 |
| 专用大模型芯片(存算一体或模型固化) | 设计时确定;权重不搬运 | 取决于路线:流片时固化、上电加载,或更新外存 | 模型定型、功耗预算紧的量产设备 |
前三种有同一个瓶颈
在 CPU、NPU 和嵌入式 GPU 上,权重都放在普通内存里,每生成一个 token 读一遍。解码速度的上限是内存带宽除以模型大小。到了这个上限,再加算力也没有用,所以 TOPS 很漂亮的芯片生成文字仍然可能很慢。
更小的模型、更低的精度可以抬高这个上限,目前端侧的大部分工作也都花在这里:量化得更狠,换更小的模型,接受随之而来的质量。
什么时候值得上专用芯片
专用芯片把权重留在运算发生的地方,带宽上限不再适用。代价是一次流片,这是一笔固定投入,以及一个部分或全部提前确定的模型。
同时满足三个条件时才划算:模型在产品生命周期内已经定型,或者只在同一家族内更新;产品的出货量足以摊薄固定投入;功耗预算紧到通用器件放不进去。三条里缺任何一条,模组或 NPU 都是更好的选择。
一条可行的路径
- 先在 CPU 或 GPU 模组上做原型,量出产品实际需要的 token/s。
- 确定模型家族,以及可以接受的精度。
- 在 FPGA 评估板上跑目标模型,投入之前先确认速度与表现。
- 当出货量与功耗预算都说得通时,再转向专用芯片,标准品或定制。
后两步是燔石提供的:带模型映射工具的 FPGA 评估板、三颗标准端侧芯片、围绕客户模型的定制芯片,以及给自研 SoC 团队的推理 IP 授权。
常见问题
大模型能在 CPU 上跑吗?
能。量化后的小模型可以跑在普通 CPU 上。速度受内存带宽限制,模型一大就掉得很快。
设备上跑大模型一定要 NPU 吗?
不一定。NPU 在其工具链支持你的模型时有帮助,但它和系统其他部分共用内存,遇到的带宽上限与 CPU 相同。
跑大模型功耗最低的办法是什么?
用完全不搬运权重的芯片。存算一体把运算放进存储阵列内部,去掉了推理能耗里最大的一块。
什么时候适合定制大模型芯片?
模型已经定型、产品有量、功耗预算排除了通用器件的时候。否则模组或 NPU 更合适。



