跳到正文

NPU 和 GPU 的区别 · NPU 跑大模型 · 端侧大模型芯片 · 边缘 AI 加速器 · 大模型 ASIC

端侧跑大模型:NPU、GPU 模组和专用芯片怎么选

燔石半导体技术团队 · 发布

NPU、嵌入式 GPU 模组和专用大模型芯片都能让语言模型在设备里跑起来,但它们的短板各不相同。NPU 已经在产品里,不额外花钱,可它和系统共用内存,还受厂商工具链限制。GPU 模组能跑内存装得下的任何模型,功耗要几十瓦。专用芯片去掉了内存瓶颈,功耗最低,但模型要提前定下来。怎么选取决于三个问题:模型有多稳定,出货量有多大,手里有多少瓦。

三种器件,三个瓶颈

三者做的是同一种运算。区别在于运算发生时权重放在哪里,因为每生成一个 token 都要把模型的全部权重读一遍。

NPU 从系统内存里读权重,这块内存同时还要服务处理器、屏幕和其他一切。嵌入式 GPU 模组有自己更快的内存,代价是功耗。专用大模型芯片把权重放在运算阵列里面或紧挨着,根本不需要去取。

并排比较

手机或 PC 芯片里的 NPU嵌入式 GPU 模组专用大模型芯片
权重放在哪共享的系统内存模组自带的内存运算阵列内部或紧邻
token/s 受什么限制系统内存带宽,以及工具链支持哪些算子模组的内存带宽设计时确定,不受带宽限制
典型功耗算在主芯片的功耗里几十瓦一瓦到几十瓦,取决于模型大小
换模型厂商工具链能编译的模型内存装得下的任何模型看路线:制造时固定、上电时重载,或在片外存储里更新
前期投入除主芯片外没有每台的模组价格一次流片,按出货量摊薄
最适合产品已经用了这颗芯片,小模型就够出货量小,或模型经常变模型已定、出货量大、功耗紧

定性比较。具体数字取决于器件型号、模型和精度。

NPU 的上限在哪

NPU 的指标是 TOPS,也就是每秒做多少次运算。这个数字不涉及内存。对语言模型来说,上限是内存带宽除以模型大小,而 NPU 用的是和整个系统共享的那块内存。

第二个限制是软件。模型里的每个算子都得被厂商工具链支持,才能跑在 NPU 上。新的模型结构往往比工具链先到,不支持的部分就退回到 CPU 上跑。

如果产品里已经有这颗芯片、模型又小,NPU 是合理的第一选择。模型一变大,或者响应要快,它就不够了。

GPU 模组的上限在哪

GPU 模组是最灵活的选择:内存装得下的模型都能跑,软件也成熟。代价是功耗、散热和单价。几十瓦加一块散热片,随身设备和大多数电池供电的产品就用不了。

它同样受内存带宽限制。同一块模组上,模型越大,每秒生成的 token 就按比例越少。

什么时候该用专用芯片

三个条件同时成立时,专用芯片才划算:模型在产品生命周期内是确定的,或者只在同一个家族内变化;出货量足够摊薄一次流片;功耗预算紧到通用器件放不下。

模型固定到什么程度,取决于路线。MaskROM 存算一体在制造时固定权重,SRAM 存算一体在上电时加载,近存计算把权重放在片外存储里,可以像固件一样更新。

燔石三条路线都有芯片,也把推理内核作为 IP 授权给自研 SoC 的团队。官网公布的数字均为设计目标。

一条简短的判断路径

  • 模型在 1B 参数以内,每秒几个 token 也能接受?先用手头已有的 NPU。
  • 模型每隔几周就变,或者出货量小?用 GPU 模组。
  • 模型已定、出货量大、功耗只有几瓦?评估专用芯片,先从 FPGA 评估板开始。
  • 在自研 SoC?授权一个推理内核,不必再加一颗芯片。

常见问题

NPU 跑大模型比 GPU 快吗?

一般不会。两者都受权重读取速度限制。NPU 与系统共用内存,跑语言模型时每秒 token 数通常低于有独立内存的 GPU 模组。

为什么 TOPS 很高,生成文字却不快?

TOPS 只统计运算次数,不管内存。语言模型的解码速度上限是内存带宽除以模型大小,超过这个上限的算力用不上。

专用大模型芯片以后还能换模型吗?

看路线。SRAM 存算一体和近存计算可以加载新权重。MaskROM 在制造时固定权重,换模型需要新的掩膜。

NPU 和大模型推理 IP 核有什么区别?

NPU 是芯片里已经做好的通用神经网络加速器。推理 IP 核是针对特定模型结构的设计模块,由芯片团队集成进自己的 SoC。

把问题带到你的项目里

发来目标模型、性能与功耗目标,我们回复适配路线与评估方案。

申请样机