
· Model-on-Chip · 大模型固化芯片
Model-on-Chip 是什么?把大模型固化进芯片的专用 ASIC:云端与端侧
Model-on-Chip(模型固化芯片、模型专用 ASIC)把某一个大模型的权重直接做进硅片,换来数量级的速度与能效。原理、Taalas HC1 证明了什么、云端与端侧的区别,以及评估供应商时该问的问题。

· Model-on-Chip · 大模型固化芯片
Model-on-Chip(模型固化芯片、模型专用 ASIC)把某一个大模型的权重直接做进硅片,换来数量级的速度与能效。原理、Taalas HC1 证明了什么、云端与端侧的区别,以及评估供应商时该问的问题。

· 大模型推理 ASIC · 推理芯片对比
GPU、晶圆级引擎、LPU、Transformer 专用 ASIC 与模型固化芯片(Model-on-Chip):五种大模型推理架构的区别、各自公开的 token/s,以及这些数字没有告诉你的事。

· token/s · 每秒 token 数
token/s(每秒 token 数)衡量什么、和人的阅读与说话速度相比是什么水平、单用户与合计吞吐为什么不同,以及设备上为什么被内存带宽卡住。

· 不用 GPU 跑大模型 · 端侧大模型硬件
CPU、NPU、嵌入式 GPU 模组、FPGA 还是专用大模型芯片:端侧跑大模型的五种硬件方案各自能做到什么、被什么卡住,以及什么时候值得上专用芯片。

· Taalas HC1 · Taalas HC1 参数
Taalas HC1 是什么,公开了哪些参数,把 Llama 3.1 8B 固化进芯片为什么能到每秒约 17,000 token,局限在哪里,同一个思路放到设备里为什么是另一种做法。

· NPU 和 GPU 的区别 · NPU 跑大模型
在设备里跑大模型,NPU、嵌入式 GPU 模组和专用大模型芯片有什么不同:各自卡在哪里,功耗和灵活性的代价是什么,应该怎么选。

· 机器人 端侧大模型 · 具身智能 芯片
机器人为什么要把语言模型和视觉语言模型放在本体上跑,控制回路、功耗预算和网络条件对推理硬件提出了什么要求,芯片该怎么选型。

· 离线大模型 设备 · 离线翻译机 芯片
在电池供电的设备里完全离线地跑一个语言模型需要什么:一到三瓦的整机预算,为什么小模型加固定权重正合适,选芯片前要确认哪些事。


· 存算一体芯片 · Compute-in-Memory
存算一体芯片把乘加运算放进存储阵列,权重不再在内存与计算单元之间搬运。本文解释它解决的问题、MaskROM / SRAM CIM / 近存计算三条路线的区别,以及各自适合的端侧场景。

· 端侧推理芯片 · 边缘AI芯片
为设备选端侧推理芯片时,真正决定成败的不是峰值算力,而是模型是否放得下、功耗是否撑得住、模型能不能更新。本文给出七个必须先回答的问题和一张选型清单。

· 推理算力 · 推理成本
推理算力的账要按三年算:API 按 token 计费、自建 GPU 按卡时摊销、专用芯片一次买断。本文给出三种方式的计算口径、一个可复算的例子,以及回本周期的估算方法。

· MaskROM · 掩膜存算一体
MaskROM 掩膜存算一体在流片的掩膜环节把模型权重物理写入硅片通孔阵列,运行时零权重搬运。本文解释它的工作方式、为什么功耗和边际成本最低、它的限制,以及适合的产品形态。

· 大模型 FPGA · 推理 IP
在流片之前用 FPGA 把大模型推理内核跑起来,能提前验证模型映射、接口与系统链路。本文说明推理 IP 授权的内容、FPGA 评估板在项目中的位置,以及从评估到 ASIC 的典型节奏。

· 内存墙 · 端侧大模型
大模型推理在解码阶段是带宽受限的:每生成一个 token 都要读一遍全部权重。端侧设备的带宽与功耗预算撑不起这种搬运,这就是内存墙。本文用数字说明这堵墙有多高,以及存算一体与近存计算如何绕过它。
发来目标模型、性能与功耗目标,我们回复适配路线与评估方案。