跳到正文
Token 词元
语言模型读写文本的最小单位:一个短词、长词的一部分,或一个标点。中文里一个汉字大约对应一个 token,具体因分词器而异。 展开阅读 →
token/s 每秒 token 数、TPS
模型生成输出的速度。有两种口径:单用户,指一个请求单独运行;合计,指一台服务器同时处理的所有请求之和。 展开阅读 →
首 token 延迟 TTFT
从发出提示到看到回答第一个 token 之间的等待时间。对语音等交互场景,它比解码速度更重要。 展开阅读 →
大模型推理
运行已经训练好的语言模型来产生输出,与训练相对。推理是同一组矩阵运算,每生成一个 token 重复一遍。
大模型推理 ASIC
只为运行大语言模型设计的芯片。它放弃 GPU 的通用性,换来更高的每瓦 token 产出。 展开阅读 →
Model-on-Chip 模型固化芯片、模型专用 ASIC、硬连线大模型
在制造时把某一个模型的权重固定进硅片的芯片,运行时不需要读取权重。速度与能效极高,代价是灵活性。 展开阅读 →
内存墙
处理器算得多快与内存供数多快之间的差距。对大模型来说它是主要瓶颈,因为每个 token 都要读一遍全部权重。 展开阅读 →
内存带宽
每秒能从内存读出多少 GB 数据。权重放在普通内存里时,解码速度不可能超过内存带宽除以模型大小。 展开阅读 →
存算一体 CIM、存内计算
让乘加运算发生在存储阵列内部的电路技术,权重不需要离开存储单元。 展开阅读 →
MaskROM 掩膜存算一体
在制造的掩膜环节把权重铸入只读通孔阵列的存算一体。功耗与边际成本最低,模型固定不可更换。 展开阅读 →
SRAM 存内计算 SRAM CIM
基于 SRAM 单元的存算一体。权重在上电时加载,所以可以在现场更换模型。 展开阅读 →
近存计算 NMC
把计算单元紧贴高带宽存储放置,用片上流式调度缩短数据搬运的距离。适合还在快速迭代的大模型。 展开阅读 →
端侧推理 设备端推理
在产生数据的设备上运行模型,而不是在数据中心。可以离线工作,数据不离开设备。 展开阅读 →
NPU 神经网络处理器
手机或 PC 芯片里的神经网络加速单元。它与系统共用内存,所以跑大模型时遇到的带宽上限与 CPU 相同。 展开阅读 →
TOPS
每秒万亿次运算,衡量原始算力。它不反映内存,所以很难用来预测大模型的解码速度。 展开阅读 →
量化
用更低的精度存储权重,例如用 8 位或 4 位整数代替 16 位浮点。模型更小、推理更快,精度极低时质量会有损失。
流片
把完成的芯片设计交给晶圆厂制造的节点。它是一笔固定投入,所以专用芯片需要出货量来摊薄。 展开阅读 →
掩膜
定义芯片每一层图形的一组光掩膜。在 MaskROM 设计里,模型权重是掩膜的一部分。 展开阅读 →
FPGA 原型验证
流片之前先把芯片设计跑在可重新编程的逻辑器件上,用真实的模型和数据检查功能与性能。 展开阅读 →
推理 IP 核
可以授权的芯片设计模块,负责运行某一类模型架构,由客户集成进自己的 ASIC、SoC 或 FPGA。 展开阅读 →
混合注意力
把线性注意力层与全注意力层混合使用的模型架构,Qwen3.5 及之后的版本采用。它在保持精度的同时压低长上下文的开销。 展开阅读 →
线性注意力
开销随序列长度线性增长、状态大小固定的注意力机制,适合流式处理与长上下文。 展开阅读 →
混合专家模型 MoE
每个 token 只激活一部分权重(被选中的专家)的模型。它让大参数量模型可以在有限带宽内运行。 展开阅读 →
工艺节点 制程
芯片的制造代际,例如 28nm 或 6nm。更小的节点能放下更多晶体管;成熟节点成本更低,供应更可预期。
LPU 语言处理单元
只做推理的处理器,执行顺序由编译器排定。能跑受支持的各种模型,用在数据中心。 展开阅读 →
晶圆级引擎 wafer-scale engine
一颗和整片晶圆一样大的芯片,运算和存储在同一片硅上,在数据中心级功耗下缩短权重到运算单元的距离。 展开阅读 →
解码速度
模型开始回答之后,产生输出 token 的快慢。通常说的 token/s 指的就是它。 展开阅读 →
上下文窗口
模型一次能考虑的文本量,以 token 计。上下文越长,推理时需要的工作内存越多。
KV 缓存 key-value cache
Transformer 为每个已处理的 token 保留的工作内存,避免重复计算。它随上下文长度增长。
LoRA 适配器 低秩适配
一小组附加权重,不改动基础权重就能调整模型行为。一些固定权重的芯片因此支持适配器。 展开阅读 →
具身智能 Embodied AI
控制机器人等实体机器的 AI。规划模型放在本体上运行,因为网络延迟不稳定,也不保证有网。 展开阅读 →
OTA 模型更新
把新的模型权重下发到已经出货的设备上。前提是硬件把权重放在可改写的存储里。 展开阅读 →

有具体项目要讨论?

发来目标模型、性能与功耗目标,我们回复适配路线与评估方案。

申请样机