大模型推理晶片的常用詞。
把語言模型做進矽晶片時會反覆遇到的詞,每個給一段簡短、直白的解釋。有專文的詞條附了連結。
- Token 詞元
- 語言模型讀寫文本的最小單位:一個短詞、長詞的一部分,或一個標點。中文裡一個漢字大約對應一個 token,具體因分詞器而異。 展開閱讀 →
- token/s 每秒 token 數、TPS
- 模型生成輸出的速度。有兩種口徑:單使用者,指一個請求單獨執行;合計,指一臺伺服器同時處理的所有請求之和。 展開閱讀 →
- 首 token 延遲 TTFT
- 從發出提示到看到回答第一個 token 之間的等待時間。對語音等互動場景,它比解碼速度更重要。 展開閱讀 →
- 大模型推理
- 執行已經訓練好的語言模型來產生輸出,與訓練相對。推理是同一組矩陣運算,每生成一個 token 重複一遍。
- 大模型推理 ASIC
- 只為執行大語言模型設計的晶片。它放棄 GPU 的通用性,換來更高的每瓦 token 產出。 展開閱讀 →
- Model-on-Chip 模型固化晶片、模型專用 ASIC、硬連線大模型
- 在製造時把某一個模型的權重固定進矽晶片的晶片,執行時不需要讀取權重。速度與能效極高,代價是靈活性。 展開閱讀 →
- 記憶體牆
- 處理器算得多快與記憶體供數多快之間的差距。對大模型來說它是主要瓶頸,因為每個 token 都要讀一遍全部權重。 展開閱讀 →
- 記憶體頻寬
- 每秒能從記憶體讀出多少 GB 資料。權重放在普通記憶體裡時,解碼速度不可能超過記憶體頻寬除以模型大小。 展開閱讀 →
- 存算一體 CIM、存內計算
- 讓乘加運算發生在儲存陣列內部的電路技術,權重不需要離開儲存單元。 展開閱讀 →
- MaskROM 光罩存算一體
- 在製造的光罩環節把權重鑄入只讀通孔陣列的存算一體。功耗與邊際成本最低,模型固定不可更換。 展開閱讀 →
- SRAM 存內計算 SRAM CIM
- 基於 SRAM 單元的存算一體。權重在上電時載入,所以可以在現場更換模型。 展開閱讀 →
- 近存計算 NMC
- 把計算單元緊貼高頻寬儲存放置,用片上流式排程縮短資料搬運的距離。適合還在快速迭代的大模型。 展開閱讀 →
- 端側推理 裝置端推理
- 在產生資料的裝置上執行模型,而不是在資料中心。可以離線工作,資料不離開裝置。 展開閱讀 →
- NPU 神經網路處理器
- 手機或 PC 晶片裡的神經網路加速單元。它與系統共用記憶體,所以跑大模型時遇到的頻寬上限與 CPU 相同。 展開閱讀 →
- TOPS
- 每秒萬億次運算,衡量原始算力。它不反映記憶體,所以很難用來預測大模型的解碼速度。 展開閱讀 →
- 量化
- 用更低的精度儲存權重,例如用 8 位或 4 位整數代替 16 位浮點。模型更小、推理更快,精度極低時質量會有損失。
- 投片
- 把完成的晶片設計交給晶圓廠製造的節點。它是一筆固定投入,所以專用晶片需要出貨量來攤薄。 展開閱讀 →
- 光罩
- 定義晶片每一層圖形的一組光光罩。在 MaskROM 設計裡,模型權重是光罩的一部分。 展開閱讀 →
- FPGA 原型驗證
- 投片之前先把晶片設計跑在可重新程式設計的邏輯器件上,用真實的模型和資料檢查功能與效能。 展開閱讀 →
- 推理 IP 核
- 可以授權的晶片設計模組,負責執行某一類模型架構,由客戶整合進自己的 ASIC、SoC 或 FPGA。 展開閱讀 →
- 混合注意力
- 把線性注意力層與全注意力層混合使用的模型架構,Qwen3.5 及之後的版本採用。它在保持精度的同時壓低長上下文的開銷。 展開閱讀 →
- 線性注意力
- 開銷隨序列長度線性增長、狀態大小固定的注意力機制,適合流式處理與長上下文。 展開閱讀 →
- 混合專家模型 MoE
- 每個 token 只激活一部分權重(被選中的專家)的模型。它讓大參數量模型可以在有限頻寬內執行。 展開閱讀 →
- 工藝節點 製程
- 晶片的製造代際,例如 28nm 或 6nm。更小的節點能放下更多電晶體;成熟節點成本更低,供應更可預期。
- LPU 語言處理單元
- 只做推理的處理器,執行順序由編譯器排定。能跑受支援的各種模型,用在資料中心。 展開閱讀 →
- 晶圓級引擎 wafer-scale engine
- 一顆和整片晶圓一樣大的晶片,運算和儲存在同一片矽上,在資料中心級功耗下縮短權重到運算單元的距離。 展開閱讀 →
- 解碼速度
- 模型開始回答之後,產生輸出 token 的快慢。通常說的 token/s 指的就是它。 展開閱讀 →
- 上下文視窗
- 模型一次能考慮的文本量,以 token 計。上下文越長,推理時需要的工作記憶體越多。
- KV 快取 key-value cache
- Transformer 為每個已處理的 token 保留的工作記憶體,避免重複計算。它隨上下文長度增長。
- LoRA 介面卡 低秩適配
- 一小組附加權重,不改動基礎權重就能調整模型行為。一些固定權重的晶片因此支援介面卡。 展開閱讀 →
- 具身智慧 Embodied AI
- 控制機器人等實體機器的 AI。規劃模型放在本體上執行,因為網路延遲不穩定,也不保證有網。 展開閱讀 →
- OTA 模型更新
- 把新的模型權重下發到已經出貨的裝置上。前提是硬體把權重放在可改寫的儲存裡。 展開閱讀 →
延伸閱讀
大模型推理 ASIC 對比:2026 年的五種晶片架構GPU、晶圓級引擎、LPU、Transformer 專用 ASIC 與模型固化晶片(Model-on-Chip):五種大模型推理架構的區別、各自公開的 token/s,以及這些數字沒有告訴你的事。
token/s 是什麼意思?大模型推理速度多快才夠用token/s(每秒 token 數)衡量什麼、和人的閱讀與說話速度相比是什麼水平、單使用者與合計吞吐為什麼不同,以及裝置上為什麼被記憶體頻寬卡住。
什麼是存算一體晶片?原理、三條技術路線與適用場景存算一體晶片把乘加運算放進儲存陣列,權重不再在記憶體與計算單元之間搬運。本文解釋它解決的問題、MaskROM / SRAM CIM / 近存計算三條路線的區別,以及各自適合的端側場景。
有具體專案要討論?
發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。
