跳到正文
Token 詞元
語言模型讀寫文本的最小單位:一個短詞、長詞的一部分,或一個標點。中文裡一個漢字大約對應一個 token,具體因分詞器而異。 展開閱讀 →
token/s 每秒 token 數、TPS
模型生成輸出的速度。有兩種口徑:單使用者,指一個請求單獨執行;合計,指一臺伺服器同時處理的所有請求之和。 展開閱讀 →
首 token 延遲 TTFT
從發出提示到看到回答第一個 token 之間的等待時間。對語音等互動場景,它比解碼速度更重要。 展開閱讀 →
大模型推理
執行已經訓練好的語言模型來產生輸出,與訓練相對。推理是同一組矩陣運算,每生成一個 token 重複一遍。
大模型推理 ASIC
只為執行大語言模型設計的晶片。它放棄 GPU 的通用性,換來更高的每瓦 token 產出。 展開閱讀 →
Model-on-Chip 模型固化晶片、模型專用 ASIC、硬連線大模型
在製造時把某一個模型的權重固定進矽晶片的晶片,執行時不需要讀取權重。速度與能效極高,代價是靈活性。 展開閱讀 →
記憶體牆
處理器算得多快與記憶體供數多快之間的差距。對大模型來說它是主要瓶頸,因為每個 token 都要讀一遍全部權重。 展開閱讀 →
記憶體頻寬
每秒能從記憶體讀出多少 GB 資料。權重放在普通記憶體裡時,解碼速度不可能超過記憶體頻寬除以模型大小。 展開閱讀 →
存算一體 CIM、存內計算
讓乘加運算發生在儲存陣列內部的電路技術,權重不需要離開儲存單元。 展開閱讀 →
MaskROM 光罩存算一體
在製造的光罩環節把權重鑄入只讀通孔陣列的存算一體。功耗與邊際成本最低,模型固定不可更換。 展開閱讀 →
SRAM 存內計算 SRAM CIM
基於 SRAM 單元的存算一體。權重在上電時載入,所以可以在現場更換模型。 展開閱讀 →
近存計算 NMC
把計算單元緊貼高頻寬儲存放置,用片上流式排程縮短資料搬運的距離。適合還在快速迭代的大模型。 展開閱讀 →
端側推理 裝置端推理
在產生資料的裝置上執行模型,而不是在資料中心。可以離線工作,資料不離開裝置。 展開閱讀 →
NPU 神經網路處理器
手機或 PC 晶片裡的神經網路加速單元。它與系統共用記憶體,所以跑大模型時遇到的頻寬上限與 CPU 相同。 展開閱讀 →
TOPS
每秒萬億次運算,衡量原始算力。它不反映記憶體,所以很難用來預測大模型的解碼速度。 展開閱讀 →
量化
用更低的精度儲存權重,例如用 8 位或 4 位整數代替 16 位浮點。模型更小、推理更快,精度極低時質量會有損失。
投片
把完成的晶片設計交給晶圓廠製造的節點。它是一筆固定投入,所以專用晶片需要出貨量來攤薄。 展開閱讀 →
光罩
定義晶片每一層圖形的一組光光罩。在 MaskROM 設計裡,模型權重是光罩的一部分。 展開閱讀 →
FPGA 原型驗證
投片之前先把晶片設計跑在可重新程式設計的邏輯器件上,用真實的模型和資料檢查功能與效能。 展開閱讀 →
推理 IP 核
可以授權的晶片設計模組,負責執行某一類模型架構,由客戶整合進自己的 ASIC、SoC 或 FPGA。 展開閱讀 →
混合注意力
把線性注意力層與全注意力層混合使用的模型架構,Qwen3.5 及之後的版本採用。它在保持精度的同時壓低長上下文的開銷。 展開閱讀 →
線性注意力
開銷隨序列長度線性增長、狀態大小固定的注意力機制,適合流式處理與長上下文。 展開閱讀 →
混合專家模型 MoE
每個 token 只激活一部分權重(被選中的專家)的模型。它讓大參數量模型可以在有限頻寬內執行。 展開閱讀 →
工藝節點 製程
晶片的製造代際,例如 28nm 或 6nm。更小的節點能放下更多電晶體;成熟節點成本更低,供應更可預期。
LPU 語言處理單元
只做推理的處理器,執行順序由編譯器排定。能跑受支援的各種模型,用在資料中心。 展開閱讀 →
晶圓級引擎 wafer-scale engine
一顆和整片晶圓一樣大的晶片,運算和儲存在同一片矽上,在資料中心級功耗下縮短權重到運算單元的距離。 展開閱讀 →
解碼速度
模型開始回答之後,產生輸出 token 的快慢。通常說的 token/s 指的就是它。 展開閱讀 →
上下文視窗
模型一次能考慮的文本量,以 token 計。上下文越長,推理時需要的工作記憶體越多。
KV 快取 key-value cache
Transformer 為每個已處理的 token 保留的工作記憶體,避免重複計算。它隨上下文長度增長。
LoRA 介面卡 低秩適配
一小組附加權重,不改動基礎權重就能調整模型行為。一些固定權重的晶片因此支援介面卡。 展開閱讀 →
具身智慧 Embodied AI
控制機器人等實體機器的 AI。規劃模型放在本體上執行,因為網路延遲不穩定,也不保證有網。 展開閱讀 →
OTA 模型更新
把新的模型權重下發到已經出貨的裝置上。前提是硬體把權重放在可改寫的儲存裡。 展開閱讀 →

有具體專案要討論?

發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。

申請樣機