
· Model-on-Chip · 大模型固化晶片
Model-on-Chip 是什麼?把大模型固化進晶片的專用 ASIC:雲端與端側
Model-on-Chip(模型固化晶片、模型專用 ASIC)把某一個大模型的權重直接做進矽晶片,換來數量級的速度與能效。原理、Taalas HC1 證明了什麼、雲端與端側的區別,以及評估供應商時該問的問題。

· Model-on-Chip · 大模型固化晶片
Model-on-Chip(模型固化晶片、模型專用 ASIC)把某一個大模型的權重直接做進矽晶片,換來數量級的速度與能效。原理、Taalas HC1 證明了什麼、雲端與端側的區別,以及評估供應商時該問的問題。

· 大模型推理 ASIC · 推理晶片對比
GPU、晶圓級引擎、LPU、Transformer 專用 ASIC 與模型固化晶片(Model-on-Chip):五種大模型推理架構的區別、各自公開的 token/s,以及這些數字沒有告訴你的事。

· token/s · 每秒 token 數
token/s(每秒 token 數)衡量什麼、和人的閱讀與說話速度相比是什麼水平、單使用者與合計吞吐為什麼不同,以及裝置上為什麼被記憶體頻寬卡住。

· 不用 GPU 跑大模型 · 端側大模型硬體
CPU、NPU、嵌入式 GPU 模組、FPGA 還是專用大模型晶片:端側跑大模型的五種硬體方案各自能做到什麼、被什麼卡住,以及什麼時候值得上專用晶片。

· Taalas HC1 · Taalas HC1 參數
Taalas HC1 是什麼,公開了哪些參數,把 Llama 3.1 8B 固化進晶片為什麼能到每秒約 17,000 token,侷限在哪裡,同一個思路放到裝置裡為什麼是另一種做法。

· NPU 和 GPU 的區別 · NPU 跑大模型
在裝置裡跑大模型,NPU、嵌入式 GPU 模組和專用大模型晶片有什麼不同:各自卡在哪裡,功耗和靈活性的代價是什麼,應該怎麼選。

· 機器人 端側大模型 · 具身智慧 晶片
機器人為什麼要把語言模型和視覺語言模型放在本體上跑,控制迴路、功耗預算和網路條件對推理硬體提出了什麼要求,晶片該怎麼選型。

· 離線大模型 裝置 · 離線翻譯機 晶片
在電池供電的裝置裡完全離線地跑一個語言模型需要什麼:一到三瓦的整機預算,為什麼小模型加固定權重正合適,選晶片前要確認哪些事。


· 存算一體晶片 · Compute-in-Memory
存算一體晶片把乘加運算放進儲存陣列,權重不再在記憶體與計算單元之間搬運。本文解釋它解決的問題、MaskROM / SRAM CIM / 近存計算三條路線的區別,以及各自適合的端側場景。

· 端側推理晶片 · 邊緣AI晶片
為裝置選端側推理晶片時,真正決定成敗的不是峰值算力,而是模型是否放得下、功耗是否撐得住、模型能不能更新。本文給出七個必須先回答的問題和一張選型清單。

· 推理算力 · 推理成本
推理算力的賬要按三年算:API 按 token 計費、自建 GPU 按卡時攤銷、專用晶片一次買斷。本文給出三種方式的計算口徑、一個可復算的例子,以及回本週期的估算方法。

· MaskROM · 光罩存算一體
MaskROM 光罩存算一體在投片的光罩環節把模型權重物理寫入矽晶片通孔陣列,執行時零權重搬運。本文解釋它的工作方式、為什麼功耗和邊際成本最低、它的限制,以及適合的產品形態。

· 大模型 FPGA · 推理 IP
在投片之前用 FPGA 把大模型推理核心跑起來,能提前驗證模型對映、介面與系統鏈路。本文說明推理 IP 授權的內容、FPGA 評估板在專案中的位置,以及從評估到 ASIC 的典型節奏。

· 記憶體牆 · 端側大模型
大模型推理在解碼階段是頻寬受限的:每生成一個 token 都要讀一遍全部權重。端側裝置的頻寬與功耗預算撐不起這種搬運,這就是記憶體牆。本文用數字說明這堵牆有多高,以及存算一體與近存計算如何繞過它。
發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。