跳到正文

Model-on-Chip · 大模型固化晶片 · 模型專用 ASIC · Taalas HC1 · 端側大模型晶片

Model-on-Chip 是什麼?把大模型固化進晶片的專用 ASIC:雲端與端側

燔石半導體技術團隊 · 釋出 · 更新

模型專用 ASIC(也叫硬連線大模型晶片)把某一個大模型的權重在製造時固定進矽晶片,推理時不再從記憶體搬運權重,因此解碼速度與能效可以比通用 GPU 高出數量級。它的代價是模型不可隨意更換。按部署位置分為兩類:雲端追求每機架的 token 吞吐與單 token 成本,端側追求瓦級功耗、離線可用與整機成本。

「固化」到底指什麼

通用 GPU 是一臺可以執行任何模型的機器:權重放在視訊記憶體裡,每生成一個 token 都要讀一遍。模型專用 ASIC 反過來,在設計階段就確定要跑哪一個模型,把權重寫進光罩 ROM 或金屬層,成為晶片結構的一部分。晶片出廠時,模型已經在裡面。

這樣做省掉的是整個推理過程中最貴的一步:搬運權重。計算單元不再等資料,頻寬不再是上限,功耗也不再大多花在路上。

為什麼是現在

兩件事讓這條路從理論變成了產品。第一,模型家族的結構開始穩定:同一家族的新版本往往沿用上一代的層結構,為一個模型做的晶片架構可以被下一代複用。第二,推理的賬單越來越大,按 token 付費的成本與算力的電力成本,都在逼著行業為「最常用的那幾個模型」做專用硬體。

它不會取代 GPU。訓練、研究與長尾模型仍然需要通用硬體;專用 ASIC 適合的是模型已經定型、呼叫量巨大或功耗預算極緊的場景。

雲端與端側:目標完全不同

雲端的模型專用晶片放在資料中心裡,對標的是 GPU 伺服器:比的是每機架每秒多少 token、每百萬 token 多少錢,通常使用較先進的製程,功耗在數百瓦量級。

端側的模型專用晶片放在裝置裡:翻譯機、車機、機器人、工業相機。比的是能不能在一瓦到幾十瓦里跑起來、斷網能不能用、整機成本增加多少。資料不離開裝置,這在專網與隱私敏感的場景裡是硬性要求。

燔石半導體做的是端側這一類:基於成熟 SMIC 28nm 供應鏈,提供 MaskROM 光罩存算一體、SRAM 存內計算與近存計算三條路線,覆蓋從單瓦級終端到跑 35B 模型的重載節點。相關數字均為設計目標口徑。

公開的參照:Taalas HC1

最清楚的公開案例是 2026 年 2 月釋出的 Taalas HC1。按廠商說明與媒體報道,它把 Llama 3.1 8B 硬連線進一顆約 530 億電晶體的 ASIC,採用台積電 6nm 工藝,晶片面積 815 平方毫米,單使用者速度接近每秒 17,000 token。同一個模型,報道引用的輝達 H200 約為每秒 230 token,Cerebras 在第三方測試里約為每秒 1,900 token。

評估這條路線時有兩個細節值得注意。按廠商自己的說明,第一代矽晶片量化得很激進,混合使用 3 位與 6 位參數,回答質量相對 GPU 基準有所下降。另外它是資料中心產品,面向約 2.5 千瓦的伺服器,裝不進裝置。

端側做的是同一件事,也就是讓權重不再搬運,只是放在成熟工藝上,面向一瓦到幾十瓦能承載的模型。

評估供應商時該問什麼

第一,模型更新怎麼辦:換模型是換光罩、重新載入,還是直接更新外存?同一家族的新模型能不能複用現有架構?第二,頁面上的數字是實測還是設計目標,對應哪個模型、什麼精度、什麼測試條件。第三,投片之前能不能先拿到評估板,用自己的模型和資料跑一遍。第四,工藝與供應鏈是否可控,交付節奏由什麼決定。

如果你正在為裝置評估這類晶片,可以在燔石官網的意向簡報頁用兩分鐘描述模型、裝置、功耗與數量,工程團隊會按你的專案回覆。

常見問題

固化進晶片的模型還能更新嗎?

取決於權重放在哪裡。光罩 ROM 路線的權重是光罩的一部分,換模型需要換光罩;部分設計仍支援介面卡(LoRA)式的調整和可配置的上下文長度。SRAM 存內計算路線的權重在上電時載入,可以更換。近存計算路線的權重放在外存裡,可以像韌體一樣更新。

Model-on-Chip 和存算一體是一回事嗎?

有重疊,但不是一回事。Model-on-Chip 說的是產品決策:把某一個模型固定進矽晶片。存算一體說的是電路技術:運算發生在儲存陣列內部。在陣列裡完成計算的光罩 ROM 晶片兩者都是;SRAM 存內計算晶片是存算一體,但模型並不固定。

固化大模型的晶片能跑多快?

公開的參照是 Taalas HC1:廠商公佈在 Llama 3.1 8B 上單使用者接近每秒 17,000 token。這是廠商口徑,對應某一個模型和某一種量化精度。評估任何晶片時,都要問清數字是實測還是設計目標,對應哪個模型、什麼精度。

燔石和 Taalas 有關係嗎?

沒有。燔石半導體與 Taalas 無隸屬或合作關係,只是技術方向相近:Taalas 做資料中心加速器,燔石做端側裝置用的晶片與 IP。

參考來源

  1. heise online:AI inference cast in silicon: Taalas announces HC1 chip
  2. CNX Software:Taalas HC1 hardwired Llama-3.1 8B AI accelerator delivers up to 17,000 tokens/s

把問題帶到你的專案裡

發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。

申請樣機