跳到正文

離線大模型 裝置 · 離線翻譯機 晶片 · 隨身裝置 端側大模型 · 低功耗 大模型晶片 · AI 玩具 晶片

離線大模型裝進隨身裝置:翻譯機、錄音筆、AI 耳機與玩具

燔石半導體技術團隊 · 釋出

翻譯機、錄音筆、耳機、玩具,整機只有一到三瓦,電池還要撐一整天。在這裡跑語言模型,意味著模型要小,通常在十億參數以內,硬體也不能把電花在搬運權重上。這類產品出貨量大,模型在整個產品生命週期裡不變,所以最適合把模型直接固化進晶片。

為什麼要離線

這些產品用在飛機上、沒有流量的國外、教室裡、會議中,還會交到孩子手裡。斷網就不能用的功能,等於在最需要的時候失靈。離線也意味著語音不會被送到伺服器,這對錄音、會議和兒童產品都很重要。

還有成本。雲端模型只要裝置在用,每次請求都要計費。模型在裝置裡,硬體的錢付完之後,每次請求不再花錢。

預算

約束典型範圍排除了什麼
整機功耗一到三瓦GPU 模組,起步就是幾十瓦
續航用滿一整天待機功耗高的方案
物料成本計算部分只有幾美元帶大記憶體的先進工藝處理器
體積與散熱沒有風扇,熱容量很小需要主動散熱的方案
響應語音要很快開始首 token 時間長的硬體

以上是這類產品的典型範圍,具體因產品而異。

為什麼小模型加固定權重正合適

在一到三瓦里,實際能用的模型在十億參數以內。這個規模的模型現在已經能把翻譯、摘要、對話和指令理解做到可以出貨的水平。

這類產品還有一個別的產品少有的特點:模型選定一次,整個產品生命週期都不換。這就可以在製造時把權重固化進晶片。MaskROM 存算一體的權重就是矽晶片的一部分,運算也在同一個陣列裡完成,不用花電去搬權重,也不需要為權重再配一顆儲存晶片。

燔石的逐火 Forge 走的就是這條路線,面向單瓦級裝置裡的 Qwen 3.5 0.8B,設計目標是 17,000 token/s。在這個速度下,一段完整的回覆在零點幾秒內生成,晶片大部分時間處於空閒,這正是電池需要的。

小裝置裡,速度換來什麼

人聽和讀都很慢,所以看起來隨身裝置每秒幾個 token 就夠了。有三件事改變了這個判斷。晶片算得快,就能早點回去休眠,省電。翻譯和摘要處理的是整段內容,等待時間等於總長度除以速度。新一代小模型會先推理再回答,每句回覆背後的 token 數成倍增加。

選晶片前要確認什麼

  • 晶片裡固定的是哪個模型?同一家族的新模型能不能複用這套設計?
  • token/s 是實測還是設計目標?對應什麼精度?
  • 待機功耗是多少,而不只是生成時的功耗?
  • 有沒有評估板,可以用自己的提示詞和語種測試?
  • 最小起訂量和供貨節奏是怎樣的?

常見問題

翻譯機可以完全離線跑大模型嗎?

可以。十億參數以內的模型,在為此設計的硬體上能跑在一到三瓦的預算裡,不需要聯網。

電池供電的裝置裡能放多大的模型?

一到三瓦的預算下,十億參數以內的模型比較實際。更大的模型需要近存計算和幾十瓦的功耗。

模型需要更換怎麼辦?

MaskROM 晶片換模型需要新的光罩,不過同一家族的新模型可以複用架構。如果預計模型會在出貨後更換,SRAM 或近存路線更合適。

為什麼不直接用裝置裡已有的處理器?

通用處理器每生成一個 token 都要從共享記憶體裡把權重讀一遍,費時也費電。存算一體晶片在存放權重的地方直接完成運算。

把問題帶到你的專案裡

發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。

申請樣機