跳到正文

記憶體牆 · 端側大模型 · 推理頻寬 · 存算一體 · 近存計算

記憶體牆:為什麼端側大模型跑不動,以及怎麼繞過去

燔石半導體技術團隊 · 釋出

記憶體牆指的是處理器計算能力增長遠快於儲存頻寬增長,導致計算單元大部分時間在等資料。對大模型解碼而言,每個 token 都要讀一遍全部權重,吞吐上限等於頻寬除以模型大小。端側裝置頻寬只有數十 GB/s,因此傳統架構下跑不動像樣的大模型;存算一體和近存計算通過讓權重不搬運或少搬運來繞過這堵牆。

一道除法

解碼階段的吞吐上限可以用一道除法估算:每秒能生成的 token 數 = 儲存頻寬 ÷ 每個 token 需要讀取的權重位元組數。一個 1B 參數、INT8 精度的模型,每個 token 要讀約 1 GB。頻寬 50 GB/s 的端側裝置,上限就是每秒 50 個 token,而且這是理論峰值,實際還要打折。

把模型換成 7B,同樣的裝置只剩每秒 7 個 token;換成 35B,每秒 1 個多。這不是算力不夠,是搬不動。給它再多 TOPS 也沒用,因為計算單元大部分時間在等權重到達。

資料中心怎麼扛,端側為什麼扛不了

資料中心的答案是 HBM:幾 TB/s 的頻寬,把這道除法的分子做大。代價是功耗幾百瓦、成本幾萬元、封裝複雜。這些在端側都不成立:隨身裝置只有幾瓦,車載和機器人只有幾十瓦,成本要壓到幾百上千元。

所以在傳統架構下,端側大模型只有兩條路:把模型壓到很小,或者接受很慢。兩條路都不好走。

繞過去:讓權重不搬

存算一體把乘加做進儲存陣列,權重原地參與計算,匯流排上只走激活。激活的資料量比權重小几個數量級,頻寬不再是瓶頸。MaskROM 光罩存算一體走得最遠:權重在投片時鑄進矽晶片,連讀出都省了。

近存計算則把計算單元緊貼高頻寬儲存,用片上流式排程讓每次讀出的權重被充分複用,把搬運的次數和距離壓到最低。它保留了模型可更新的靈活性,適合參數量大、還在演進的模型。

兩條路線的共同點是把那道除法的分母變小或者乾脆消掉,而不是盲目做大分子。這就是為什麼它們能在成熟的 28nm 工藝上跑起端側大模型。

對產品意味著什麼

解碼速度從「每秒幾個 token」變成「每秒上萬 token」,語音互動不再有停頓,多路併發成為可能;整機功耗從十幾瓦降到單瓦級,隨身裝置可以全天離線執行;沒有 DRAM 或 HBM,整機 BOM 和散熱設計都簡化了。

燔石半導體的量產晶片分別對應 MaskROM、SRAM 存內計算與近存計算三條路線。想判斷自己的產品該走哪條,可以先看《端側推理晶片怎麼選》。

把問題帶到你的專案裡

發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。

申請樣機