跳到正文

車載大模型 · 座艙大模型 晶片 · 端側大模型 汽車 · 離線語音助手 車載 · 車載推理晶片

車載大模型為什麼要上車:座艙助手的端側推理

燔石半導體技術團隊 · 釋出

基於語言模型的座艙助手,在隧道里、地下車庫裡、沒有訊號的路上都得能回答。它處理的是車裡每個人說的話;一輛車要用十年以上,這期間雲端模型每次請求都要計費。這些壓力把推理推到了車上。硬體於是需要:足夠支撐多步助手的每秒 token 數,幾十瓦的功耗預算,可以通過 OTA 更新的權重,以及和車型專案一樣長的供貨週期。

為什麼不用雲端

車斷網是常事:隧道、車庫、鄉道、過境。助手在這些地方不出聲,司機就學會了不依賴它。模型在車上跑,響應就和訊號無關。

還有兩個原因。座艙裡的語音是司機和每位乘客的個人資料,留在車內,在很多市場合規都簡單得多。一輛車要用十年以上,按次計費的雲端成本攤到整個生命週期,是車企為每一輛賣出去的車揹著的負債。

助手實際在算什麼

任務輸出給誰用關鍵點
喚醒詞與語音識別系統常開,功耗要極低
理解請求並選擇動作車內軟體token/s;司機等的是動作,不是文字
多步任務,比如帶途經點和條件的導航軟體,分多次呼叫模型整條鏈路上的 token/s
語音回覆司機首 token 時間短
讀使用者手冊、總結訊息司機上下文長度和穩定的速度

多步請求裡的大部分 token,在司機聽到任何聲音之前就已經被軟體用掉了。

車上的硬體預算

座艙域能給這類負載的通常是十到七十瓦,被動散熱或共用散熱,溫度變化範圍大。這足夠在專門的硬體上跑一箇中等規模的模型,放不下資料中心的加速器。

座艙裡的通用處理器受記憶體頻寬限制,而且這塊記憶體還要分給螢幕和其他功能。解碼速度超不過頻寬除以模型大小。近存計算把運算單元放在專用的高頻寬儲存旁邊,抬高了這個上限。

為什麼權重要能更新

一輛車會持續收到好幾年的軟體更新,上市時裝的模型不會是第五年的模型。在製造時固定權重的硬體,不適合做主助手。近存計算把權重放在片外儲存裡,新模型像其他更新一樣通過 OTA 下發。

固定權重的晶片在車上仍然有位置:那些小而穩定、要求極低功耗下即時響應的功能。

燔石的鎮嶽 Trident 面向這一類,走近存計算:目標是在 70W 系統功耗內執行最大 Qwen 3.5 35B 的模型,權重可更新。以上為設計目標,最終規格按專案確認。

該問供應商的問題

  • 目前支援哪些模型?新模型怎麼送到已經上路的車上?
  • 按實際出貨的精度,token/s 是多少?是實測還是設計目標?
  • 工作溫度範圍和車規認證計劃是什麼?
  • 承諾供貨多久?用的是哪個工藝節點?
  • 有沒有評估平臺,可以在定硬體之前把自己的助手跑起來?

常見問題

車可以在沒有網路的情況下跑大模型嗎?

可以。有了車載推理晶片,模型完全在車內執行,助手在隧道、車庫和沒有訊號的地方都能用。

車上能跑多大的模型?

在幾十瓦的預算內,近存計算面向的是幾十億到數百億參數的模型。實際能用多大,取決於助手需要的每秒 token 數。

車上的模型怎麼更新?

如果晶片把權重放在片外儲存裡,新模型和其他車載軟體一樣通過 OTA 下發。

車載助手為什麼需要很高的 token/s?

一個多步請求要呼叫模型好幾次,輸出由軟體使用。司機要等它們全部完成,所以速度直接變成更短的等待。

把問題帶到你的專案裡

發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。

申請樣機