跳到正文

推理算力 · 推理成本 · token 成本 · 端側推理 · AI 晶片成本

推理算力成本怎麼算:API、自建 GPU 與買斷式晶片的三年賬

燔石半導體技術團隊 · 釋出

推理算力成本有三種口徑:API 按每百萬 token 計價,是持續支出;自建 GPU 按卡時租金或折舊攤到每百萬 token,通常在個位數人民幣;端側專用晶片一次買斷,此後每次推理的邊際成本趨近於零。日均 1000 萬 token 的負載下,三年 API 賬單與一顆一兩千元的晶片相差可達三個數量級。

三種口徑

API 呼叫:按輸入與輸出 token 分別計價。2026 年公開價格,海外旗艦模型折算後在每百萬 token 50 到 130 元人民幣,國內模型在 0.5 到 16 元之間。它的特點是零前期投入、無限彈性,但支出隨用量線性增長,永遠不會結束。

自建雲 GPU:按卡時租金或採購折舊計算。以 H100 中位租金攤到吞吐上,綜合推理成本大約每百萬 token 5 元。它比旗艦 API 便宜一個數量級,但需要運維、有利用率風險,而且對端側裝置來說並不適用:資料還是要上雲。

端側專用晶片:一次性買斷,價格通常在幾百到幾千元一顆。買斷後每次推理只消耗電,邊際成本趨近於零。它的約束是模型規模由晶片決定,前期要做裝置整合。

一個可以復算的例子

假設一臺裝置日均處理 1000 萬 token。按每百萬 token 126 元的旗艦 API 計價,一天 1260 元,三年約 138 萬元。按每百萬 token 5 元的自建 GPU 估算,三年約 5.5 萬元。按一顆 1500 元買斷的端側晶片,三年就是 1500 元,加上電費。

回本週期的演算法很簡單:晶片價格除以每月 API 支出。上面的例子裡,每月 API 支出約 3.8 萬元,晶片第一個月就回本。把日均用量降到 10 萬 token,每月 API 支出約 380 元,回本也在四個月以內。

燔石網站的成本測算器就是按這個口徑做的,可以自己拖動日均用量和晶片價格看結果。

賬單之外的三個變數

延遲:API 有網路往返,端側沒有。對語音互動和即時控制,這是體驗差異,不是成本差異。

資料:API 要求資料上雲,端側不需要。對專網和涉密場景,這決定了方案能不能用。

模型:API 隨時可以換最新模型,MaskROM 晶片的模型是固化的。如果業務依賴模型能力的持續提升,要選近存計算或 SRAM 存內計算路線,或者接受「裝置側跑穩定模型、複雜任務再上雲」的混合架構。

什麼時候該換成端側

三個訊號:月度 API 賬單已經超過一顆晶片的價格;裝置數量大到運維一個雲端推理叢集不划算;或者業務上根本不允許資料離開裝置。滿足任何一條,就值得把端側方案放進評估。

把問題帶到你的專案裡

發來目標模型、效能與功耗目標,我們回覆適配路線與評估方案。

申請樣機