本文へスキップ

LLM推論コスト · トークン単価 · APIと自社運用GPU · エッジAIチップのコスト · オンデバイス推論

LLM推論コスト:API、クラウドGPU、エッジチップを3年間で比較

Fanshi Semiconductor エンジニアリングチーム · 公開

LLMの推論コストには3つの形があります。APIは100万トークン単位で課金され、継続的な支出になります。自社運用のクラウドGPUは、レンタル料や減価償却を均すと100万トークンあたり約0.70ドルです。専用のエッジチップは一度購入すれば、その後の推論1回あたりの限界コストはゼロに近づきます。1日1,000万トークンの場合、最先端モデルのAPIは3年間で約19万2,000ドルかかり、例として210ドルとしたチップの約1,000倍になります。

推論にお金を払う3つの方法

API:入力トークンと出力トークンは別々に課金されます。2026年の公開価格で、入力と出力をおよそ1:1で平均すると、最先端モデルは100万トークンあたり6.9から17.5ドル、低価格モデルは0.07から2.2ドルです。初期投資は不要で伸縮性にも限りがありませんが、支出は利用量に比例して増え、終わりがありません。

自社運用のクラウドGPU:GPUのレンタル時間、または購入時の減価償却で費用が決まります。2026年のH100レンタル料金の中央値をスループットで割ると、推論コストは100万トークンあたりおよそ0.70ドルです。最先端のAPIより1桁安いものの、運用チームが必要で、稼働率のリスクがあり、エッジ機器には向きません。データは結局クラウドへ送る必要があります。

専用エッジチップ:一度きりの購入です。その後の推論で消費するのは電力だけで、限界コストはゼロに近づきます。制約は、チップがモデルの規模を決めることと、機器への組み込みを前もって行う必要があることです。

自分で確かめられる計算例

ある機器が1日に1,000万トークンを処理するとします。100万トークンあたり17.5ドル(GPT-5.5、平均単価)なら、10 × 17.5ドル = 1日175ドル、3年間で 175ドル × 365 × 3 ≈ 191,600ドルです。自社運用GPUを100万トークンあたり0.70ドルとすると、10 × 0.70ドル × 1,095日 ≈ 7,700ドル。一度きりの費用を例として210ドルとしたエッジチップは、同じ3年間で210ドルのまま、あとは電気代だけです。

同じ処理量をほかのモデルで3年間使った場合:Claude Opus 4.8 は15ドルで 10 × 15ドル × 1,095 ≈ 164,000ドル、Gemini 3 Pro は6.9ドルで約75,600ドル、Qwen Max は2.2ドルで約24,100ドル、DeepSeek V3 は0.07ドルで約770ドルです。最も安いAPIでも、3年間ではチップより高くつきます。

回収期間は割り算ひとつで求められます。チップの費用 ÷ 月間API支出です。GPT-5.5 の場合、月間支出は 175ドル × 30.4 ≈ 5,320ドルなので、チップは約1日で元が取れます(210ドル ÷ 1日175ドル ≈ 1.2日)。利用量を1日10万トークンに下げると月間API支出は約53ドルになりますが、それでも4か月以内に回収できます(210ドル ÷ 53ドル ≈ 3.95)。

Fanshiのトップページにあるコスト試算ツールは、まさにこの方法を使っています。チップの費用を70ドルから420ドルの範囲で変え、1日の処理量を動かして、自分のワークロードでの結果を確認できます。

請求額以外の3つの変数

遅延:APIにはネットワークの往復が加わりますが、エッジチップにはありません。音声対話やリアルタイム制御では、この差はコストではなく体験の問題です。

データ:APIではデータをクラウドに置く必要がありますが、エッジ推論では不要です。閉域網や制限付きの環境では、それがそもそも採用を許されるかどうかを決めます。

モデル:APIはいつでも最新モデルに切り替えられますが、MaskROMチップのモデルは固定です。モデル能力の継続的な向上に事業が依存するなら、ニアメモリやSRAM コンピュート・イン・メモリのルートを選ぶか、機器側で安定したモデルを動かし、複雑な処理だけをクラウドへ回すハイブリッド構成を採用します。

推論をエッジへ移すタイミング

3つのサインに注目してください。月々のAPI請求額がすでにチップ1個の価格を超えている。機器の台数が増え、クラウドの推論クラスターを運用しても採算が合わなくなった。あるいは、事業上どうしてもデータを機器の外に出せない。どれか1つでも当てはまれば、エッジの選択肢を検討に加える十分な理由になります。

この疑問を、あなたのプロジェクトで

対象モデルと、性能・消費電力の目標をお送りください。適したルートと評価計画をご返信します。

評価キットを申し込む