LLM推論コスト · トークン単価 · APIと自社運用GPU · エッジAIチップのコスト · オンデバイス推論
LLM推論コスト:API、クラウドGPU、エッジチップを3年間で比較
Fanshi Semiconductor エンジニアリングチーム · 公開

LLMの推論コストには3つの形があります。APIは100万トークン単位で課金され、継続的な支出になります。自社運用のクラウドGPUは、レンタル料や減価償却を均すと100万トークンあたり約0.70ドルです。専用のエッジチップは一度購入すれば、その後の推論1回あたりの限界コストはゼロに近づきます。1日1,000万トークンの場合、最先端モデルのAPIは3年間で約19万2,000ドルかかり、例として210ドルとしたチップの約1,000倍になります。
推論にお金を払う3つの方法
API:入力トークンと出力トークンは別々に課金されます。2026年の公開価格で、入力と出力をおよそ1:1で平均すると、最先端モデルは100万トークンあたり6.9から17.5ドル、低価格モデルは0.07から2.2ドルです。初期投資は不要で伸縮性にも限りがありませんが、支出は利用量に比例して増え、終わりがありません。
自社運用のクラウドGPU:GPUのレンタル時間、または購入時の減価償却で費用が決まります。2026年のH100レンタル料金の中央値をスループットで割ると、推論コストは100万トークンあたりおよそ0.70ドルです。最先端のAPIより1桁安いものの、運用チームが必要で、稼働率のリスクがあり、エッジ機器には向きません。データは結局クラウドへ送る必要があります。
専用エッジチップ:一度きりの購入です。その後の推論で消費するのは電力だけで、限界コストはゼロに近づきます。制約は、チップがモデルの規模を決めることと、機器への組み込みを前もって行う必要があることです。
自分で確かめられる計算例
ある機器が1日に1,000万トークンを処理するとします。100万トークンあたり17.5ドル(GPT-5.5、平均単価)なら、10 × 17.5ドル = 1日175ドル、3年間で 175ドル × 365 × 3 ≈ 191,600ドルです。自社運用GPUを100万トークンあたり0.70ドルとすると、10 × 0.70ドル × 1,095日 ≈ 7,700ドル。一度きりの費用を例として210ドルとしたエッジチップは、同じ3年間で210ドルのまま、あとは電気代だけです。
同じ処理量をほかのモデルで3年間使った場合:Claude Opus 4.8 は15ドルで 10 × 15ドル × 1,095 ≈ 164,000ドル、Gemini 3 Pro は6.9ドルで約75,600ドル、Qwen Max は2.2ドルで約24,100ドル、DeepSeek V3 は0.07ドルで約770ドルです。最も安いAPIでも、3年間ではチップより高くつきます。
回収期間は割り算ひとつで求められます。チップの費用 ÷ 月間API支出です。GPT-5.5 の場合、月間支出は 175ドル × 30.4 ≈ 5,320ドルなので、チップは約1日で元が取れます(210ドル ÷ 1日175ドル ≈ 1.2日)。利用量を1日10万トークンに下げると月間API支出は約53ドルになりますが、それでも4か月以内に回収できます(210ドル ÷ 53ドル ≈ 3.95)。
Fanshiのトップページにあるコスト試算ツールは、まさにこの方法を使っています。チップの費用を70ドルから420ドルの範囲で変え、1日の処理量を動かして、自分のワークロードでの結果を確認できます。
請求額以外の3つの変数
遅延:APIにはネットワークの往復が加わりますが、エッジチップにはありません。音声対話やリアルタイム制御では、この差はコストではなく体験の問題です。
データ:APIではデータをクラウドに置く必要がありますが、エッジ推論では不要です。閉域網や制限付きの環境では、それがそもそも採用を許されるかどうかを決めます。
モデル:APIはいつでも最新モデルに切り替えられますが、MaskROMチップのモデルは固定です。モデル能力の継続的な向上に事業が依存するなら、ニアメモリやSRAM コンピュート・イン・メモリのルートを選ぶか、機器側で安定したモデルを動かし、複雑な処理だけをクラウドへ回すハイブリッド構成を採用します。
推論をエッジへ移すタイミング
3つのサインに注目してください。月々のAPI請求額がすでにチップ1個の価格を超えている。機器の台数が増え、クラウドの推論クラスターを運用しても採算が合わなくなった。あるいは、事業上どうしてもデータを機器の外に出せない。どれか1つでも当てはまれば、エッジの選択肢を検討に加える十分な理由になります。



