本文へスキップ

LLM 推論 ASIC · AI 推論チップ 比較 · Taalas HC1 · Etched Sohu · Cerebras · Groq LPU

LLM 推論 ASIC 比較:2026 年の 5 つのチップアーキテクチャ

Fanshi Semiconductor エンジニアリングチーム · 公開

LLM 推論向けハードウェアは現在、5 つのアーキテクチャに分けられます。汎用 GPU、ウェハースケールエンジン、言語処理ユニット、トランスフォーマー専用 ASIC、そしてひとつのモデルをシリコンに固定するモデルオンチップです。違いは、速度のためにどれだけ柔軟性を手放すかにあります。同じ 8B モデルについて公表されている速度は、NVIDIA H200 のユーザーあたり毎秒約 230 トークンから、固定配線の Taalas HC1 の約 17,000 トークンまで幅があります。ただし、これらはメーカー公表値と独立した測定が混ざっており、そのまま比べることはできません。5 つはいずれもデータセンター向けの製品で、機器には別のクラスのチップが必要です。

推論が専用シリコンを持つようになった理由

GPU はモデルの学習も、任意のモデルの実行も、グラフィックスの描画もできます。推論に必要なものはずっと少なく、同じ決まった行列演算の列をトークンごとに繰り返すだけです。トークンをひとつ生成するにはモデルの全重みを読む必要があるため、限界を決めるのはたいてい演算の速さではなく、重みが演算ユニットに届く速さです。

推論の費用が学習の費用を上回るにつれ、各社は汎用性を速度と効率に替えています。以下の 5 つのアーキテクチャはその線上に並びます。表の下に行くほど、チップにできることは減り、速くなります。

5 つのアーキテクチャの概要

アーキテクチャ公開事例基本的な考え方公表されている速度柔軟性
汎用 GPUNVIDIA H200プログラム可能な並列演算。重みは隣の高帯域メモリに置くLlama 3.1 8B でユーザーあたり約 230 トークン/秒(Nvidia の基準値、heise が引用)任意のモデル。学習と推論
ウェハースケールエンジンCerebras WSE-3ウェハー大のチップひとつ。メモリも同じシリコン上にあるLlama 3.1 8B で約 1,900 トークン/秒(Artificial Analysis、heise が引用)対応する任意のモデル
言語処理ユニットGroq LPU推論専用プロセッサ。実行順序はコンパイラが決めるLlama 3.1 8B で約 600 トークン/秒(Artificial Analysis、heise が引用)対応する任意のモデル
トランスフォーマー専用 ASICEtched Sohuトランスフォーマーのデータパスをシリコンに固定。重みはメモリに残るため、モデルは変更できるメーカー公表値:8 チップのサーバーで Llama 70B 合計 500,000 トークン/秒超。2026 年半ば時点で独立したベンチマークは未公開トランスフォーマーモデルのみ
モデルオンチップTaalas HC1ひとつのモデルの重みをチップに固定配線。実行時に何も読み込まないLlama 3.1 8B でユーザーあたり約 17,000 トークン/秒(メーカー公表値)1 チップ 1 モデル。アダプターとコンテキスト長は設定可能

数値は 2026 年中のメーカー発表または報道によるもので、モデル、バッチサイズ、試験条件が異なります。ユーザーあたりの速度とサーバー全体のスループットは別の指標です。出典は末尾に記載しています。

数値に含まれていないもの

ユーザーあたりの速度と合計スループットは同じものではありません。ユーザーあたり毎秒 17,000 トークンという数値は、ひとつの会話がどれだけ速く進むかを表します。サーバーで毎秒 500,000 トークンという数値は、同時に動く多数の会話を足し合わせたものです。バッチサイズが分からなければ、一方を他方に換算することはできません。

モデルの規模と精度ですべてが変わります。8B モデルと 70B モデルは別の負荷であり、重みを 3 ビットや 4 ビットで保持するチップは、8 ビットや 16 ビットの重みで動くチップと同じ仕事をしているわけではありません。Taalas は、最初のシリコンが 3 ビットと 6 ビットのパラメータを組み合わせており、GPU の基準と比べて品質がいくらか下がると述べています。

最後に、誰が測ったかを確認してください。表の数値には、独立した計測サイトによるもの、メーカー自身の発表によるもの、第三者の確認がまったくないものが含まれます。消費電力、価格、入手性は、発表に含まれないことがよくあります。

5 つはすべてデータセンター向けの答え

表のチップはどれもラックの中にあります。ウェハースケールのシステムは数キロワットを消費し、Taalas HC1 は約 2.5 kW のサーバー向けに設計され、ほかは標準的なアクセラレータサーバーに収まります。翻訳機、自動車、ロボット、産業用カメラに入るものはひとつもありません。

機器に必要なのは、重みを動かさないという同じ発想を、1 ワットから数十ワットで、しかも量産出荷できるサプライチェーンの上で実現することです。これが第 6 のクラス、コンピュート・イン・メモリとニアメモリ・コンピューティングに基づくエッジ推論チップです。

Fanshi Semiconductor はこのクラスで、成熟した SMIC 28 nm プロセスを使っています。Forge は MaskROM コンピュート・イン・メモリを用い、Qwen 3.5 0.8B を動かすワット級の機器を対象とします。Trident はニアメモリ・コンピューティングを用い、70 W のシステム電力予算で Qwen 3.5 35B までのモデルを対象とし、重みは更新できます。Argus は SRAM コンピュート・イン・メモリを用い、リアルタイムのビジョン処理を対象とします。Fanshi の数値はすべて設計目標です。

選び方

  • モデルが数週間ごとに変わる、または学習も行う:GPU を使い続ける。
  • データセンターから少数の人気モデルを多数のユーザーに提供する:ウェハースケール、LPU、トランスフォーマー専用 ASIC のサービスを自社のプロンプトで測る価値がある。
  • 固まったひとつのモデルがトラフィックの大半を占める:モデルオンチップのアクセラレータは、柔軟性と引き換えに最高のユーザーあたり速度を出す。
  • モデルを機器の中で、オフラインで、決まった電力予算で動かす必要がある:コンピュート・イン・メモリやニアメモリ・コンピューティングのエッジチップを検討する。

よくある質問

LLM 推論 ASIC とは何ですか。

LLM 推論 ASIC は、大規模言語モデルの実行だけを目的に設計されたチップで、学習は行いません。GPU の汎用性を手放すことで、主に重みをメモリから演算ユニットへ運ぶコストというオーバーヘッドをなくし、ワットあたりのトークン毎秒を高めます。

最も速い LLM 推論チップはどれですか。

小さなモデルでのユーザーあたり速度では、公開されている最高値は Taalas HC1 の Llama 3.1 8B で毎秒約 17,000 トークンで、同社の発表によるものです。サーバー全体の合計スループットでは Etched が最高値を主張しています。これらの数値はモデルも指標も異なり、すべてが独立に検証されているわけではありません。

推論 ASIC は GPU を置き換えますか。

いいえ。学習、研究、利用の少ないモデルには引き続き汎用ハードウェアが必要です。推論 ASIC が合うのは、モデルが固まっていて、数量が非常に多いか、電力予算が非常に厳しい場面です。

LLM 推論 ASIC は機器の中で動かせますか。

データセンター向けの設計は動かせません。数百ワットから数キロワットを消費するためです。コンピュート・イン・メモリやニアメモリ・コンピューティングに基づくエッジ推論チップは 1 ワットから数十ワットを対象とし、機器向けに作られています。

出典

  1. heise online: AI inference cast in silicon: Taalas announces HC1 chip
  2. CNX Software: Taalas HC1 hardwired Llama-3.1 8B AI accelerator delivers up to 17,000 tokens/s
  3. Fast.io: Etched AI Review 2026: Sohu Chip Specs, Benchmarks, and What Actually Ships

この疑問を、あなたのプロジェクトで

対象モデルと、性能・消費電力の目標をお送りください。適したルートと評価計画をご返信します。

評価キットを申し込む