LLM 推論チップの用語。
言語モデルをシリコンに載せるときに出てくる用語を、短く平易に定義します。詳しい解説がある用語には、その記事へのリンクを付けています。
- トークン
- 言語モデルが読み書きするテキストの単位。短い単語、長い単語の一部、あるいは句読点。英語では 1 トークンがおよそ 4 分の 3 語に当たります。 詳しく読む →
- トークン毎秒 tokens per second、token/s、TPS
- モデルが出力を生成する速さ。単独で動くひとつのリクエストについてのユーザーあたりの値か、サーバーが同時に処理する全リクエストの合計値のどちらかで示されます。 詳しく読む →
- 最初のトークンまでの時間 TTFT
- プロンプトを送ってから回答の最初のトークンが出るまでの待ち時間。音声などの対話的な用途では、デコード速度より重要です。 詳しく読む →
- LLM 推論
- 学習済みの言語モデルを実行して出力を得ること。学習とは別の工程です。推論では、同じ決まった行列演算の列をトークンごとに繰り返します。
- LLM 推論 ASIC
- 大規模言語モデルの実行だけを目的に設計されたチップ。GPU の汎用性を手放す代わりに、ワットあたりのトークン毎秒を高めます。 詳しく読む →
- モデルオンチップ ハードワイヤード LLM、モデル専用 ASIC
- 特定のひとつのモデルの重みを製造時にシリコンへ固定したチップ。実行時に重みを読み込みません。非常に高速で高効率ですが、柔軟性と引き換えです。 詳しく読む →
- メモリの壁 memory wall
- プロセッサの演算速度と、メモリがデータを供給できる速度との差。LLM ではトークンごとに全重みを読むため、これが主な制約になります。 詳しく読む →
- メモリ帯域
- メモリから毎秒何ギガバイト読めるか。重みが通常のメモリにある場合、デコード速度はメモリ帯域をモデルサイズで割った値を超えられません。 詳しく読む →
- コンピュート・イン・メモリ CIM、インメモリコンピューティング
- 積和演算をメモリアレイの中で行う回路技術。重みは記憶セルから出ません。 詳しく読む →
- MaskROM コンピュート・イン・メモリ
- 製造のマスク工程で、重みを読み出し専用のビアアレイに作り込むコンピュート・イン・メモリ。消費電力と限界コストが最も低く、モデルは固定されます。 詳しく読む →
- SRAM コンピュート・イン・メモリ SRAM CIM
- SRAM セルを使ったコンピュート・イン・メモリ。重みは電源投入時にロードするため、出荷後にモデルを入れ替えられます。 詳しく読む →
- ニアメモリ・コンピューティング NMC
- 演算ユニットを高帯域メモリのすぐ隣に置き、チップ上のストリーミングでデータの移動距離を短く保つ方式。まだ変化している大きなモデルに向いています。 詳しく読む →
- エッジ推論 オンデバイス推論
- データセンターではなく、データが生まれる機器の上でモデルを動かすこと。オフラインで動作し、データは機器の中に留まります。 詳しく読む →
- NPU ニューラルプロセッシングユニット
- スマートフォンや PC 用チップに内蔵されたニューラルネットワーク向けアクセラレータ。システムメモリを共有するため、LLM では CPU と同じ帯域の制限に当たります。 詳しく読む →
- TOPS
- 1 秒あたり 1 兆回の演算を単位とする、純粋な演算スループットの指標。メモリについては何も示さないため、LLM のデコード速度の予測には向きません。 詳しく読む →
- 量子化
- 重みを低い精度で保持すること。たとえば 16 ビット浮動小数点の代わりに 8 ビットや 4 ビットの整数を使います。モデルが小さくなり推論が速くなりますが、極端に低い精度では品質が下がります。
- テープアウト
- 完成したチップ設計を製造のためにファウンドリへ送る時点。固定費が発生するため、専用チップには数量が必要です。 詳しく読む →
- マスクセット
- チップの各層を定義するフォトマスク一式。MaskROM 設計では、モデルの重みがマスクセットの一部になります。 詳しく読む →
- FPGA プロトタイピング
- テープアウトの前に、チップ設計を再プログラム可能なロジックの上で動かし、実際のモデルとデータで機能と性能を確認すること。 詳しく読む →
- 推論 IP コア
- あるクラスのモデルアーキテクチャを実行する、ライセンス可能なチップ設計ブロック。顧客が自社の ASIC、SoC、FPGA に組み込みます。 詳しく読む →
- ハイブリッドアテンション
- 線形アテンションの層とフルアテンションの層を混ぜたモデルアーキテクチャ。Qwen3.5 以降で採用されています。長いコンテキストのコストを抑えつつ精度を保ちます。 詳しく読む →
- 線形アテンション
- コストが系列長に対して線形に増え、固定サイズの状態を保持するアテンション機構。ストリーミングや長いコンテキストに向いています。 詳しく読む →
- Mixture of Experts MoE、混合エキスパート
- トークンごとに重みの一部、つまり選ばれたエキスパートだけが働くモデル。限られた帯域の中で大きなモデルを動かせます。 詳しく読む →
- プロセスノード
- 28 nm や 6 nm といった、チップの製造世代。微細なノードほど多くのトランジスタを詰め込めます。成熟ノードはコストが低く、供給の見通しが立てやすくなります。
関連記事
LLM 推論 ASIC 比較:2026 年の 5 つのチップアーキテクチャGPU、ウェハースケールエンジン、LPU、トランスフォーマー専用 ASIC、モデルオンチップ。LLM 推論の 5 つのアーキテクチャの違い、公表されているトークン毎秒、その数値に含まれていないものを整理します。
トークン毎秒(tokens/s)とは:LLM はどのくらい速ければよいかトークン毎秒が何を測るのか、読む速さや話す速さとの関係、ユーザーあたりと合計の数値が違う理由、機器上でメモリ帯域が上限を決める仕組みを解説します。
コンピュート・イン・メモリAIチップとは? 3つの技術ルートを解説コンピュート・イン・メモリAIチップは、積和演算をメモリアレイの中で行い、重みを動かしません。MaskROM、SRAM CIM、ニアメモリ演算の違いを解説します。
具体的なプロジェクトをご検討中ですか?
対象モデルと、性能・消費電力の目標をお送りください。適したルートと評価計画をご返信します。
