NPU と GPU の違い · NPU LLM · オンデバイス LLM チップ · エッジ AI アクセラレータ · LLM ASIC
NPU・GPU モジュール・専用チップ:オンデバイス LLM にはどれを選ぶか
Fanshi Semiconductor エンジニアリングチーム · 公開

NPU、組み込み GPU モジュール、専用 LLM チップはいずれも機器の中で言語モデルを動かせますが、弱点はそれぞれ違います。NPU はすでに製品に入っていて追加コストがかかりませんが、システムメモリを共有し、ベンダーのツールチェーンに依存します。GPU モジュールはメモリに収まる任意のモデルを動かせますが、数十ワットを消費します。専用チップはメモリのボトルネックをなくし消費電力も最小ですが、モデルをあらかじめ決める必要があります。選択は三つの問いで決まります。モデルはどれだけ固まっているか、何台出荷するか、何ワット使えるか。
三つの部品、三つのボトルネック
三つとも行う演算は同じです。違いは、その演算のあいだ重みがどこにあるかです。トークンをひとつ生成するにはモデルのすべての重みを読む必要があるからです。
NPU は、プロセッサやディスプレイなどと共有するシステムメモリから重みを読みます。組み込み GPU モジュールは専用の高速メモリを持ち、その代償を消費電力で払います。専用 LLM チップは重みを演算部の中かすぐ隣に置くため、そもそも取りに行きません。
並べて比べる
| スマートフォンや PC 用チップ内の NPU | 組み込み GPU モジュール | 専用 LLM チップ | |
|---|---|---|---|
| 重みの置き場所 | 共有のシステムメモリ | モジュール専用のメモリ | 演算アレイの中または隣 |
| トークン毎秒を制限するもの | システムメモリの帯域と、ツールチェーンが対応する演算 | モジュールのメモリ帯域 | 設計時に決まる。帯域には縛られない |
| 典型的な消費電力 | ホストチップの予算の一部 | 数十ワット | モデル規模に応じて 1 ワットから数十ワット |
| モデルの変更 | ベンダーのツールチェーンがコンパイルできるモデル | メモリに収まる任意のモデル | 方式による:製造時に固定、電源投入時に再ロード、外部メモリで更新 |
| 初期費用 | ホストチップ以外には不要 | 1 台ごとのモジュール価格 | テープアウト 1 回分を数量で分担 |
| 最も合う場面 | 製品がすでにそのチップを使い、小さなモデルで足りる | 数量が少ない、またはモデルがよく変わる | モデルが固まり、数量が多く、電力が厳しい |
定性的な比較です。実際の数値は部品、モデル、精度によって変わります。
NPU の限界
NPU の指標は TOPS、つまり 1 秒あたりの演算回数です。この数値はメモリについて何も示しません。言語モデルの上限はメモリ帯域をモデルサイズで割った値であり、NPU はシステム全体と同じメモリを使います。
二つ目の制約はソフトウェアです。モデルに含まれるすべての演算にベンダーのツールチェーンが対応していなければ、NPU では動きません。新しいアーキテクチャはツールチェーンより先に登場することが多く、未対応の部分は CPU に戻されます。
すでにそのチップを積んだ製品で小さなモデルを動かすなら、NPU は妥当な最初の選択です。モデルが大きくなるか、応答の速さが必要になると足りなくなります。
GPU モジュールの限界
GPU モジュールは最も柔軟な選択肢です。メモリに収まるモデルなら何でも動き、ソフトウェアも成熟しています。代償は消費電力、発熱、単価です。数十ワットとヒートシンクが必要なため、携帯機器やほとんどの電池駆動製品には使えません。
また、メモリ帯域の制約からも逃れられません。同じモジュールでは、モデルが大きいほど毎秒のトークン数はその分だけ減ります。
専用チップが正解になるとき
専用チップが意味を持つのは三つの条件がそろうときです。モデルが製品寿命のあいだ固まっているか、ひとつのファミリーの中でしか変わらないこと。テープアウトの費用を分担できる数量が出ること。汎用部品では収まらないほど電力予算が厳しいこと。
モデルがどこまで固定されるかは方式によります。MaskROM コンピュート・イン・メモリは製造時に重みを固定します。SRAM コンピュート・イン・メモリは電源投入時にロードします。ニアメモリ方式は外部メモリに置き、ファームウェアのように更新します。
Fanshi は三つの方式すべてでチップを作り、自社で SoC を設計するチーム向けに推論コアを IP としてライセンスしています。公開している数値は設計目標です。
短い判断の道筋
- モデルが 10 億パラメータ程度以下で、毎秒数トークンで足りる:まず手元の NPU を使う。
- モデルが数週間ごとに変わる、または数量が少ない:GPU モジュールを使う。
- モデルが固まり、数量が多く、予算が数ワット:専用チップを検討し、まず FPGA ボードで試す。
- 自社で SoC を設計している:チップを追加せず、推論コアをライセンスする。
よくある質問
LLM では NPU のほうが GPU より速いのですか。
一般にはそうではありません。どちらもメモリから重みを読む速さで制限されます。NPU はシステムメモリを共有するため、言語モデルでは専用メモリを持つ GPU モジュールよりトークン毎秒が低くなるのが普通です。
TOPS が高くてもテキスト生成が速くならないのはなぜですか。
TOPS は演算回数を数えるだけで、メモリを考慮しません。言語モデルのデコード速度はメモリ帯域をモデルサイズで割った値が上限で、それを超える演算能力は使われません。
専用 LLM チップは後から別のモデルを動かせますか。
方式によります。SRAM コンピュート・イン・メモリとニアメモリの設計は新しい重みをロードできます。MaskROM の設計は製造時に重みを固定するため、新しいモデルには新しいマスクが必要です。
NPU と LLM 推論 IP コアの違いは何ですか。
NPU はチップに組み込み済みの汎用ニューラルネットワークアクセラレータです。推論 IP コアは特定のモデルアーキテクチャ向けの設計ブロックで、チップ開発チームが自社の SoC に組み込みます。


