本文へスキップ

NPU と GPU の違い · NPU LLM · オンデバイス LLM チップ · エッジ AI アクセラレータ · LLM ASIC

NPU・GPU モジュール・専用チップ:オンデバイス LLM にはどれを選ぶか

Fanshi Semiconductor エンジニアリングチーム · 公開

NPU、組み込み GPU モジュール、専用 LLM チップはいずれも機器の中で言語モデルを動かせますが、弱点はそれぞれ違います。NPU はすでに製品に入っていて追加コストがかかりませんが、システムメモリを共有し、ベンダーのツールチェーンに依存します。GPU モジュールはメモリに収まる任意のモデルを動かせますが、数十ワットを消費します。専用チップはメモリのボトルネックをなくし消費電力も最小ですが、モデルをあらかじめ決める必要があります。選択は三つの問いで決まります。モデルはどれだけ固まっているか、何台出荷するか、何ワット使えるか。

三つの部品、三つのボトルネック

三つとも行う演算は同じです。違いは、その演算のあいだ重みがどこにあるかです。トークンをひとつ生成するにはモデルのすべての重みを読む必要があるからです。

NPU は、プロセッサやディスプレイなどと共有するシステムメモリから重みを読みます。組み込み GPU モジュールは専用の高速メモリを持ち、その代償を消費電力で払います。専用 LLM チップは重みを演算部の中かすぐ隣に置くため、そもそも取りに行きません。

並べて比べる

スマートフォンや PC 用チップ内の NPU組み込み GPU モジュール専用 LLM チップ
重みの置き場所共有のシステムメモリモジュール専用のメモリ演算アレイの中または隣
トークン毎秒を制限するものシステムメモリの帯域と、ツールチェーンが対応する演算モジュールのメモリ帯域設計時に決まる。帯域には縛られない
典型的な消費電力ホストチップの予算の一部数十ワットモデル規模に応じて 1 ワットから数十ワット
モデルの変更ベンダーのツールチェーンがコンパイルできるモデルメモリに収まる任意のモデル方式による:製造時に固定、電源投入時に再ロード、外部メモリで更新
初期費用ホストチップ以外には不要1 台ごとのモジュール価格テープアウト 1 回分を数量で分担
最も合う場面製品がすでにそのチップを使い、小さなモデルで足りる数量が少ない、またはモデルがよく変わるモデルが固まり、数量が多く、電力が厳しい

定性的な比較です。実際の数値は部品、モデル、精度によって変わります。

NPU の限界

NPU の指標は TOPS、つまり 1 秒あたりの演算回数です。この数値はメモリについて何も示しません。言語モデルの上限はメモリ帯域をモデルサイズで割った値であり、NPU はシステム全体と同じメモリを使います。

二つ目の制約はソフトウェアです。モデルに含まれるすべての演算にベンダーのツールチェーンが対応していなければ、NPU では動きません。新しいアーキテクチャはツールチェーンより先に登場することが多く、未対応の部分は CPU に戻されます。

すでにそのチップを積んだ製品で小さなモデルを動かすなら、NPU は妥当な最初の選択です。モデルが大きくなるか、応答の速さが必要になると足りなくなります。

GPU モジュールの限界

GPU モジュールは最も柔軟な選択肢です。メモリに収まるモデルなら何でも動き、ソフトウェアも成熟しています。代償は消費電力、発熱、単価です。数十ワットとヒートシンクが必要なため、携帯機器やほとんどの電池駆動製品には使えません。

また、メモリ帯域の制約からも逃れられません。同じモジュールでは、モデルが大きいほど毎秒のトークン数はその分だけ減ります。

専用チップが正解になるとき

専用チップが意味を持つのは三つの条件がそろうときです。モデルが製品寿命のあいだ固まっているか、ひとつのファミリーの中でしか変わらないこと。テープアウトの費用を分担できる数量が出ること。汎用部品では収まらないほど電力予算が厳しいこと。

モデルがどこまで固定されるかは方式によります。MaskROM コンピュート・イン・メモリは製造時に重みを固定します。SRAM コンピュート・イン・メモリは電源投入時にロードします。ニアメモリ方式は外部メモリに置き、ファームウェアのように更新します。

Fanshi は三つの方式すべてでチップを作り、自社で SoC を設計するチーム向けに推論コアを IP としてライセンスしています。公開している数値は設計目標です。

短い判断の道筋

  • モデルが 10 億パラメータ程度以下で、毎秒数トークンで足りる:まず手元の NPU を使う。
  • モデルが数週間ごとに変わる、または数量が少ない:GPU モジュールを使う。
  • モデルが固まり、数量が多く、予算が数ワット:専用チップを検討し、まず FPGA ボードで試す。
  • 自社で SoC を設計している:チップを追加せず、推論コアをライセンスする。

よくある質問

LLM では NPU のほうが GPU より速いのですか。

一般にはそうではありません。どちらもメモリから重みを読む速さで制限されます。NPU はシステムメモリを共有するため、言語モデルでは専用メモリを持つ GPU モジュールよりトークン毎秒が低くなるのが普通です。

TOPS が高くてもテキスト生成が速くならないのはなぜですか。

TOPS は演算回数を数えるだけで、メモリを考慮しません。言語モデルのデコード速度はメモリ帯域をモデルサイズで割った値が上限で、それを超える演算能力は使われません。

専用 LLM チップは後から別のモデルを動かせますか。

方式によります。SRAM コンピュート・イン・メモリとニアメモリの設計は新しい重みをロードできます。MaskROM の設計は製造時に重みを固定するため、新しいモデルには新しいマスクが必要です。

NPU と LLM 推論 IP コアの違いは何ですか。

NPU はチップに組み込み済みの汎用ニューラルネットワークアクセラレータです。推論 IP コアは特定のモデルアーキテクチャ向けの設計ブロックで、チップ開発チームが自社の SoC に組み込みます。

この疑問を、あなたのプロジェクトで

対象モデルと、性能・消費電力の目標をお送りください。適したルートと評価計画をご返信します。

評価キットを申し込む