本文へスキップ

GPU なし LLM · オンデバイス LLM ハードウェア · ローカル LLM · NPU と GPU · LLM ASIC

GPU なしで LLM を動かす方法:機器向け 5 つのハードウェア

Fanshi Semiconductor エンジニアリングチーム · 公開

言語モデルは、データセンター向け GPU がなくても 5 種類のハードウェアで動きます。量子化モデルを載せた CPU、スマートフォンや PC 用チップ内の NPU、組み込み GPU モジュール、FPGA、そして専用 LLM チップです。最初の三つはメモリ帯域という同じボトルネックを抱えています。トークンごとに全重みを読む必要があるためです。専用チップはこのボトルネックを取り除きますが、見合うのはモデルが固まっていて、製品が量産出荷される場合に限られます。

GPU 以外に目を向ける理由

データセンター向け GPU はモデルを動かす手軽な方法ですが、ほとんどの機器には合わない部品です。数百ワットを消費し、組み込む先の製品より高価で、携帯機器、車載モジュール、産業用カメラにはない冷却を必要とします。

ハードウェアとは関係のない理由もあります。多くの製品はネットワークなしで動かなければならず、多くの導入先ではデータを機器の外に出すことが認められていません。どちらも推論を機器そのものへ押し込みます。

5 つの選択肢の比較

選択肢速度を制限するものモデルの変更向いている用途
量子化モデルを載せた CPUメモリ帯域とコア数別のファイルを読み込む試作、少量、小さなモデル
スマートフォンや PC 用チップ内の NPU共有されるシステムメモリと、ベンダーのツールチェーンが対応する演算ツールチェーンがコンパイルできる任意のモデルそのチップを前提にすでに作られている製品
組み込み GPU モジュールメモリ帯域とモジュールの電力予算メモリに収まる任意のモデル数十ワットの余裕があるロボットやゲートウェイ
FPGAロジック容量とメモリインターフェース。単価が高い再プログラム可能アクセラレータ設計の実証、少量
専用 LLM チップ(コンピュート・イン・メモリまたはモデルオンチップ)設計時に決まる。重みは動かない方式による:テープアウトで固定、電源投入時に再ロード、外部メモリで更新モデルが固まり、電力予算が厳しい量産機器

最初の三つは同じボトルネックを抱える

CPU、NPU、組み込み GPU では、重みは通常のメモリに置かれ、トークンごとに一度ずつ読まれます。デコード速度の上限は、メモリ帯域をモデルサイズで割った値です。その上限に達すると演算能力を足しても効果はありません。TOPS の値が立派なチップでもテキスト生成が遅いことがあるのはこのためです。

モデルを小さくし、精度を下げれば上限は上がります。現在のオンデバイス開発の労力の大半はここに向かっています。より強く量子化し、より小さなモデルを選び、その結果の品質を受け入れるということです。

専用チップが見合うとき

専用チップは演算が行われる場所に重みを置くため、帯域の上限が当てはまらなくなります。代償はテープアウトという固定費と、一部または全部があらかじめ決まったモデルです。

見合うのは三つの条件がそろうときです。モデルが製品寿命のあいだ固まっているか、ひとつのファミリーの中でしか変わらないこと。固定費を分散できるだけの数量が出荷されること。汎用部品では収まらないほど電力予算が厳しいこと。どれかひとつでも欠ければ、モジュールか NPU のほうがよい選択です。

実践的な進め方

  • CPU か GPU モジュールで試作し、製品が実際に必要とするトークン毎秒を測る。
  • モデルファミリーと、許容できる精度を決める。
  • 対象モデルを FPGA 評価ボードで動かし、決定の前に速度と挙動を確認する。
  • 数量と電力予算が見合う段階で、標準品またはカスタムの専用チップへ移る。

Fanshi は最後の二つの段階を支援します。モデルマッピング用ツールチェーン付きの FPGA 評価ボード、3 種類の標準エッジチップ、顧客のモデルに合わせたカスタムチップ、そして自社で SoC を設計するチーム向けにライセンス可能な推論 IP です。

よくある質問

CPU で LLM を動かせますか。

動かせます。量子化した小さなモデルは通常の CPU で動きます。速度はメモリ帯域で制限されるため、モデルが大きくなると急速に落ちます。

機器で LLM を動かすには NPU が必要ですか。

必要ではありません。NPU はツールチェーンがそのモデルに対応していれば役に立ちますが、システムメモリをほかの処理と共有するため、CPU と同じ帯域の制限に当たります。

最も低消費電力で LLM を動かす方法は何ですか。

重みをまったく動かさないチップです。コンピュート・イン・メモリの設計はメモリアレイの中で演算を行い、推論エネルギーの最大の部分を取り除きます。

カスタム LLM チップが意味を持つのはいつですか。

モデルが固まっていて、製品が量産出荷され、電力予算の面で汎用部品が使えないときです。そうでなければ、モジュールか NPU のほうがよい選択です。

この疑問を、あなたのプロジェクトで

対象モデルと、性能・消費電力の目標をお送りください。適したルートと評価計画をご返信します。

評価キットを申し込む