エッジLLM推論チップ · エッジAIチップ · オンデバイスLLM · AIアクセラレータの選定 · NPUとASIC
エッジLLM推論チップの選び方:7つの質問
Fanshi Semiconductor エンジニアリングチーム · 公開

エッジ推論チップを選ぶには、まず7つの質問に答えます。どのモデルか、パラメータ数はいくつか、どのくらいの頻度で変わるか、電力予算はいくらか、デコードはどれだけ速くなければならないか、データをデバイスの外に出してよいか、何台出荷するか。その答えで、汎用のGPUやNPUにするか、コンピュート・イン・メモリやニアメモリの専用ASICにするかがほぼ決まります。
1. どのモデルを、どのパラメータ数で
これが最初の、そして最も厳しい制約です。言語モデルならパラメータ数とコンテキスト長、視覚モデルなら入力解像度とフレームレートを確認します。0.5Bから1Bの言語モデルは、MaskROM コンピュート・イン・メモリのチップで1ワット未満で動かせます。7Bから35Bのモデルには、ニアメモリ演算と数十ワットのシステム電力が必要です。リアルタイムのセグメンテーションは、TOPSではなく1秒あたりの処理ピクセル数で測ります。
TOPSに振り回されないでください。汎用NPUのTOPS値は積和演算のピークスループットですが、LLMのデコードは帯域に律速され、実際の稼働率は数パーセントにとどまることも少なくありません。問うべきは、このチップが1秒間に重み全体を何回読めるか、です。
2. モデルはどのくらいの頻度で変わるか
これでMaskROMを選べるかどうかが決まります。製品の定義が明確で、モデルが十分に検証され、1年以内に変わらないなら、MaskROMで重みをシリコンに焼き込むのが、消費電力とコストの面で最良です。モデルがまだ四半期ごとに変わるなら、SRAM コンピュート・イン・メモリかニアメモリ演算を選び、重みを電源投入時にロードするか、外部メモリに置けるようにします。
現実的には段階を踏むのが有効です。まず推論IPを使ってFPGA評価ボード上でモデルを動かし、モデルが確定してからMaskROMのテープアウトを判断します。
3. 電力予算
携帯機器はシステム全体でたいてい1から3 Wです。車載システムやロボットは10から70 W、産業用エッジノードは100 W前後まで使えます。電力予算だけで、ほとんどの選択肢は外れます。GPUモジュールは通常15 Wから始まり、冷却はそこに含まれていません。
コンピュート・イン・メモリの電力面の優位は、重みを動かさないことから生まれます。効果が最も大きいのは、帯域だけに律速されるデコード時です。
4. どれだけ速くなければならないか
音声対話では、最初のトークンまでの時間を数百ミリ秒以内に収める必要があり、デコードは人が読む速さ(およそ10から20 token/s)を上回れば十分です。バッチ処理や多重ストリームのワークロードでは、スループットは高いほどよく、数千から数万 token/s がトークン単価を押し下げます。視覚ではフレームレートがすべてです。欠陥検査は生産ラインの速度に、ドローン点検は飛行速度に追従しなければなりません。
5. データをデバイスの外に出してよいか
閉域網、制限付き端末、医療、産業の現場では、データをクラウドへ送ること自体が規程で禁じられていることがよくあります。そこでは、オンデバイス推論はコストの問題ではなく、製品が成立するかどうかの問題です。完全なローカル推論であれば、機器は完全にオフラインで動作でき、その保証は運用方針ではなくアーキテクチャから生まれます。
6. 生産数量
数千台規模なら、汎用モジュールとソフトウェアの最適化が最も手軽です。数十万台規模になると、専用ASICの単価と消費電力の優位が、システムの部品コストを桁違いに変えることがあります。MaskROMでは特にそうです。マスクは一度きりの費用なので、数量が多いほど採算がよくなります。
7. ソフトウェアは誰が担うか
汎用プラットフォームでは、モデル変換、量子化、演算子の対応を自分たちで行います。専用ASICでは、通常チップベンダーがモデルマッピングを提供します。率直に確認しましょう。対象モデルにネイティブ対応しているか、量子化方式は何か、評価ボードは入手できるか、エンジニアリングサンプルはどのくらいで手に入るか。
1ページのチェックリスト
7つの答えを書き込めば、ルートは自然に決まります。1B以下のモデルで、1年間変更がなく、3 W以下、大量生産なら、MaskROM コンピュート・イン・メモリ。進化が速く、現場で入れ替える必要があるモデルなら、SRAM コンピュート・イン・メモリ。7B以上のモデルで数十ワットの予算があるなら、ニアメモリ演算。まだ確定していないモデルなら、まずIPライセンスのもとでFPGA評価ボード上で動かします。



