本文へスキップ

メモリの壁 · エッジLLM · LLM推論の帯域 · コンピュート・イン・メモリ · ニアメモリ演算

メモリの壁:エッジLLMが止まる理由と、その回避策

Fanshi Semiconductor エンジニアリングチーム · 公開

メモリの壁とは、急速に伸びる演算性能と、ゆっくりとしか伸びないメモリ帯域との差のことで、演算器はほとんどの時間をデータ待ちに費やします。LLMのデコードではトークンごとにすべての重みを読むため、スループットの上限はメモリ帯域をモデルサイズで割った値になります。エッジ機器の帯域は数十GB/sしかなく、従来のアーキテクチャでは実用的なLLMを動かせません。コンピュート・イン・メモリとニアメモリ演算は、重みの移動を減らすか、なくすことで、この壁を回避します。

割り算ひとつ

デコードスループットの上限は、割り算ひとつで見積もれます。1秒あたりのトークン数 = メモリ帯域 ÷ 1トークンあたりに読む重みのバイト数。1Bパラメータ、INT8のモデルは、1トークンあたり約1 GBを読みます。帯域50 GB/sのエッジ機器なら、上限は毎秒50トークンです。しかもこれは、実環境での損失を考える前の理論上のピークです。

7Bモデルに替えると、同じ機器では毎秒約7トークン。35Bでは1トークン強です。足りないのは演算性能ではなく帯域です。TOPSを増やしても何も変わりません。演算器はほとんどの時間、重みが届くのを待っているからです。

データセンターの対処法と、エッジで通用しない理由

データセンターの答えはHBMです。数TB/sの帯域で分子を大きくします。その代償は、数百ワットの電力、アクセラレータ1基あたり数千ドルの費用、そして複雑なパッケージングです。エッジではどれも成り立ちません。携帯機器は数ワット、車両やロボットは数十ワットで、シリコンにかけられる予算は数十ドルから数百ドルです。

そのため従来のアーキテクチャでは、エッジLLMの選択肢は2つしかありません。モデルを大幅に小さくするか、遅さを受け入れるか。どちらも魅力的ではありません。

回避策:重みを動かさない

コンピュート・イン・メモリは積和演算をメモリアレイに組み込みます。重みは置かれた場所でそのまま演算に参加し、バスを流れるのは活性化だけです。活性化は重みより何桁も小さいため、帯域はボトルネックでなくなります。MaskROM コンピュート・イン・メモリはさらに徹底していて、重みをテープアウト時にシリコンへ焼き込むため、読み出しさえなくなります。

ニアメモリ演算は、演算器を高帯域メモリに密着させ、チップ上のストリーミング処理によって、読み出した重みをすべて無駄なく再利用します。転送の回数と距離の両方を最小にします。モデルを更新できる点が保たれるため、いまも進化している大規模モデルに向いています。

どちらのルートも、力ずくで分子を大きくするのではなく、この割り算の分母を小さくするか、なくします。だからこそ、成熟した28 nm プロセスでエッジLLMを動かせるのです。

製品にとっての意味

デコード速度は毎秒数トークンから1万トークン超(設計目標)になり、音声対話が途切れず、多重ストリームのワークロードも可能になります。システム消費電力は10ワット超から1ワット未満クラスに下がり、携帯機器が一日中オフラインで動作できます。DRAMやHBMが不要になるので、部品表も熱設計も簡素になります。

Fanshi Semiconductor のチップは、MaskROM、SRAM コンピュート・イン・メモリ、ニアメモリの各ルートに対応しています。自社の製品にどれが必要かを見極めるには、まず「エッジLLM推論チップの選び方」をご覧ください。

この疑問を、あなたのプロジェクトで

対象モデルと、性能・消費電力の目標をお送りください。適したルートと評価計画をご返信します。

評価キットを申し込む