本文へスキップ

あなたの機器は毎秒何トークンまで出せるか。

重みが通常のメモリにある場合、トークンをひとつ生成するたびに全重みを読む必要があります。そのためデコード速度には計算できる上限があります。メモリ帯域をモデルサイズで割った値です。

モデルサイズ
8.0 GB
デコード速度の上限
6.3 token/s

チャットには滑らか

これは理論上の上限です。同じメモリがほかの処理にも使われ、帯域は仕様上のピーク値であるため、実際のシステムはこれを下回ります。

主な機器の比較(8 ビット重み)

機器(理論ピーク帯域)0.8B · 0.8 GB4B · 4 GB8B · 8 GB27B · 27 GB70B · 70 GB
Raspberry Pi 5 · LPDDR4X-426717 GB/s214.32.10.60.2
PC · DDR5-5600 ×289.6 GB/s11222113.31.3
Apple M2100 GB/s12525133.71.4
NVIDIA Jetson AGX Orin204.8 GB/s25651267.62.9
Apple M2 Max400 GB/s50010050155.7

帯域は公開されているメモリ仕様の理論ピーク値です。単位はトークン毎秒で、桁の比較のための目安です。

上限が存在する理由

プロセッサを速くしても効果はありません。演算が重みを待っているからです。これがメモリの壁です。越えるには重みを動かさないようにするしかありません。コンピュート・イン・メモリとニアメモリ・コンピューティングは、重みのある場所で演算することでそれを実現します。

よくある質問

上限はどう計算しますか。

モデルサイズ(GB)=パラメータ数(10 億単位)×ビット数÷8。デコード上限(トークン毎秒)=メモリ帯域(GB/s)÷モデルサイズ(GB)。トークンごとに全重みを一度読む必要があるため、これを超える速度は出ません。

実測値が上限より低いのはなぜですか。

メモリ帯域はシステムやほかの処理と共有され、仕様値は理論ピークであり、アテンションのキャッシュも読み書きする必要があるためです。実測はたいてい上限の一部にとどまります。

専用チップはなぜこの上限を超えられるのですか。

コンピュート・イン・メモリのチップはメモリアレイの中で演算します。重みがバスを通らないため、帯域の上限が当てはまらなくなります。

具体的なプロジェクトをご検討中ですか?

対象モデルと、性能・消費電力の目標をお送りください。適したルートと評価計画をご返信します。

評価キットを申し込む