あなたの機器は毎秒何トークンまで出せるか。
重みが通常のメモリにある場合、トークンをひとつ生成するたびに全重みを読む必要があります。そのためデコード速度には計算できる上限があります。メモリ帯域をモデルサイズで割った値です。
- モデルサイズ
- 8.0 GB
- デコード速度の上限
- 6.3 token/s
チャットには滑らか
これは理論上の上限です。同じメモリがほかの処理にも使われ、帯域は仕様上のピーク値であるため、実際のシステムはこれを下回ります。
主な機器の比較(8 ビット重み)
| 機器(理論ピーク帯域) | 0.8B · 0.8 GB | 4B · 4 GB | 8B · 8 GB | 27B · 27 GB | 70B · 70 GB |
|---|---|---|---|---|---|
| Raspberry Pi 5 · LPDDR4X-426717 GB/s | 21 | 4.3 | 2.1 | 0.6 | 0.2 |
| PC · DDR5-5600 ×289.6 GB/s | 112 | 22 | 11 | 3.3 | 1.3 |
| Apple M2100 GB/s | 125 | 25 | 13 | 3.7 | 1.4 |
| NVIDIA Jetson AGX Orin204.8 GB/s | 256 | 51 | 26 | 7.6 | 2.9 |
| Apple M2 Max400 GB/s | 500 | 100 | 50 | 15 | 5.7 |
帯域は公開されているメモリ仕様の理論ピーク値です。単位はトークン毎秒で、桁の比較のための目安です。
上限が存在する理由
プロセッサを速くしても効果はありません。演算が重みを待っているからです。これがメモリの壁です。越えるには重みを動かさないようにするしかありません。コンピュート・イン・メモリとニアメモリ・コンピューティングは、重みのある場所で演算することでそれを実現します。
よくある質問
上限はどう計算しますか。
モデルサイズ(GB)=パラメータ数(10 億単位)×ビット数÷8。デコード上限(トークン毎秒)=メモリ帯域(GB/s)÷モデルサイズ(GB)。トークンごとに全重みを一度読む必要があるため、これを超える速度は出ません。
実測値が上限より低いのはなぜですか。
メモリ帯域はシステムやほかの処理と共有され、仕様値は理論ピークであり、アテンションのキャッシュも読み書きする必要があるためです。実測はたいてい上限の一部にとどまります。
専用チップはなぜこの上限を超えられるのですか。
コンピュート・イン・メモリのチップはメモリアレイの中で演算します。重みがバスを通らないため、帯域の上限が当てはまらなくなります。
具体的なプロジェクトをご検討中ですか?
対象モデルと、性能・消費電力の目標をお送りください。適したルートと評価計画をご返信します。
