Zum Inhalt springen

Wie viele Token pro Sekunde schafft Ihr Gerät?

Liegen die Gewichte in gewöhnlichem Speicher, müssen für jedes erzeugte Token alle gelesen werden. Die Dekodiergeschwindigkeit hat deshalb eine berechenbare Obergrenze: Speicherbandbreite geteilt durch Modellgröße.

Modellgröße
8.0 GB
Obergrenze der Dekodierung
6.3 token/s

Flüssig für Chat

Dies ist eine theoretische Obergrenze. Reale Systeme liegen darunter, weil derselbe Speicher alles andere mitbedient und die Bandbreite ein Spitzenwert aus der Spezifikation ist.

Gängige Geräte im Vergleich (8-Bit-Gewichte)

Gerät (theoretische Spitzenbandbreite)0.8B · 0.8 GB4B · 4 GB8B · 8 GB27B · 27 GB70B · 70 GB
Raspberry Pi 5 · LPDDR4X-426717 GB/s214.32.10.60.2
PC · DDR5-5600 ×289.6 GB/s11222113.31.3
Apple M2100 GB/s12525133.71.4
NVIDIA Jetson AGX Orin204.8 GB/s25651267.62.9
Apple M2 Max400 GB/s50010050155.7

Die Bandbreite ist der theoretische Spitzenwert aus veröffentlichten Speicherspezifikationen. Werte in Token pro Sekunde, nur zum Vergleich von Größenordnungen.

Warum es die Obergrenze gibt

Ein schnellerer Prozessor hilft nicht: Die Recheneinheiten warten auf Gewichte. Das ist die Speicherwand. Überwinden lässt sie sich nur, indem die Gewichte nicht mehr bewegt werden. Genau das leisten Compute-in-Memory und Near-Memory-Computing, die dort rechnen, wo die Gewichte liegen.

Häufige Fragen

Wie wird die Obergrenze berechnet?

Modellgröße in GB gleich Parameter in Milliarden mal Bit pro Gewicht geteilt durch 8. Die Obergrenze in Token pro Sekunde ist die Speicherbandbreite in GB/s geteilt durch die Modellgröße in GB. Für jedes Token werden alle Gewichte einmal gelesen, schneller geht es nicht.

Warum sind Messwerte niedriger als die Obergrenze?

Die Speicherbandbreite wird mit dem System und anderen Aufgaben geteilt, der Spezifikationswert ist ein theoretischer Spitzenwert, und auch Attention-Caches müssen gelesen und geschrieben werden. Gemessen wird meist nur ein Bruchteil der Obergrenze.

Wie kann ein dedizierter Chip diese Obergrenze überschreiten?

Ein Compute-in-Memory-Chip rechnet im Speicherarray. Die Gewichte laufen über keinen Bus, die Bandbreitengrenze gilt nicht mehr.

Ein konkretes Projekt zu besprechen?

Senden Sie uns Zielmodell sowie Leistungs- und Verbrauchsziele. Wir antworten mit einem Pfad und einem Evaluierungsplan.

Evaluierungskit anfragen