Zum Inhalt springen

Token pro Sekunde · LLM-Inferenzgeschwindigkeit · Time to First Token · Speicherbandbreite · LLM im Endgerät

Token pro Sekunde erklärt: Wie schnell muss ein LLM sein?

Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

Token pro Sekunde ist die Rate, mit der ein Sprachmodell Ausgabe erzeugt. Ein Mensch liest etwa 5 bis 7 Token pro Sekunde, eine Chat-Antwort wirkt deshalb bei 10 bis 30 flüssig. Reasoning-Modelle, Agenten und Regelkreise brauchen Hunderte bis Tausende, weil die meisten ihrer Token nie von einem Menschen gelesen werden. Im Gerät bestimmt die Speicherbandbreite geteilt durch die Modellgröße die Obergrenze. Deshalb versuchen Edge-Chips, die Gewichte gar nicht mehr zu bewegen.

Was ein Token ist und was die Zahl misst

Ein Token ist ein Textstück, das das Modell als Einheit behandelt: ein kurzes Wort, ein Teil eines längeren Wortes oder ein Satzzeichen. Als Faustregel für englischen Text gilt, dass ein Token etwa drei Viertel eines Wortes entspricht; deutsche Wörter zerfallen meist in mehr Token.

Token pro Sekunde meint in der Regel die Dekodiergeschwindigkeit: wie schnell das Modell Ausgabe liefert, sobald es begonnen hat. Daneben stehen zwei weitere Werte. Die Time to First Token ist die Wartezeit, bis überhaupt etwas erscheint, und die Prompt-Verarbeitung gibt an, wie schnell das Modell seine Eingabe liest. Ein System kann bei einem Wert schnell und bei einem anderen langsam sein.

Wie schnell ist schnell genug?

AnwendungWas die Messlatte setztSinnvolle Geschwindigkeit
Chat-Antwort lesenMenschen lesen etwa 200 bis 300 Wörter pro Minute, rund 5 bis 7 Token pro Sekunde10 bis 30 Token/s wirken flüssig
SprachassistentSprache läuft mit etwa 150 Wörtern pro Minute, 3 bis 4 Token pro Sekunde; die Wartezeit bis zum ersten Wort zählt mehrEinige zehn Token/s bei kurzer Time to First Token
Reasoning-Modelle und AgentenVerborgene Denkschritte und Tool-Aufrufe vervielfachen die Token hinter jeder sichtbaren AntwortHunderte bis Tausende Token/s
Roboter und EchtzeitregelungDas Modell sitzt in einem Regelkreis mit festem Zeitbudget je EntscheidungWas der Regelkreis verlangt, und zwar gleichmäßig
Stapelverarbeitung von DokumentenDie insgesamt erledigte Arbeit, nicht das Erlebnis eines NutzersToken/s in Summe je Watt und je Dollar

Das Muster ist einfach. Liest ein Mensch die Ausgabe, ist alles deutlich über dem Lesetempo verschenkt. Verarbeitet Software die Ausgabe, wird Geschwindigkeit unmittelbar zu kürzeren Laufzeiten, und Tausende Token pro Sekunde werden nützlich.

Geschwindigkeit je Nutzer und Gesamtdurchsatz

Ein Anbieter kann Token pro Sekunde je Nutzer nennen, also für eine einzeln laufende Anfrage, oder die Summe über alle Anfragen, die ein Server gleichzeitig bearbeitet. Die zweite Zahl ist immer größer und sagt wenig darüber, wie reaktionsschnell sich ein einzelnes Gespräch anfühlt.

Achten Sie beim Vergleich von Chips darauf, dass beide Werte dieselbe Definition, dasselbe Modell und dieselbe Genauigkeit verwenden. Ein kleines Modell mit niedriger Genauigkeit erreicht auf derselben Hardware einen ganz anderen Wert als ein großes Modell mit hoher Genauigkeit.

Im Gerät setzt die Speicherbandbreite die Obergrenze

Um ein Token zu erzeugen, muss jedes Gewicht des Modells gelesen werden. Liegen die Gewichte in gewöhnlichem Speicher, kann die Dekodiergeschwindigkeit die Speicherbandbreite geteilt durch die Modellgröße nicht überschreiten, wie schnell der Prozessor auch ist.

Nehmen wir ein Gerät mit 50 GB/s Speicherbandbreite. Ein Modell mit 8 Milliarden Parametern bei 8 Bit Genauigkeit ist etwa 8 GB groß, die Obergrenze liegt also bei rund 6 Token pro Sekunde. Ein 0.8B-Modell mit etwa 0,8 GB endet bei knapp 60. Reale Systeme bleiben darunter, weil derselbe Speicher auch alles andere bedient.

Das ist die Speicherwand, und deshalb setzen Edge-Inferenzchips auf Compute-in-Memory oder Near-Memory-Computing. Wandern die Gewichte nie über einen Bus, gilt die Bandbreitengrenze nicht mehr.

Ein Datenblatt richtig lesen

  • Welches Modell, und mit welcher Genauigkeit?
  • Je Nutzer oder in Summe, und bei welcher Batchgröße?
  • Auf Silizium gemessen oder ein Entwicklungsziel?
  • Mit welcher Prompt- und Kontextlänge?
  • Bei welcher Leistungsaufnahme, für das ganze System und nicht nur für den Chip?

Fanshi veröffentlicht die eigenen Werte nach diesen Regeln: Forge zielt auf 17.000 Token/s mit Qwen 3.5 0.8B in einem Gerät der Watt-Klasse, Trident auf 15.000 Token/s mit Modellen bis Qwen 3.5 35B in einem Systembudget von 70 W. Beides sind Entwicklungsziele, die endgültigen Spezifikationen werden je Projekt bestätigt.

Häufige Fragen

Wie viele Token pro Sekunde kann ein Mensch lesen?

Etwa 5 bis 7. Erwachsene lesen rund 200 bis 300 Wörter pro Minute, und ein Token entspricht im Englischen etwa drei Vierteln eines Wortes.

Welche Token-Rate ist für ein lokales LLM gut?

Für Chat wirken 10 bis 30 Token pro Sekunde flüssig. Für Agenten, Reasoning-Modelle und automatisierte Abläufe, bei denen Software die Ausgabe verarbeitet, gilt: je mehr, desto besser, und Hunderte bis Tausende sind nützlich.

Ist Token pro Sekunde dasselbe wie TOPS?

Nein. TOPS zählt Rechenoperationen pro Sekunde und sagt nichts über den Speicher. Die Dekodiergeschwindigkeit eines LLM wird meist davon begrenzt, wie schnell Gewichte gelesen werden können. Ein Chip mit hohem TOPS-Wert kann Token also trotzdem langsam erzeugen.

Warum laufen kleine Modelle so viel schneller?

Für jedes Token müssen alle Gewichte gelesen werden. Ein Modell mit einem Zehntel der Größe lässt sich bei gleicher Speicherbandbreite etwa zehnmal so oft lesen.

Bringen Sie die Frage in Ihr Projekt

Senden Sie uns Zielmodell sowie Leistungs- und Verbrauchsziele. Wir antworten mit einem Pfad und einem Evaluierungsplan.

Evaluierungskit anfragen