Das Vokabular der LLM-Inferenzchips.
Kurze, klare Definitionen der Begriffe, die auftauchen, wenn ein Sprachmodell ins Silizium wandert. Wo wir ausführlicher darüber geschrieben haben, führt ein Link weiter.
- Token
- Die Texteinheit, die ein Sprachmodell liest und schreibt: ein kurzes Wort, ein Teil eines längeren Wortes oder ein Satzzeichen. Im Englischen entspricht ein Token etwa drei Vierteln eines Wortes. Mehr lesen →
- Token pro Sekunde Token/s, TPS
- Die Rate, mit der ein Modell Ausgabe erzeugt. Angegeben entweder je Nutzer, für eine einzeln laufende Anfrage, oder in Summe über alle Anfragen, die ein Server gleichzeitig bearbeitet. Mehr lesen →
- Time to First Token TTFT
- Die Wartezeit zwischen dem Absenden eines Prompts und dem ersten Token der Antwort. Für Sprache und andere interaktive Anwendungen wichtiger als die Dekodiergeschwindigkeit. Mehr lesen →
- LLM-Inferenz
- Das Ausführen eines trainierten Sprachmodells, um Ausgabe zu erzeugen, im Gegensatz zum Training. Inferenz wiederholt für jedes Token dieselbe feste Folge von Matrixoperationen.
- LLM-Inferenz-ASIC
- Ein Chip, der ausschließlich große Sprachmodelle ausführt. Er verzichtet auf die Allgemeinheit einer GPU und liefert dafür mehr Token pro Sekunde je Watt. Mehr lesen →
- Model-on-Chip fest verdrahtetes LLM, modellspezifischer ASIC
- Ein Chip, in dessen Silizium die Gewichte eines bestimmten Modells bei der Fertigung festgelegt werden, sodass zur Laufzeit keine Gewichte geholt werden. Sehr schnell und effizient, auf Kosten der Flexibilität. Mehr lesen →
- Speicherwand Memory Wall
- Die Lücke zwischen der Rechengeschwindigkeit von Prozessoren und der Geschwindigkeit, mit der Speicher Daten liefert. Bei LLMs die wichtigste Grenze, weil für jedes Token alle Gewichte gelesen werden. Mehr lesen →
- Speicherbandbreite
- Wie viele Gigabyte pro Sekunde aus dem Speicher gelesen werden können. Liegen die Gewichte in gewöhnlichem Speicher, kann die Dekodiergeschwindigkeit Speicherbandbreite geteilt durch Modellgröße nicht überschreiten. Mehr lesen →
- Compute-in-Memory CIM, In-Memory-Computing
- Eine Schaltungstechnik, bei der Multiplizieren und Akkumulieren im Speicherarray stattfinden, sodass die Gewichte die Speicherzellen nie verlassen. Mehr lesen →
- MaskROM-Compute-in-Memory
- Compute-in-Memory, bei dem die Gewichte in der Maskenstufe der Fertigung in ein nur lesbares Via-Array gegossen werden. Geringste Leistungsaufnahme und Grenzkosten; das Modell steht fest. Mehr lesen →
- SRAM-Compute-in-Memory SRAM CIM
- Compute-in-Memory auf Basis von SRAM-Zellen. Die Gewichte werden beim Einschalten geladen, das Modell lässt sich also im Feld austauschen. Mehr lesen →
- Near-Memory-Computing NMC
- Recheneinheiten direkt neben schnellem Speicher, mit Streaming auf dem Chip, damit die Datenwege kurz bleiben. Geeignet für große Modelle, die sich noch ändern. Mehr lesen →
- Edge-Inferenz Inferenz im Endgerät
- Ein Modell auf dem Gerät ausführen, auf dem die Daten entstehen, statt im Rechenzentrum. Funktioniert offline, und die Daten bleiben im Gerät. Mehr lesen →
- NPU Neural Processing Unit
- Ein Beschleuniger für neuronale Netze in einem Smartphone- oder PC-Chip. Er teilt sich den Systemspeicher und stößt bei LLMs an dieselbe Bandbreitengrenze wie die CPU. Mehr lesen →
- TOPS
- Billionen Operationen pro Sekunde, ein Maß für den reinen Rechendurchsatz. Es sagt nichts über den Speicher und eignet sich daher schlecht zur Vorhersage der LLM-Dekodiergeschwindigkeit. Mehr lesen →
- Quantisierung
- Gewichte mit geringerer Genauigkeit speichern, etwa als 8-Bit- oder 4-Bit-Ganzzahlen statt 16-Bit-Gleitkommazahlen. Das verkleinert das Modell und beschleunigt die Inferenz, bei sehr niedriger Genauigkeit mit Qualitätsverlust.
- Tape-out
- Der Zeitpunkt, an dem ein fertiger Chipentwurf zur Fertigung an die Foundry geht. Er verursacht Fixkosten, weshalb dedizierte Chips Stückzahlen brauchen. Mehr lesen →
- Maskensatz
- Der Satz von Fotomasken, der jede Lage eines Chips definiert. In einem MaskROM-Entwurf sind die Modellgewichte Teil des Maskensatzes. Mehr lesen →
- FPGA-Prototyping
- Einen Chipentwurf vor dem Tape-out auf reprogrammierbarer Logik ausführen, um Funktion und Leistung mit echten Modellen und Daten zu prüfen. Mehr lesen →
- Inferenz-IP-Kern
- Ein lizenzierbarer Baustein eines Chipentwurfs, der eine Klasse von Modellarchitekturen ausführt und vom Kunden in den eigenen ASIC, SoC oder FPGA integriert wird. Mehr lesen →
- Hybride Attention
- Eine Modellarchitektur, die Schichten mit linearer Attention und Schichten mit Full Attention mischt, wie in Qwen3.5 und neuer. Sie hält die Kosten langer Kontexte niedrig und bewahrt die Genauigkeit. Mehr lesen →
- Lineare Attention
- Ein Attention-Mechanismus, dessen Aufwand linear mit der Sequenzlänge wächst und der einen Zustand fester Größe hält, geeignet für Streaming und lange Kontexte. Mehr lesen →
- Mixture of Experts MoE
- Ein Modell, bei dem für jedes Token nur ein Teil der Gewichte, die ausgewählten Experten, aktiv ist. So läuft ein großes Modell innerhalb einer begrenzten Bandbreite. Mehr lesen →
- Prozessknoten
- Die Fertigungsgeneration eines Chips, etwa 28 nm oder 6 nm. Kleinere Knoten packen mehr Transistoren auf die Fläche; ausgereifte Knoten bieten niedrigere Kosten und planbarere Lieferung.
Weiterlesen
LLM-Inferenz-ASICs im Vergleich: Fünf Chiparchitekturen 2026GPU, Wafer-Scale-Engine, LPU, Transformer-ASIC und Model-on-Chip: worin sich die fünf Architekturen für LLM-Inferenz unterscheiden, welche Token-Raten berichtet wurden und was diese Zahlen verschweigen.
Token pro Sekunde erklärt: Wie schnell muss ein LLM sein?Was Token pro Sekunde misst, wie der Wert zu Lese- und Sprechtempo steht, warum Angaben je Nutzer und in Summe auseinanderliegen und wie die Speicherbandbreite ihn im Gerät begrenzt.
Was ist ein Compute-in-Memory-KI-Chip? Drei Pfade erklärtEin Compute-in-Memory-KI-Chip multipliziert und akkumuliert im Speicherarray, die Gewichte bewegen sich nicht mehr. Wie sich MaskROM, SRAM CIM und Near-Memory-Computing unterscheiden.
Ein konkretes Projekt zu besprechen?
Senden Sie uns Zielmodell sowie Leistungs- und Verbrauchsziele. Wir antworten mit einem Pfad und einem Evaluierungsplan.
