Zum Inhalt springen
Token
Die Texteinheit, die ein Sprachmodell liest und schreibt: ein kurzes Wort, ein Teil eines längeren Wortes oder ein Satzzeichen. Im Englischen entspricht ein Token etwa drei Vierteln eines Wortes. Mehr lesen →
Token pro Sekunde Token/s, TPS
Die Rate, mit der ein Modell Ausgabe erzeugt. Angegeben entweder je Nutzer, für eine einzeln laufende Anfrage, oder in Summe über alle Anfragen, die ein Server gleichzeitig bearbeitet. Mehr lesen →
Time to First Token TTFT
Die Wartezeit zwischen dem Absenden eines Prompts und dem ersten Token der Antwort. Für Sprache und andere interaktive Anwendungen wichtiger als die Dekodiergeschwindigkeit. Mehr lesen →
LLM-Inferenz
Das Ausführen eines trainierten Sprachmodells, um Ausgabe zu erzeugen, im Gegensatz zum Training. Inferenz wiederholt für jedes Token dieselbe feste Folge von Matrixoperationen.
LLM-Inferenz-ASIC
Ein Chip, der ausschließlich große Sprachmodelle ausführt. Er verzichtet auf die Allgemeinheit einer GPU und liefert dafür mehr Token pro Sekunde je Watt. Mehr lesen →
Model-on-Chip fest verdrahtetes LLM, modellspezifischer ASIC
Ein Chip, in dessen Silizium die Gewichte eines bestimmten Modells bei der Fertigung festgelegt werden, sodass zur Laufzeit keine Gewichte geholt werden. Sehr schnell und effizient, auf Kosten der Flexibilität. Mehr lesen →
Speicherwand Memory Wall
Die Lücke zwischen der Rechengeschwindigkeit von Prozessoren und der Geschwindigkeit, mit der Speicher Daten liefert. Bei LLMs die wichtigste Grenze, weil für jedes Token alle Gewichte gelesen werden. Mehr lesen →
Speicherbandbreite
Wie viele Gigabyte pro Sekunde aus dem Speicher gelesen werden können. Liegen die Gewichte in gewöhnlichem Speicher, kann die Dekodiergeschwindigkeit Speicherbandbreite geteilt durch Modellgröße nicht überschreiten. Mehr lesen →
Compute-in-Memory CIM, In-Memory-Computing
Eine Schaltungstechnik, bei der Multiplizieren und Akkumulieren im Speicherarray stattfinden, sodass die Gewichte die Speicherzellen nie verlassen. Mehr lesen →
MaskROM-Compute-in-Memory
Compute-in-Memory, bei dem die Gewichte in der Maskenstufe der Fertigung in ein nur lesbares Via-Array gegossen werden. Geringste Leistungsaufnahme und Grenzkosten; das Modell steht fest. Mehr lesen →
SRAM-Compute-in-Memory SRAM CIM
Compute-in-Memory auf Basis von SRAM-Zellen. Die Gewichte werden beim Einschalten geladen, das Modell lässt sich also im Feld austauschen. Mehr lesen →
Near-Memory-Computing NMC
Recheneinheiten direkt neben schnellem Speicher, mit Streaming auf dem Chip, damit die Datenwege kurz bleiben. Geeignet für große Modelle, die sich noch ändern. Mehr lesen →
Edge-Inferenz Inferenz im Endgerät
Ein Modell auf dem Gerät ausführen, auf dem die Daten entstehen, statt im Rechenzentrum. Funktioniert offline, und die Daten bleiben im Gerät. Mehr lesen →
NPU Neural Processing Unit
Ein Beschleuniger für neuronale Netze in einem Smartphone- oder PC-Chip. Er teilt sich den Systemspeicher und stößt bei LLMs an dieselbe Bandbreitengrenze wie die CPU. Mehr lesen →
TOPS
Billionen Operationen pro Sekunde, ein Maß für den reinen Rechendurchsatz. Es sagt nichts über den Speicher und eignet sich daher schlecht zur Vorhersage der LLM-Dekodiergeschwindigkeit. Mehr lesen →
Quantisierung
Gewichte mit geringerer Genauigkeit speichern, etwa als 8-Bit- oder 4-Bit-Ganzzahlen statt 16-Bit-Gleitkommazahlen. Das verkleinert das Modell und beschleunigt die Inferenz, bei sehr niedriger Genauigkeit mit Qualitätsverlust.
Tape-out
Der Zeitpunkt, an dem ein fertiger Chipentwurf zur Fertigung an die Foundry geht. Er verursacht Fixkosten, weshalb dedizierte Chips Stückzahlen brauchen. Mehr lesen →
Maskensatz
Der Satz von Fotomasken, der jede Lage eines Chips definiert. In einem MaskROM-Entwurf sind die Modellgewichte Teil des Maskensatzes. Mehr lesen →
FPGA-Prototyping
Einen Chipentwurf vor dem Tape-out auf reprogrammierbarer Logik ausführen, um Funktion und Leistung mit echten Modellen und Daten zu prüfen. Mehr lesen →
Inferenz-IP-Kern
Ein lizenzierbarer Baustein eines Chipentwurfs, der eine Klasse von Modellarchitekturen ausführt und vom Kunden in den eigenen ASIC, SoC oder FPGA integriert wird. Mehr lesen →
Hybride Attention
Eine Modellarchitektur, die Schichten mit linearer Attention und Schichten mit Full Attention mischt, wie in Qwen3.5 und neuer. Sie hält die Kosten langer Kontexte niedrig und bewahrt die Genauigkeit. Mehr lesen →
Lineare Attention
Ein Attention-Mechanismus, dessen Aufwand linear mit der Sequenzlänge wächst und der einen Zustand fester Größe hält, geeignet für Streaming und lange Kontexte. Mehr lesen →
Mixture of Experts MoE
Ein Modell, bei dem für jedes Token nur ein Teil der Gewichte, die ausgewählten Experten, aktiv ist. So läuft ein großes Modell innerhalb einer begrenzten Bandbreite. Mehr lesen →
Prozessknoten
Die Fertigungsgeneration eines Chips, etwa 28 nm oder 6 nm. Kleinere Knoten packen mehr Transistoren auf die Fläche; ausgereifte Knoten bieten niedrigere Kosten und planbarere Lieferung.

Ein konkretes Projekt zu besprechen?

Senden Sie uns Zielmodell sowie Leistungs- und Verbrauchsziele. Wir antworten mit einem Pfad und einem Evaluierungsplan.

Evaluierungskit anfragen