LLM-Inferenz-ASIC · KI-Inferenzchip Vergleich · Taalas HC1 · Etched Sohu · Cerebras · Groq LPU
LLM-Inferenz-ASICs im Vergleich: Fünf Chiparchitekturen 2026
Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

Hardware für LLM-Inferenz lässt sich heute in fünf Architekturen einteilen: Allzweck-GPUs, Wafer-Scale-Engines, Language Processing Units, reine Transformer-ASICs und Model-on-Chip-Entwürfe, die ein Modell fest ins Silizium legen. Sie unterscheiden sich darin, wie viel Flexibilität für Geschwindigkeit aufgegeben wird. Die berichteten Werte für dasselbe 8B-Modell reichen von etwa 230 Token pro Sekunde je Nutzer auf einer NVIDIA H200 bis etwa 17.000 auf einem fest verdrahteten Taalas HC1. Die Zahlen mischen jedoch Herstellerangaben mit unabhängigen Messungen und sind nicht direkt vergleichbar. Alle fünf sind Rechenzentrumsprodukte; Geräte brauchen eine andere Chipklasse.
Warum Inferenz eigenes Silizium bekommt
Eine GPU kann ein Modell trainieren, jedes Modell ausführen und Grafik berechnen. Inferenz braucht viel weniger: dieselbe feste Folge von Matrixoperationen, wiederholt für jedes Token. Für jedes erzeugte Token müssen alle Gewichte des Modells gelesen werden. Die Grenze ist daher meist, wie schnell die Gewichte die Recheneinheiten erreichen, nicht wie schnell gerechnet wird.
Seit die Inferenzkosten die Trainingskosten überholen, tauschen Hersteller Allgemeinheit gegen Geschwindigkeit und Effizienz. Die fünf Architekturen unten liegen auf dieser Linie: Je weiter unten in der Tabelle, desto weniger kann der Chip und desto schneller erledigt er es.
Die fünf Architekturen im Überblick
| Architektur | Öffentliches Beispiel | Grundidee | Öffentlich berichtete Geschwindigkeit | Flexibilität |
|---|---|---|---|---|
| Allzweck-GPU | NVIDIA H200 | Programmierbare Parallelrechner mit Gewichten in schnellem Speicher daneben | Etwa 230 Token/s je Nutzer auf Llama 3.1 8B (Nvidia-Referenz, zitiert von heise) | Jedes Modell; Training und Inferenz |
| Wafer-Scale-Engine | Cerebras WSE-3 | Ein Chip in Wafergröße, der Speicher liegt auf demselben Silizium | Etwa 1.900 Token/s auf Llama 3.1 8B (Artificial Analysis, zitiert von heise) | Jedes unterstützte Modell |
| Language Processing Unit | Groq LPU | Reiner Inferenzprozessor, dessen Ablauf der Compiler plant | Etwa 600 Token/s auf Llama 3.1 8B (Artificial Analysis, zitiert von heise) | Jedes unterstützte Modell |
| Reiner Transformer-ASIC | Etched Sohu | Der Transformer-Datenpfad ist fest im Silizium; die Gewichte bleiben im Speicher, das Modell ist also austauschbar | Herstellerangabe: über 500.000 Token/s in Summe auf Llama 70B für einen Server mit 8 Chips; bis Mitte 2026 kein unabhängiger Benchmark veröffentlicht | Nur Transformer-Modelle |
| Model-on-Chip | Taalas HC1 | Die Gewichte eines Modells sind fest verdrahtet, zur Laufzeit wird nichts geholt | Etwa 17.000 Token/s je Nutzer auf Llama 3.1 8B (Herstellerangabe) | Ein Modell je Chip; Adapter und Kontextgröße konfigurierbar |
Die Werte entsprechen Herstellerangaben oder Presseberichten aus dem Jahr 2026, mit unterschiedlichen Modellen, Batchgrößen und Testbedingungen. Geschwindigkeit je Nutzer und Gesamtdurchsatz eines Servers sind verschiedene Kennzahlen. Die Quellen stehen am Ende.
Was die Zahlen verschweigen
Geschwindigkeit je Nutzer und Gesamtdurchsatz sind nicht dasselbe. Ein Wert wie 17.000 Token pro Sekunde je Nutzer beschreibt, wie schnell ein einzelnes Gespräch läuft. Ein Wert wie 500.000 Token pro Sekunde für einen Server addiert viele gleichzeitige Gespräche. Ohne die Batchgröße lässt sich keiner in den anderen umrechnen.
Modellgröße und Genauigkeit ändern alles. Ein 8B-Modell und ein 70B-Modell sind verschiedene Lasten, und ein Chip, der Gewichte mit 3 oder 4 Bit speichert, leistet nicht dasselbe wie einer mit 8-Bit- oder 16-Bit-Gewichten. Taalas hat erklärt, dass das erste Silizium 3-Bit- und 6-Bit-Parameter kombiniert, mit etwas Qualitätsverlust gegenüber GPU-Referenzen.
Prüfen Sie schließlich, wer gemessen hat. Einige Werte der Tabelle stammen von einem unabhängigen Tracker, einige aus der Ankündigung des Herstellers, und einer ist von keiner dritten Stelle bestätigt. Leistungsaufnahme, Preis und Verfügbarkeit fehlen in Ankündigungen oft ganz.
Alle fünf sind Antworten für das Rechenzentrum
Jeder Chip der Tabelle steht in einem Rack. Ein Wafer-Scale-System setzt Kilowatt um; der Taalas HC1 ist für Server mit rund 2,5 kW ausgelegt; die übrigen sitzen in gängigen Beschleunigerservern. Keiner passt in einen Übersetzer, ein Fahrzeug, einen Roboter oder eine Industriekamera.
Geräte brauchen dieselbe Idee, Gewichte, die sich nicht bewegen, bei einem Watt bis einigen zehn Watt und auf einer Lieferkette, die in Stückzahlen liefern kann. Das ist eine sechste Klasse: Edge-Inferenzchips auf Basis von Compute-in-Memory und Near-Memory-Computing.
Fanshi Semiconductor arbeitet in dieser Klasse auf einem ausgereiften SMIC-28-nm-Prozess. Forge nutzt MaskROM-Compute-in-Memory für Geräte der Watt-Klasse mit Qwen 3.5 0.8B. Trident nutzt Near-Memory-Computing für Modelle bis Qwen 3.5 35B in einem Systembudget von 70 W, mit weiterhin aktualisierbaren Gewichten. Argus nutzt SRAM-Compute-in-Memory für Bildverarbeitung in Echtzeit. Alle Fanshi-Angaben sind Entwicklungsziele.
Wie Sie wählen
- Das Modell wechselt alle paar Wochen, oder Sie trainieren auch: Bleiben Sie bei GPUs.
- Sie bedienen aus dem Rechenzentrum viele Nutzer mit wenigen beliebten Modellen: Wafer-Scale-, LPU- und Transformer-ASIC-Dienste lohnen einen Benchmark mit Ihren eigenen Prompts.
- Ein feststehendes Modell trägt den Großteil Ihres Verkehrs: Ein Model-on-Chip-Beschleuniger tauscht Flexibilität gegen die höchste Geschwindigkeit je Nutzer.
- Das Modell muss im Gerät laufen, offline und mit festem Leistungsbudget: Sehen Sie sich Edge-Chips mit Compute-in-Memory oder Near-Memory-Computing an.
Häufige Fragen
Was ist ein LLM-Inferenz-ASIC?
Ein LLM-Inferenz-ASIC ist ein Chip, der ausschließlich große Sprachmodelle ausführt und sie nicht trainiert. Durch den Verzicht auf die Allgemeinheit einer GPU entfällt Aufwand, vor allem der Transport der Gewichte vom Speicher zu den Recheneinheiten, und er liefert mehr Token pro Sekunde je Watt.
Welcher LLM-Inferenzchip ist der schnellste?
Bei der Geschwindigkeit je Nutzer für ein kleines Modell ist der höchste öffentliche Wert der Taalas HC1 mit etwa 17.000 Token pro Sekunde auf Llama 3.1 8B, nach Angabe des Unternehmens. Etched nennt den höchsten Gesamtdurchsatz je Server. Diese Werte nutzen unterschiedliche Modelle und Kennzahlen, und nicht alle sind unabhängig bestätigt.
Ersetzen Inferenz-ASICs die GPU?
Nein. Training, Forschung und selten genutzte Modelle brauchen weiterhin Allzweck-Hardware. Inferenz-ASICs passen dort, wo das Modell feststeht und entweder die Stückzahl sehr groß oder das Leistungsbudget sehr knapp ist.
Kann ein LLM-Inferenz-ASIC in einem Gerät laufen?
Die Rechenzentrumsentwürfe nicht: Sie nehmen Hunderte Watt bis Kilowatt auf. Edge-Inferenzchips mit Compute-in-Memory oder Near-Memory-Computing zielen auf ein Watt bis einige zehn Watt und sind für Geräte gebaut.



