Zum Inhalt springen

LLM-Inferenz-ASIC · KI-Inferenzchip Vergleich · Taalas HC1 · Etched Sohu · Cerebras · Groq LPU

LLM-Inferenz-ASICs im Vergleich: Fünf Chiparchitekturen 2026

Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

Hardware für LLM-Inferenz lässt sich heute in fünf Architekturen einteilen: Allzweck-GPUs, Wafer-Scale-Engines, Language Processing Units, reine Transformer-ASICs und Model-on-Chip-Entwürfe, die ein Modell fest ins Silizium legen. Sie unterscheiden sich darin, wie viel Flexibilität für Geschwindigkeit aufgegeben wird. Die berichteten Werte für dasselbe 8B-Modell reichen von etwa 230 Token pro Sekunde je Nutzer auf einer NVIDIA H200 bis etwa 17.000 auf einem fest verdrahteten Taalas HC1. Die Zahlen mischen jedoch Herstellerangaben mit unabhängigen Messungen und sind nicht direkt vergleichbar. Alle fünf sind Rechenzentrumsprodukte; Geräte brauchen eine andere Chipklasse.

Warum Inferenz eigenes Silizium bekommt

Eine GPU kann ein Modell trainieren, jedes Modell ausführen und Grafik berechnen. Inferenz braucht viel weniger: dieselbe feste Folge von Matrixoperationen, wiederholt für jedes Token. Für jedes erzeugte Token müssen alle Gewichte des Modells gelesen werden. Die Grenze ist daher meist, wie schnell die Gewichte die Recheneinheiten erreichen, nicht wie schnell gerechnet wird.

Seit die Inferenzkosten die Trainingskosten überholen, tauschen Hersteller Allgemeinheit gegen Geschwindigkeit und Effizienz. Die fünf Architekturen unten liegen auf dieser Linie: Je weiter unten in der Tabelle, desto weniger kann der Chip und desto schneller erledigt er es.

Die fünf Architekturen im Überblick

ArchitekturÖffentliches BeispielGrundideeÖffentlich berichtete GeschwindigkeitFlexibilität
Allzweck-GPUNVIDIA H200Programmierbare Parallelrechner mit Gewichten in schnellem Speicher danebenEtwa 230 Token/s je Nutzer auf Llama 3.1 8B (Nvidia-Referenz, zitiert von heise)Jedes Modell; Training und Inferenz
Wafer-Scale-EngineCerebras WSE-3Ein Chip in Wafergröße, der Speicher liegt auf demselben SiliziumEtwa 1.900 Token/s auf Llama 3.1 8B (Artificial Analysis, zitiert von heise)Jedes unterstützte Modell
Language Processing UnitGroq LPUReiner Inferenzprozessor, dessen Ablauf der Compiler plantEtwa 600 Token/s auf Llama 3.1 8B (Artificial Analysis, zitiert von heise)Jedes unterstützte Modell
Reiner Transformer-ASICEtched SohuDer Transformer-Datenpfad ist fest im Silizium; die Gewichte bleiben im Speicher, das Modell ist also austauschbarHerstellerangabe: über 500.000 Token/s in Summe auf Llama 70B für einen Server mit 8 Chips; bis Mitte 2026 kein unabhängiger Benchmark veröffentlichtNur Transformer-Modelle
Model-on-ChipTaalas HC1Die Gewichte eines Modells sind fest verdrahtet, zur Laufzeit wird nichts geholtEtwa 17.000 Token/s je Nutzer auf Llama 3.1 8B (Herstellerangabe)Ein Modell je Chip; Adapter und Kontextgröße konfigurierbar

Die Werte entsprechen Herstellerangaben oder Presseberichten aus dem Jahr 2026, mit unterschiedlichen Modellen, Batchgrößen und Testbedingungen. Geschwindigkeit je Nutzer und Gesamtdurchsatz eines Servers sind verschiedene Kennzahlen. Die Quellen stehen am Ende.

Was die Zahlen verschweigen

Geschwindigkeit je Nutzer und Gesamtdurchsatz sind nicht dasselbe. Ein Wert wie 17.000 Token pro Sekunde je Nutzer beschreibt, wie schnell ein einzelnes Gespräch läuft. Ein Wert wie 500.000 Token pro Sekunde für einen Server addiert viele gleichzeitige Gespräche. Ohne die Batchgröße lässt sich keiner in den anderen umrechnen.

Modellgröße und Genauigkeit ändern alles. Ein 8B-Modell und ein 70B-Modell sind verschiedene Lasten, und ein Chip, der Gewichte mit 3 oder 4 Bit speichert, leistet nicht dasselbe wie einer mit 8-Bit- oder 16-Bit-Gewichten. Taalas hat erklärt, dass das erste Silizium 3-Bit- und 6-Bit-Parameter kombiniert, mit etwas Qualitätsverlust gegenüber GPU-Referenzen.

Prüfen Sie schließlich, wer gemessen hat. Einige Werte der Tabelle stammen von einem unabhängigen Tracker, einige aus der Ankündigung des Herstellers, und einer ist von keiner dritten Stelle bestätigt. Leistungsaufnahme, Preis und Verfügbarkeit fehlen in Ankündigungen oft ganz.

Alle fünf sind Antworten für das Rechenzentrum

Jeder Chip der Tabelle steht in einem Rack. Ein Wafer-Scale-System setzt Kilowatt um; der Taalas HC1 ist für Server mit rund 2,5 kW ausgelegt; die übrigen sitzen in gängigen Beschleunigerservern. Keiner passt in einen Übersetzer, ein Fahrzeug, einen Roboter oder eine Industriekamera.

Geräte brauchen dieselbe Idee, Gewichte, die sich nicht bewegen, bei einem Watt bis einigen zehn Watt und auf einer Lieferkette, die in Stückzahlen liefern kann. Das ist eine sechste Klasse: Edge-Inferenzchips auf Basis von Compute-in-Memory und Near-Memory-Computing.

Fanshi Semiconductor arbeitet in dieser Klasse auf einem ausgereiften SMIC-28-nm-Prozess. Forge nutzt MaskROM-Compute-in-Memory für Geräte der Watt-Klasse mit Qwen 3.5 0.8B. Trident nutzt Near-Memory-Computing für Modelle bis Qwen 3.5 35B in einem Systembudget von 70 W, mit weiterhin aktualisierbaren Gewichten. Argus nutzt SRAM-Compute-in-Memory für Bildverarbeitung in Echtzeit. Alle Fanshi-Angaben sind Entwicklungsziele.

Wie Sie wählen

  • Das Modell wechselt alle paar Wochen, oder Sie trainieren auch: Bleiben Sie bei GPUs.
  • Sie bedienen aus dem Rechenzentrum viele Nutzer mit wenigen beliebten Modellen: Wafer-Scale-, LPU- und Transformer-ASIC-Dienste lohnen einen Benchmark mit Ihren eigenen Prompts.
  • Ein feststehendes Modell trägt den Großteil Ihres Verkehrs: Ein Model-on-Chip-Beschleuniger tauscht Flexibilität gegen die höchste Geschwindigkeit je Nutzer.
  • Das Modell muss im Gerät laufen, offline und mit festem Leistungsbudget: Sehen Sie sich Edge-Chips mit Compute-in-Memory oder Near-Memory-Computing an.

Häufige Fragen

Was ist ein LLM-Inferenz-ASIC?

Ein LLM-Inferenz-ASIC ist ein Chip, der ausschließlich große Sprachmodelle ausführt und sie nicht trainiert. Durch den Verzicht auf die Allgemeinheit einer GPU entfällt Aufwand, vor allem der Transport der Gewichte vom Speicher zu den Recheneinheiten, und er liefert mehr Token pro Sekunde je Watt.

Welcher LLM-Inferenzchip ist der schnellste?

Bei der Geschwindigkeit je Nutzer für ein kleines Modell ist der höchste öffentliche Wert der Taalas HC1 mit etwa 17.000 Token pro Sekunde auf Llama 3.1 8B, nach Angabe des Unternehmens. Etched nennt den höchsten Gesamtdurchsatz je Server. Diese Werte nutzen unterschiedliche Modelle und Kennzahlen, und nicht alle sind unabhängig bestätigt.

Ersetzen Inferenz-ASICs die GPU?

Nein. Training, Forschung und selten genutzte Modelle brauchen weiterhin Allzweck-Hardware. Inferenz-ASICs passen dort, wo das Modell feststeht und entweder die Stückzahl sehr groß oder das Leistungsbudget sehr knapp ist.

Kann ein LLM-Inferenz-ASIC in einem Gerät laufen?

Die Rechenzentrumsentwürfe nicht: Sie nehmen Hunderte Watt bis Kilowatt auf. Edge-Inferenzchips mit Compute-in-Memory oder Near-Memory-Computing zielen auf ein Watt bis einige zehn Watt und sind für Geräte gebaut.

Quellen

  1. heise online: KI-Inferenz in Silizium gegossen: Taalas kündigt HC1-Chip an
  2. CNX Software: Taalas HC1 hardwired Llama-3.1 8B AI accelerator delivers up to 17,000 tokens/s
  3. Fast.io: Etched AI Review 2026: Sohu Chip Specs, Benchmarks, and What Actually Ships

Bringen Sie die Frage in Ihr Projekt

Senden Sie uns Zielmodell sowie Leistungs- und Verbrauchsziele. Wir antworten mit einem Pfad und einem Evaluierungsplan.

Evaluierungskit anfragen