Zum Inhalt springen

Model-on-Chip · fest verdrahteter LLM-Chip · modellspezifischer ASIC · Taalas HC1 · Edge-LLM-Chip

Model-on-Chip erklärt: Fest verdrahtete LLM-ASICs, Cloud und Edge

Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

Ein modellspezifischer ASIC, auch fest verdrahteter LLM-Chip genannt, legt die Gewichte eines einzigen Sprachmodells bei der Fertigung im Silizium fest. Bei der Inferenz müssen keine Gewichte mehr aus dem Speicher geholt werden, deshalb können Dekodiergeschwindigkeit und Energieeffizienz um Größenordnungen über einer Allzweck-GPU liegen. Der Preis dafür: Das Modell lässt sich nicht beliebig tauschen. Es gibt zwei Arten. Cloud-Chips zielen auf Token pro Sekunde je Rack und Kosten je Token, Edge-Chips auf Leistungsaufnahme im Watt-Bereich, Offline-Betrieb und Gerätekosten.

Was „fest verdrahtet“ wirklich bedeutet

Eine Allzweck-GPU ist eine Maschine, die jedes Modell ausführen kann: Die Gewichte liegen im Speicher und werden für jedes erzeugte Token einmal gelesen. Ein modellspezifischer ASIC geht den umgekehrten Weg. Das Modell wird beim Entwurf festgelegt, seine Gewichte werden in Masken-ROM oder Metalllagen geschrieben und damit Teil des Chips. Wenn der Chip die Fabrik verlässt, steckt das Modell bereits darin.

Damit entfällt der teuerste Schritt der Inferenz: der Transport der Gewichte. Die Recheneinheiten warten nicht mehr auf Daten, die Bandbreite ist nicht mehr die Obergrenze, und der Großteil der Energie geht nicht mehr für den Transport verloren.

Warum das gerade jetzt passiert

Zwei Entwicklungen haben aus der Idee Produkte gemacht. Erstens sind Modellfamilien strukturell stabil geworden: Eine neuere Version behält oft den Schichtaufbau der vorigen, sodass eine Chiparchitektur für ein Modell auf das nächste übertragbar ist. Zweitens wachsen die Inferenzkosten weiter. Preise je Token und Stromkosten treiben die Branche dazu, für die wenigen meistgenutzten Modelle eigene Hardware zu bauen.

Die GPU wird dadurch nicht ersetzt. Training, Forschung und selten genutzte Modelle brauchen weiterhin Allzweck-Hardware. Ein modellspezifischer ASIC passt dort, wo das Modell feststeht und entweder die Stückzahl sehr groß oder das Leistungsbudget sehr knapp ist.

Cloud und Edge verfolgen unterschiedliche Ziele

Ein Cloud-Chip dieser Art steht im Rechenzentrum und wird an GPU-Servern gemessen: Token pro Sekunde je Rack und Dollar je Million Token. Er nutzt meist einen fortschrittlicheren Fertigungsprozess und nimmt Hunderte Watt auf.

Ein Edge-Chip sitzt im Gerät: in einem Übersetzer, einem Fahrzeug, einem Roboter, einer Industriekamera. Dort zählt, ob er mit einem Watt bis einigen zehn Watt auskommt, ob er ohne Netz arbeitet und wie stark er die Stückliste verteuert. Die Daten verlassen das Gerät nicht, was in abgeschotteten und datenschutzkritischen Umgebungen eine harte Anforderung ist.

Fanshi Semiconductor baut die Edge-Variante. Auf einer ausgereiften SMIC-28-nm-Lieferkette bietet das Unternehmen drei Pfade an, MaskROM-Compute-in-Memory, SRAM-Compute-in-Memory und Near-Memory-Computing, vom Handgerät der Watt-Klasse bis zum Hochlastknoten für 35B-Modelle. Alle Angaben auf der Website sind Entwicklungsziele.

Der öffentliche Bezugspunkt: Taalas HC1

Das deutlichste öffentliche Beispiel ist der Taalas HC1, angekündigt im Februar 2026. Nach Angaben des Unternehmens und der Fachpresse verdrahtet er Llama 3.1 8B fest in einem einzelnen ASIC mit rund 53 Milliarden Transistoren, gefertigt bei TSMC in 6 nm auf 815 mm² Chipfläche, und erzeugt knapp 17.000 Token pro Sekunde je Nutzer. Für dasselbe Modell nennt die Berichterstattung etwa 230 Token pro Sekunde auf einer NVIDIA H200 und rund 1.900 bei Cerebras in unabhängigen Benchmarks.

Zwei Details sind für jede Bewertung des Ansatzes wichtig. Nach eigener Darstellung ist das erste Silizium aggressiv quantisiert, mit einer Mischung aus 3-Bit- und 6-Bit-Parametern, was gegenüber einer GPU-Referenz etwas Antwortqualität kostet. Und es ist ein Rechenzentrumsprodukt für Server mit rund 2,5 kW, nichts, was in ein Gerät passt.

Die Edge-Variante wendet dieselbe Idee an, Gewichte, die sich nicht bewegen, allerdings auf einem ausgereiften Prozess und für Modelle, die auf ein Watt bis einige zehn Watt zugeschnitten sind.

Was Sie einen Anbieter fragen sollten

Erstens: Was passiert, wenn sich das Modell ändert, neue Masken, ein Neuladen oder ein Update des externen Speichers? Kann ein neueres Modell derselben Familie die vorhandene Architektur weiterverwenden? Zweitens: Sind die veröffentlichten Werte gemessen oder Entwicklungsziele, und für welches Modell, welche Genauigkeit und welche Testbedingungen gelten sie? Drittens: Gibt es vor dem Tape-out ein Evaluierungsboard, auf dem Sie Ihr eigenes Modell mit eigenen Daten laufen lassen können? Viertens: Wie planbar sind Prozess und Lieferkette, und wovon hängt der Liefertermin ab?

Wenn Sie einen solchen Chip für ein Gerät prüfen, dauert der Projektsteckbrief auf der Fanshi-Website zwei Minuten: Modell, Gerät, Leistungsbudget und Stückzahl beschreiben, und das Entwicklungsteam antwortet zu Ihrem Projekt.

Häufige Fragen

Lässt sich das Modell in einem fest verdrahteten Chip aktualisieren?

Das hängt davon ab, wo die Gewichte liegen. Bei Masken-ROM sind sie Teil des Maskensatzes, ein neues Modell bedeutet also neue Masken; manche Entwürfe erlauben dennoch Anpassungen über Adapter und ein konfigurierbares Kontextfenster. Bei SRAM-Compute-in-Memory werden die Gewichte beim Einschalten geladen und sind austauschbar. Bei Near-Memory-Computing liegen sie im externen Speicher und lassen sich wie Firmware aktualisieren.

Ist Model-on-Chip dasselbe wie Compute-in-Memory?

Die Begriffe überschneiden sich, sind aber nicht gleich. Model-on-Chip beschreibt die Produktentscheidung: Ein Modell wird fest ins Silizium gelegt. Compute-in-Memory beschreibt die Schaltungstechnik: Gerechnet wird im Speicherarray. Ein Masken-ROM-Chip, der im Array rechnet, ist beides; ein SRAM-Compute-in-Memory-Chip ist Compute-in-Memory ohne festes Modell.

Wie schnell ist ein fest verdrahteter LLM-Chip?

Der öffentliche Bezugspunkt ist der Taalas HC1, den das Unternehmen mit knapp 17.000 Token pro Sekunde je Nutzer auf Llama 3.1 8B angibt. Das ist eine Herstellerangabe für ein Modell bei einer bestimmten Quantisierung. Fragen Sie bei jedem Chip, ob eine Zahl gemessen oder ein Entwicklungsziel ist und für welches Modell und welche Genauigkeit sie gilt.

Hat Fanshi etwas mit Taalas zu tun?

Nein. Fanshi Semiconductor ist weder mit Taalas verbunden noch dessen Partner. Beide Unternehmen teilen eine grobe technische Richtung; Taalas baut Beschleuniger für Rechenzentren, Fanshi baut Chips und IP für Endgeräte.

Quellen

  1. heise online: KI-Inferenz in Silizium gegossen: Taalas kündigt HC1-Chip an
  2. CNX Software: Taalas HC1 hardwired Llama-3.1 8B AI accelerator delivers up to 17,000 tokens/s

Bringen Sie die Frage in Ihr Projekt

Senden Sie uns Zielmodell sowie Leistungs- und Verbrauchsziele. Wir antworten mit einem Pfad und einem Evaluierungsplan.

Evaluierungskit anfragen