Zum Inhalt springen

MaskROM-Compute-in-Memory · fest verdrahtetes LLM · Modell im Silizium · ROM-basiertes CIM · Gewichte im Silizium

MaskROM-Compute-in-Memory: Was es heißt, Gewichte ins Silizium zu gießen

Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

MaskROM-Compute-in-Memory gießt die Modellgewichte über die beim Tape-out verwendeten Maskenmuster in ein Via-Array im Silizium. Die Gewichte werden so zu einem Teil der Chipstruktur. Zur Laufzeit muss nichts ausgelesen oder bewegt werden: Multiplizieren und Akkumulieren geschieht an Ort und Stelle im Array. Das ergibt die niedrigste Leistungsaufnahme und die niedrigsten Grenzkosten pro Inferenz aller Pfade. Der Preis ist ein festes Modell; eine Änderung erfordert neue Masken.

Die Gewichte werden Teil des Siliziums

In einem gewöhnlichen Chip werden die Speicherzellen leer ausgeliefert, und die Gewichte werden beim Einschalten von außen geladen. MaskROM ist anders. Zur Entwurfszeit wird der Wert jedes Gewichts in das Vorhandensein oder Fehlen von Vias und Verbindungen übersetzt, in die Fotomaske gezeichnet und zusammen mit allem anderen ins Silizium gefertigt. Wenn der Chip die Fabrik verlässt, ist das Modell bereits darin.

Weil die Gewichte Schaltungsstruktur sind, gibt es keinen Ausleseschritt. Während die Aktivierungen durch das Array fließen, wird in den Schaltungen neben dem Via-Array an Ort und Stelle multipliziert und akkumuliert, und heraus kommen Ergebnisse, keine Gewichte. Genau das bedeutet es wörtlich, ein Modell in einen Chip zu gießen.

Warum Leistungsaufnahme und Kosten am niedrigsten sind

Bei der LLM-Dekodierung ist der Transport der Gewichte der größte Energieposten, und MaskROM beseitigt ihn vollständig. Außerdem braucht es weder DRAM noch HBM. Damit entfällt ein teurer Speicherchip aus der Stückliste, samt seiner Leistungsaufnahme und seiner Platinenfläche.

Eine MaskROM-Zelle ist winzig: Sie braucht nicht sechs Transistoren pro Bit wie SRAM. Dieselbe Siliziumfläche fasst weit mehr Gewichte, weshalb sich auf einem ausgereiften Fertigungsknoten ein vollständiges Sprachmodell unterbringen lässt.

Die Masken sind einmalige Kosten. Danach kostet jeder Chip nur seine Die-Fläche und sein Gehäuse. Je höher die Stückzahl, desto kleiner der Maskenanteil pro Einheit.

Die Grenze: ein festes Modell

Sind die Gewichte einmal ins Silizium gegossen, lassen sie sich nicht mehr ändern. Ein anderes Modell bedeutet neue Masken und ein neues Tape-out. Der MaskROM-Pfad setzt daher voraus, dass das Modell eingefroren und im Feld gründlich validiert ist.

Ein gängiger technischer Ansatz legt den stabilen Hauptteil des Modells, etwa das Rückgrat des Sprachmodells, in MaskROM ab und hält die Teile, die Feinabstimmung brauchen, etwa einige Adapter-Schichten oder Prompts, in beschreibbarem Speicher. Die genaue Aufteilung wird je Projekt anhand der Modellstruktur geprüft.

Für welche Produkte er passt

Handübersetzer, Sprachmemo-Geräte und Offline-Sprachassistenten im Fahrzeug haben ein gemeinsames Profil: eine klare Modellaufgabe, hohe Stückzahlen, extreme Empfindlichkeit beim Stromverbrauch und kein Bedarf an einer Netzwerkverbindung. Forge von Fanshi ist genau für diese Geräte definiert: der MaskROM-Pfad mit Qwen 3.5 0.8B als Kernmodell, mit den Entwicklungszielen einer Systemleistung unter einem Watt und einer Dekodiergeschwindigkeit von 17.000 Token/s.

Ist Ihr Modell noch nicht eingefroren, bringen Sie es zuerst mit Inferenz-IP auf einem FPGA-Evaluierungsboard zum Laufen und gehen Sie zum MaskROM-Tape-out über, sobald das Modell feststeht.

Bringen Sie die Frage in Ihr Projekt

Senden Sie uns Zielmodell sowie Leistungs- und Verbrauchsziele. Wir antworten mit einem Pfad und einem Evaluierungsplan.

Evaluierungskit anfragen