Compute-in-Memory-KI-Chip · CIM · SRAM CIM · Near-Memory-Computing · MaskROM
Was ist ein Compute-in-Memory-KI-Chip? Drei Pfade erklärt
Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

Ein Compute-in-Memory-Chip (CIM) führt Multiplizier-Akkumulier-Operationen im Speicherarray aus, sodass die Modellgewichte die Speicherzellen nie verlassen. Er setzt beim größten Kostenblock der LLM-Inferenz an: dem Transport der Gewichte vom Speicher zu den Recheneinheiten. Je nachdem, wo die Gewichte liegen, gibt es drei Hauptpfade: MaskROM-Compute-in-Memory, SRAM-Compute-in-Memory und Near-Memory-Computing.
Das Problem ist der Datentransport, nicht das Rechnen
Jedes Token, das ein LLM erzeugt, erfordert das Lesen aller Modellgewichte. Bei einem Modell mit 0.8B Parametern in INT8 sind das mindestens 0,8 GB, die pro Token aus dem Speicher gelesen werden. In einer herkömmlichen Architektur laufen diese Daten über einen Bus in die Recheneinheiten, und die Ergebnisse werden zurückgeschrieben. Die Arithmetik selbst macht nur einen kleinen Teil der Energie aus; der Großteil von Leistung und Zeit fließt in das Bewegen von Daten.
Das ist die Memory Wall. Rechenzentren drücken sich mit HBM und großzügigen Leistungsbudgets hindurch. Endgeräte können das nicht: Ihre Speicherbandbreite liegt bei einigen zehn GB/s, ihr Leistungsbudget bei wenigen Watt. Solange Gewichte bewegt werden müssen, kann ein Endgerät kein leistungsfähiges LLM ausführen.
Compute-in-Memory dreht das Problem um. Wenn das Bewegen der Gewichte der Engpass ist, bewegt man sie eben nicht mehr. Die Gewichte bleiben im Speicherarray, die Multiplizier-Akkumulier-Schaltungen sitzen darin oder direkt daneben, Aktivierungen fließen hinein und Ergebnisse heraus.
Drei Pfade, bestimmt davon, wo die Gewichte liegen
MaskROM-Compute-in-Memory: Die Gewichte werden in der Maskenstufe des Tape-outs physisch in ein Via-Array im Silizium gegossen. Das Array ist nur lesbar, zur Laufzeit gibt es keinen externen Gewichtstransport. Das ergibt die niedrigste Leistungsaufnahme und die niedrigsten Grenzkosten pro Inferenz. Der Preis ist ein festes Modell: Eine Änderung bedeutet neue Masken. Der Pfad passt zu stabilen Modellen in hohen Stückzahlen, etwa Handübersetzern und Offline-Sprachassistenten.
SRAM-Compute-in-Memory (SRAM CIM): Multiplizieren und Akkumulieren geschieht im SRAM-Array, die Gewichte werden beim Einschalten geladen und lassen sich daher aktualisieren. Die Berechnung verlässt die Speicherzellen weiterhin nicht, aber das Modell kann im Feld getauscht werden. Der Pfad passt zu mittelgroßen Modellen und zu Produkten, die weiter iterieren.
Near-Memory-Computing: Die Gewichte liegen in externem Speicher mit hoher Bandbreite, die Recheneinheiten sitzen direkt daneben, und die Verarbeitung als Datenstrom auf dem Chip hält den Transport minimal. Das ist kein In-Memory-Computing im strengen Sinn, für große Modelle, die sich noch schnell entwickeln, aber die praktischste Wahl.
Die Auswahl: zuerst fragen, wie oft sich das Modell ändert
Die erste Frage gilt nicht der Rechenleistung, sondern dem Update-Rhythmus. Wenn sich das Modell ein Jahr lang nicht ändert und Sie Hunderttausende Einheiten ausliefern, ist MaskROM bei Kosten und Leistungsaufnahme unschlagbar. Wird das Modell jedes Quartal überarbeitet, sind Near-Memory-Computing oder SRAM CIM die sicherere Wahl.
Die zweite Frage ist die Parameterzahl. Ein Leistungsbudget unter einem Watt entspricht Modellen mit etwa 1B Parametern oder weniger. Ein Modell der 30B-Klasse im Endgerät braucht den Near-Memory-Pfad und ein Systembudget von einigen zehn Watt.
Die Chips der ersten Generation von Fanshi Semiconductor verteilen sich auf die drei Pfade. Forge nutzt MaskROM für Geräte unter einem Watt mit Qwen 3.5 0.8B. Trident nutzt Near-Memory-Computing und unterstützt bis zu Qwen 3.5 35B. Argus nutzt SRAM-Compute-in-Memory für Echtzeit-Vision mit 120 FPS. Alle Angaben sind Entwicklungsziele.
Verbreitete Irrtümer
„Compute-in-Memory braucht einen modernen Fertigungsknoten.“ Nein. Der Gewinn kommt aus der Architektur, nicht aus der Transistordichte. Fanshi baut auf einer ausgereiften SMIC-28-nm-Lieferkette auf, was auch Kosten und Lieferfähigkeit planbar hält.
„Compute-in-Memory kann nur kleine Modelle ausführen.“ Der MaskROM-Pfad begünstigt tatsächlich feste kleine und mittelgroße Modelle, der Near-Memory-Pfad trägt jedoch zig Milliarden Parameter. Die eigentliche Grenze ist das Leistungsbudget, nicht die Architektur.
„Die Genauigkeit leidet.“ Digitales Compute-in-Memory führt, anders als frühes analoges In-Memory-Computing, im Array eine exakte ganzzahlige Multiplikation und Akkumulation aus. Die Genauigkeit bestimmt das Quantisierungsschema, genau wie bei INT8-Inferenz auf einer GPU.



