Zum Inhalt springen

Weniger bewegen. Die Inferenz bleibt im Gerät.

Fanshi ordnet seine Technologie danach, wo die Modellgewichte gespeichert und verrechnet werden: MaskROM-Compute-in-Memory, SRAM-Compute-in-Memory und Near-Memory-Computing.

Ein 300-mm-Wafer auf einer Probe-Station
Abb. 1 · Ein 300-mm-Wafer auf einer Probe-Station

Das ganze Modell,
gegossen in einen Chip.

GPUs und NPUs verbringen den Großteil ihrer Zeit und Energie damit, Gewichte zwischen Speicher und Rechenwerk hin- und herzuschieben. Fanshi dreht das um: Die Gewichte wohnen im Speicherarray, und gerechnet wird dort, wo sie liegen.

Im Silizium / ARCHITECTURE STUDY03 / 03

Die Gewichte zum Teil des Siliziums machen.

MaskROM · Querschnitt

Externer Gewichtstransport pro Token

0MB

Was zur Laufzeit bleibt

Rechnen an Ort und Stelle · kein externer Gewichtstransport

0.8B · INT8-Schätzung, nicht die Leistungsaufnahme des Systems
Abb. 2 · Wo die Gewichte liegen, entscheidet, wohin die Energie gehtSchema · kein reales Layout
  1. Getrennter Speicher

    Jedes Token bewegt jedes Gewicht

    In einer herkömmlichen NPU oder GPU sind Speicher und Rechenwerk getrennte Siliziumbausteine. Für jedes erzeugte Token wandern sämtliche Gewichte über den Bus: Die Bandbreite setzt die Obergrenze, und die meiste Energie geht unterwegs verloren.

  2. Compute-in-Memory

    Die Gewichte ins Speicherarray legen

    Fanshi baut die Multiplizier-Akkumulier-Schaltungen direkt in das Speicherarray. Die Gewichte bleiben im Array, Aktivierungen fließen hinein, Ergebnisse heraus. Auf dem Bus liegen keine Gewichte mehr.

  3. MaskROM

    Beim Tape-out gegossen, zur Laufzeit nie bewegt

    Masken-ROM-Compute-in-Memory schreibt die Gewichte beim Tape-out physisch in das Via-Array. Der Chip verlässt die Fabrik mit dem Modell bereits im Inneren; Leistungsaufnahme und Grenzkosten pro Inferenz sinken auf das Minimum.

Ein Ziel,
drei Pfade.

Alle drei bewegen die Gewichte weniger oder gar nicht. Sie unterscheiden sich darin, wo die Gewichte liegen und ob sich das Modell noch ändern lässt. Die erste Frage lautet: Wie oft ändert sich Ihr Modell?

MaskROMIn die Maske gegossenMaskROM-Compute-in-Memory
Wo die Gewichte liegen
Maskenebenen, beim Tape-out gegossen
Bewegung zur Laufzeit
Keine
Modell-Updates
Beim Tape-out festgelegt
Geeignet für
Stabile Modelle, hohe Stückzahlen, niedrigste Leistungsaufnahme und Grenzkosten
Forge
SRAM CIMIm SRAM rechnenSRAM-Compute-in-Memory
Wo die Gewichte liegen
Im SRAM-Array
Bewegung zur Laufzeit
MAC im Array
Modell-Updates
Beim Start geladen, aktualisierbar
Geeignet für
Mittelgroße Modelle, Geräte mit Modellwechsel im Feld
Argus
NMCNeben dem Speicher rechnenNear-Memory-Computing
Wo die Gewichte liegen
Externer Speicher mit hoher Bandbreite
Bewegung zur Laufzeit
Datenstrom auf dem Chip
Modell-Updates
Laufende Iteration
Geeignet für
Große, sich schnell entwickelnde Modelle in Hochlastknoten
Trident
17,000token/s

Dekodiergeschwindigkeit im Gerät

Forge, Entwicklungsziel · Qwen 3.5 0.8B

~1 W

Leistungsaufnahme des Systems

Forge, leichte Edge-Klasse

100%

Der Daten bleiben im Gerät

Lokale Inferenz, kein Netzwerk nötig

≈ $0

Grenzkosten pro Inferenz

Nach dem einmaligen Kauf des Chips

Den passenden Pfad für Ihr Projekt wählen

Senden Sie uns Zielmodell, Leistungs- und Verbrauchsziele und wie oft sich das Modell ändert. Wir antworten mit einem Pfad und einem Evaluierungsplan.

Evaluierungskit anfragen