Zum Inhalt springen

Memory Wall · Edge-LLM · Bandbreite der LLM-Inferenz · Compute-in-Memory · Near-Memory-Computing

Die Memory Wall: Warum Edge-LLMs stocken und wie man sie umgeht

Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

Die Memory Wall ist die Lücke zwischen schnell wachsender Rechenleistung und langsam wachsender Speicherbandbreite, durch die Recheneinheiten die meiste Zeit auf Daten warten. Bei der LLM-Dekodierung liest jedes Token alle Gewichte, die Durchsatzobergrenze entspricht also der Speicherbandbreite geteilt durch die Modellgröße. Endgeräte haben nur einige zehn GB/s Bandbreite, herkömmliche Architekturen können dort kein leistungsfähiges LLM ausführen. Compute-in-Memory und Near-Memory-Computing umgehen die Mauer, indem sie die Gewichte weniger oder gar nicht bewegen.

Eine Division

Die Obergrenze des Dekodierdurchsatzes lässt sich mit einer Division abschätzen: Token pro Sekunde = Speicherbandbreite ÷ pro Token gelesene Gewichtsbytes. Ein Modell mit 1B Parametern in INT8 liest etwa 1 GB pro Token. Auf einem Endgerät mit 50 GB/s Bandbreite liegt die Obergrenze bei 50 Token pro Sekunde, und das ist das theoretische Maximum vor realen Verlusten.

Wechselt man zu einem 7B-Modell, schafft dasselbe Gerät etwa 7 Token pro Sekunde; bei 35B knapp über eins. Das ist kein Mangel an Rechenleistung, sondern ein Mangel an Bandbreite. Mehr TOPS ändern nichts, weil die Recheneinheiten die meiste Zeit darauf warten, dass Gewichte ankommen.

Wie Rechenzentren damit umgehen, und warum Endgeräte es nicht können

Die Antwort der Rechenzentren ist HBM: mehrere TB/s Bandbreite, die den Zähler vergrößern. Der Preis sind Hunderte Watt, Tausende Dollar pro Beschleuniger und eine aufwendige Gehäusetechnik. Im Endgerät funktioniert nichts davon: Handgeräte haben einige Watt, Fahrzeuge und Roboter einige zehn Watt, und das Siliziumbudget bemisst sich in zehn bis einigen hundert Dollar.

Auf herkömmlichen Architekturen hat ein Edge-LLM daher zwei Möglichkeiten: das Modell drastisch verkleinern oder hinnehmen, dass es langsam ist. Keine davon ist attraktiv.

Der Ausweg: die Gewichte nicht mehr bewegen

Compute-in-Memory baut Multiplizieren und Akkumulieren in das Speicherarray ein. Die Gewichte nehmen dort an der Berechnung teil, wo sie liegen, und über den Bus laufen nur Aktivierungen. Aktivierungen sind um Größenordnungen kleiner als die Gewichte, die Bandbreite ist damit kein Engpass mehr. MaskROM-Compute-in-Memory geht am weitesten: Die Gewichte werden beim Tape-out ins Silizium gegossen, sodass sogar das Auslesen entfällt.

Near-Memory-Computing setzt die Recheneinheiten direkt an Speicher mit hoher Bandbreite und verarbeitet die Daten als Strom auf dem Chip, sodass jeder gelesene Gewichtsblock vollständig wiederverwendet wird. Das minimiert Anzahl und Strecke der Transfers. Das Modell bleibt aktualisierbar, was zu großen Modellen passt, die sich noch entwickeln.

Beide Pfade verkleinern den Nenner dieser Division oder beseitigen ihn, statt mit Gewalt einen größeren Zähler zu erzwingen. Deshalb können sie Edge-LLMs auf einem ausgereiften 28-nm-Prozess ausführen.

Was das für Produkte bedeutet

Die Dekodiergeschwindigkeit steigt von wenigen Token pro Sekunde auf mehr als zehntausend (Entwicklungsziele). Sprachinteraktion stockt nicht mehr, und Mehrstrom-Lasten werden möglich. Die Leistungsaufnahme des Systems sinkt von über zehn Watt auf unter ein Watt, Handgeräte können den ganzen Tag offline arbeiten. Und ohne DRAM oder HBM werden Stückliste und thermisches Design einfacher.

Die Chips von Fanshi Semiconductor verteilen sich auf die Pfade MaskROM, SRAM-Compute-in-Memory und Near-Memory. Welchen Ihr Produkt braucht, klären Sie am besten mit „Einen Edge-LLM-Inferenzchip auswählen“.

Bringen Sie die Frage in Ihr Projekt

Senden Sie uns Zielmodell sowie Leistungs- und Verbrauchsziele. Wir antworten mit einem Pfad und einem Evaluierungsplan.

Evaluierungskit anfragen