NPU oder GPU · NPU für LLM · LLM-Chip im Endgerät · Edge-KI-Beschleuniger · LLM-ASIC
NPU, GPU-Modul oder dedizierter Chip für LLMs im Gerät
Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

Eine NPU, ein Embedded-GPU-Modul und ein dedizierter LLM-Chip können alle ein Sprachmodell im Gerät ausführen, scheitern aber an unterschiedlichen Stellen. Die NPU steckt bereits im Produkt und kostet nichts extra, teilt sich jedoch den Systemspeicher und hängt an der Toolchain des Herstellers. Ein GPU-Modul führt jedes Modell aus, das in seinen Speicher passt, und nimmt einige zehn Watt auf. Ein dedizierter Chip beseitigt den Speicherengpass und braucht am wenigsten Leistung, aber das Modell steht vorab fest. Die Wahl hängt an drei Fragen: Wie stabil ist das Modell, wie viele Geräte liefern Sie aus, und wie viele Watt stehen zur Verfügung?
Drei Bauteile, drei Engpässe
Alle drei rechnen dasselbe. Der Unterschied liegt darin, wo die Gewichte während der Rechnung liegen, denn für jedes Token muss jedes Gewicht des Modells gelesen werden.
Eine NPU liest Gewichte aus dem Systemspeicher, den sie mit Prozessor, Display und allem anderen teilt. Ein Embedded-GPU-Modul hat eigenen, schnelleren Speicher und bezahlt dafür mit Leistungsaufnahme. Ein dedizierter LLM-Chip hält die Gewichte in oder direkt neben der Recheneinheit, sie werden gar nicht erst geholt.
Im direkten Vergleich
| NPU in einem Smartphone- oder PC-Chip | Embedded-GPU-Modul | Dedizierter LLM-Chip | |
|---|---|---|---|
| Wo die Gewichte liegen | Geteilter Systemspeicher | Eigener Speicher des Moduls | In oder neben dem Rechenarray |
| Was Token/s begrenzt | Bandbreite des Systemspeichers und Operatorunterstützung der Toolchain | Speicherbandbreite des Moduls | Beim Entwurf festgelegt; nicht bandbreitenbegrenzt |
| Typische Leistung | Teil des Budgets des Hauptchips | Einige zehn Watt | Ein Watt bis einige zehn Watt, je nach Modellgröße |
| Modellwechsel | Jedes Modell, das die Toolchain übersetzt | Jedes Modell, das in den Speicher passt | Je nach Pfad: bei der Fertigung fest, beim Einschalten neu geladen oder im externen Speicher aktualisiert |
| Vorabkosten | Keine über den Hauptchip hinaus | Modulpreis je Gerät | Ein Tape-out, verteilt auf die Stückzahl |
| Passt am besten, wenn | das Produkt den Chip schon nutzt und ein kleines Modell genügt | die Stückzahl klein ist oder das Modell oft wechselt | das Modell feststeht, die Stückzahl hoch und die Leistung knapp ist |
Qualitativer Vergleich. Konkrete Werte hängen vom Bauteil, vom Modell und von dessen Genauigkeit ab.
Wo die NPU endet
Eine NPU wird in TOPS angegeben, also in Rechenoperationen pro Sekunde. Über den Speicher sagt diese Zahl nichts. Für ein Sprachmodell liegt die Obergrenze bei Speicherbandbreite geteilt durch Modellgröße, und die NPU nutzt denselben Speicher wie das übrige System.
Die zweite Grenze ist die Software. Ein Modell läuft nur dann auf der NPU, wenn die Toolchain des Herstellers jede Operation darin unterstützt. Neue Architekturen kommen oft früher als die Toolchain, und die nicht unterstützten Teile fallen auf die CPU zurück.
Für ein kleines Modell in einem Produkt, das den Chip bereits enthält, ist die NPU die vernünftige erste Wahl. Sie reicht nicht mehr, wenn das Modell wächst oder die Antwort schnell kommen muss.
Wo das GPU-Modul endet
Ein GPU-Modul ist die flexibelste Option: Jedes Modell, das in den Speicher passt, läuft, und die Software ist ausgereift. Der Preis sind Leistung, Wärme und Stückkosten. Einige zehn Watt und ein Kühlkörper schließen Handgeräte und die meisten batteriebetriebenen Produkte aus.
Auch das Modul bleibt an die Speicherbandbreite gebunden. Ein größeres Modell erzeugt auf demselben Modul entsprechend weniger Token pro Sekunde.
Wann ein dedizierter Chip die richtige Antwort ist
Ein dedizierter Chip ist sinnvoll, wenn drei Dinge zusammenkommen: Das Modell steht für die Lebensdauer des Produkts fest oder ändert sich nur innerhalb einer Familie, die Stückzahl reicht, um ein Tape-out zu verteilen, und das Leistungsbudget ist für ein Allzweck-Bauteil zu knapp.
Wie fest das Modell ist, hängt vom Pfad ab. Ein MaskROM-Compute-in-Memory-Chip legt die Gewichte bei der Fertigung fest. Ein SRAM-Compute-in-Memory-Chip lädt sie beim Einschalten. Ein Near-Memory-Chip hält sie im externen Speicher und aktualisiert sie wie Firmware.
Fanshi baut Chips auf allen drei Pfaden und lizenziert die Inferenzkerne als IP für Teams, die einen eigenen SoC entwerfen. Veröffentlichte Werte sind Entwicklungsziele.
Ein kurzer Entscheidungsweg
- Das Modell hat weniger als etwa 1 Milliarde Parameter, und wenige Token pro Sekunde genügen? Beginnen Sie mit der vorhandenen NPU.
- Das Modell ändert sich alle paar Wochen, oder die Stückzahl ist klein? Nehmen Sie ein GPU-Modul.
- Das Modell steht fest, die Stückzahl ist hoch und das Budget beträgt wenige Watt? Prüfen Sie einen dedizierten Chip, zuerst auf einem FPGA-Board.
- Sie entwerfen einen eigenen SoC? Lizenzieren Sie einen Inferenzkern, statt einen zweiten Chip hinzuzufügen.
Häufige Fragen
Ist eine NPU für LLMs schneller als eine GPU?
In der Regel nicht. Beide sind dadurch begrenzt, wie schnell Gewichte aus dem Speicher gelesen werden. Eine NPU teilt sich den Systemspeicher und erreicht bei Sprachmodellen meist weniger Token pro Sekunde als ein GPU-Modul mit eigenem Speicher.
Warum bedeutet ein hoher TOPS-Wert keine schnelle Texterzeugung?
TOPS zählt Rechenoperationen und ignoriert den Speicher. Die Dekodiergeschwindigkeit eines Sprachmodells ist durch Speicherbandbreite geteilt durch Modellgröße gedeckelt; Rechenleistung darüber hinaus bleibt ungenutzt.
Kann ein dedizierter LLM-Chip später ein anderes Modell ausführen?
Das hängt vom Pfad ab. SRAM-Compute-in-Memory- und Near-Memory-Entwürfe können neue Gewichte laden. Ein MaskROM-Entwurf legt die Gewichte bei der Fertigung fest, ein neues Modell braucht neue Masken.
Was unterscheidet eine NPU von einem Inferenz-IP-Kern für LLMs?
Eine NPU ist ein allgemeiner Beschleuniger für neuronale Netze, der bereits in einem Chip steckt. Ein Inferenz-IP-Kern ist ein Entwurfsbaustein für bestimmte Modellarchitekturen, den ein Chipteam in den eigenen SoC integriert.


