Zum Inhalt springen

LLM ohne GPU · Hardware für LLM im Endgerät · lokales LLM · NPU oder GPU · LLM-ASIC

LLM ohne GPU betreiben: Fünf Hardware-Optionen für Geräte

Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

Ein Sprachmodell läuft auch ohne Rechenzentrums-GPU, und zwar auf fünf Arten von Hardware: einer CPU mit quantisiertem Modell, der NPU in einem Smartphone- oder PC-Chip, einem Embedded-GPU-Modul, einem FPGA oder einem dedizierten LLM-Chip. Die ersten drei teilen einen Engpass, die Speicherbandbreite, weil für jedes Token alle Gewichte gelesen werden müssen. Ein dedizierter Chip beseitigt diesen Engpass, rechnet sich aber nur, wenn das Modell feststeht und das Produkt in Stückzahlen ausgeliefert wird.

Warum der Blick über die GPU hinaus lohnt

Eine Rechenzentrums-GPU ist der bequeme Weg, ein Modell auszuführen, und für die meisten Geräte das falsche Bauteil. Sie nimmt Hunderte Watt auf, kostet mehr als das Produkt, in das sie eingebaut würde, und braucht eine Kühlung, die ein Handgerät, ein Fahrzeugmodul oder eine Industriekamera nicht hat.

Hinzu kommen Gründe, die nichts mit Hardware zu tun haben. Viele Produkte müssen ohne Netz funktionieren, und viele Einsatzorte dürfen keine Daten aus dem Gerät herausgeben. Beides verlagert die Inferenz ins Gerät selbst.

Fünf Optionen im Vergleich

OptionWas die Geschwindigkeit begrenztModellwechselTypischer Einsatz
CPU mit quantisiertem ModellSpeicherbandbreite und KernzahlAndere Datei ladenPrototypen, kleine Stückzahlen, kleine Modelle
NPU in einem Smartphone- oder PC-ChipGeteilter Systemspeicher und die von der Toolchain des Herstellers unterstützten OperationenJedes Modell, das die Toolchain übersetzen kannProdukte, die bereits auf diesem Chip aufbauen
Embedded-GPU-ModulSpeicherbandbreite und das Leistungsbudget des ModulsJedes Modell, das in den Speicher passtRoboter und Gateways mit einigen zehn Watt Reserve
FPGALogikkapazität und Speicherschnittstellen; hohe StückkostenNeu programmierbarNachweis eines Beschleunigerentwurfs; kleine Stückzahlen
Dedizierter LLM-Chip (Compute-in-Memory oder Model-on-Chip)Beim Entwurf festgelegt; die Gewichte bewegen sich nichtJe nach Pfad: mit dem Tape-out festgelegt, beim Einschalten neu geladen oder im externen Speicher aktualisiertSeriengeräte mit feststehendem Modell und knappem Leistungsbudget

Die ersten drei teilen einen Engpass

Auf einer CPU, einer NPU oder einer Embedded-GPU liegen die Gewichte in gewöhnlichem Speicher und werden für jedes Token einmal gelesen. Die Dekodiergeschwindigkeit ist durch Speicherbandbreite geteilt durch Modellgröße gedeckelt. Mehr Rechenleistung hilft nicht, sobald dieser Deckel erreicht ist. Deshalb kann ein Chip mit beeindruckendem TOPS-Wert Text trotzdem langsam erzeugen.

Kleinere Modelle und geringere Genauigkeit heben den Deckel an, und genau dorthin fließt heute der Großteil der Arbeit im Gerät: stärker quantisieren, ein kleineres Modell wählen, die resultierende Qualität hinnehmen.

Wann sich ein dedizierter Chip lohnt

Ein dedizierter Chip hält die Gewichte dort, wo gerechnet wird, sodass der Bandbreitendeckel nicht mehr gilt. Der Preis ist ein Tape-out, also ein Fixkostenblock, und ein Modell, das ganz oder teilweise im Voraus feststeht.

Er rechnet sich, wenn drei Dinge zutreffen: Das Modell steht für die Lebensdauer des Produkts fest oder ändert sich nur innerhalb einer Familie, das Produkt wird in genügend Stückzahlen ausgeliefert, um die Fixkosten zu verteilen, und das Leistungsbudget ist für ein Allzweck-Bauteil zu knapp. Fehlt eines der drei, ist ein Modul oder eine NPU die bessere Wahl.

Ein praktischer Weg

  • Auf einer CPU oder einem GPU-Modul prototypisieren und messen, wie viele Token pro Sekunde Ihr Produkt tatsächlich braucht.
  • Die Modellfamilie und die akzeptable Genauigkeit festlegen.
  • Das Zielmodell auf einem FPGA-Evaluierungsboard laufen lassen, um Geschwindigkeit und Verhalten vor der Festlegung zu bestätigen.
  • Auf einen dedizierten Chip wechseln, Standard oder kundenspezifisch, wenn Stückzahl und Leistungsbudget es rechtfertigen.

Fanshi unterstützt die letzten beiden Schritte: FPGA-Evaluierungsboards mit einer Toolchain zur Modellabbildung, drei Standard-Edge-Chips, kundenspezifische Chips rund um ein Kundenmodell und lizenzierbare Inferenz-IP für Teams, die einen eigenen SoC entwerfen.

Häufige Fragen

Kann man ein LLM auf einer CPU betreiben?

Ja. Kleine quantisierte Modelle laufen auf gewöhnlichen CPUs. Die Geschwindigkeit ist durch die Speicherbandbreite begrenzt und fällt mit wachsendem Modell schnell ab.

Brauche ich eine NPU, um ein LLM im Gerät zu betreiben?

Nein. Eine NPU hilft, wenn ihre Toolchain Ihr Modell unterstützt, aber sie teilt sich den Systemspeicher mit allem anderen und stößt an dieselbe Bandbreitengrenze wie eine CPU.

Wie betreibt man ein LLM mit dem geringsten Energiebedarf?

Mit einem Chip, der die Gewichte gar nicht bewegt. Compute-in-Memory-Entwürfe rechnen im Speicherarray und beseitigen damit den größten Anteil der Inferenzenergie.

Wann ist ein kundenspezifischer LLM-Chip sinnvoll?

Wenn das Modell feststeht, das Produkt in Stückzahlen ausgeliefert wird und das Leistungsbudget Allzweck-Bauteile ausschließt. Andernfalls ist ein Modul oder eine NPU die bessere Wahl.

Bringen Sie die Frage in Ihr Projekt

Senden Sie uns Zielmodell sowie Leistungs- und Verbrauchsziele. Wir antworten mit einem Pfad und einem Evaluierungsplan.

Evaluierungskit anfragen