Edge-LLM-Inferenzchip · Edge-KI-Chip · LLM im Endgerät · Auswahl eines KI-Beschleunigers · NPU oder ASIC
Einen Edge-LLM-Inferenzchip auswählen: 7 Fragen
Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

Um einen Edge-Inferenzchip auszuwählen, beantworten Sie zuerst sieben Fragen: welches Modell, wie viele Parameter, wie oft es sich ändert, welches Leistungsbudget, wie schnell die Dekodierung sein muss, ob Daten das Gerät verlassen dürfen und wie viele Einheiten Sie ausliefern. Die Antworten entscheiden weitgehend zwischen einer universellen GPU oder NPU und einem dedizierten ASIC mit Compute-in-Memory oder Near-Memory-Computing.
1. Welches Modell, und wie viele Parameter
Das ist die erste und härteste Randbedingung. Bei Sprachmodellen zählen Parameterzahl und Kontextlänge, bei Vision-Modellen Eingangsauflösung und Bildrate. Ein Sprachmodell mit 0.5B bis 1B läuft auf einem MaskROM-Compute-in-Memory-Chip mit unter einem Watt. Ein Modell mit 7B bis 35B braucht Near-Memory-Computing und ein Systembudget von einigen zehn Watt. Echtzeit-Segmentierung misst man in verarbeiteten Pixeln pro Sekunde, nicht in TOPS.
Lassen Sie sich nicht von TOPS leiten. Der TOPS-Wert einer universellen NPU ist ihr Spitzendurchsatz beim Multiplizieren und Akkumulieren, doch die LLM-Dekodierung ist durch die Bandbreite begrenzt, und die reale Auslastung liegt oft im einstelligen Prozentbereich. Die bessere Frage lautet: Wie oft pro Sekunde kann dieser Chip den gesamten Gewichtssatz lesen?
2. Wie oft sich das Modell ändert
Das entscheidet, ob MaskROM infrage kommt. Ist das Produkt klar definiert, das Modell gründlich validiert und ändert es sich innerhalb eines Jahres nicht, gießt MaskROM die Gewichte ins Silizium, mit der niedrigsten Leistungsaufnahme und den niedrigsten Kosten. Ändert sich das Modell noch jedes Quartal, wählen Sie SRAM-Compute-in-Memory oder Near-Memory-Computing, damit die Gewichte beim Einschalten geladen oder im externen Speicher gehalten werden können.
Praktisch bewährt sich ein gestuftes Vorgehen: Das Modell zuerst mit Inferenz-IP auf einem FPGA-Evaluierungsboard zum Laufen bringen und über ein MaskROM-Tape-out entscheiden, sobald das Modell eingefroren ist.
3. Leistungsbudget
Handgeräte haben meist 1 bis 3 W für das gesamte System. Fahrzeugsysteme und Roboter haben 10 bis 70 W, industrielle Edge-Knoten erreichen rund 100 W. Das Leistungsbudget allein schließt die meisten Optionen aus: GPU-Module beginnen typischerweise bei 15 W, noch ohne Kühlung.
Compute-in-Memory gewinnt seinen Leistungsvorteil daraus, Gewichte nicht zu bewegen. Am stärksten wirkt das bei der Dekodierung, die rein durch die Bandbreite begrenzt ist.
4. Wie schnell es sein muss
Sprachinteraktion braucht eine Zeit bis zum ersten Token von wenigen hundert Millisekunden, und eine Dekodierung schneller als das menschliche Lesetempo (etwa 10 bis 20 Token/s) genügt. Stapelverarbeitung und Mehrstrom-Lasten wollen möglichst viel Durchsatz: Tausende bis Zehntausende Token/s senken die Kosten pro Token. Bei Vision bestimmt die Bildrate: Die Fehlerinspektion muss mit der Fertigungslinie Schritt halten, die Drohneninspektion mit der Fluggeschwindigkeit.
5. Ob Daten das Gerät verlassen dürfen
Abgeschottete Netze, eingeschränkte Terminals, das Gesundheitswesen und Industriestandorte verbieten es oft grundsätzlich, Daten in die Cloud zu senden. Dort ist Inferenz im Gerät keine Kostenfrage, sondern die Frage, ob es das Produkt überhaupt geben kann. Vollständig lokale Inferenz heißt, dass das Gerät komplett offline arbeiten kann, und diese Garantie kommt aus der Architektur, nicht aus einer Richtlinie.
6. Stückzahl
Bei einigen tausend Einheiten ist ein universelles Modul plus Softwareoptimierung der einfachste Weg. Bei Hunderttausenden Einheiten können Stückkosten und Leistungsvorteil eines dedizierten ASIC die Materialkosten des Systems um eine Größenordnung verschieben. Das gilt besonders für MaskROM: Die Masken sind einmalige Kosten. Je höher die Stückzahl, desto besser die Wirtschaftlichkeit.
7. Wer die Software macht
Auf einer universellen Plattform kümmern Sie sich selbst um Modellkonvertierung, Quantisierung und Operator-Unterstützung; bei einem dedizierten ASIC liefert der Chiphersteller meist das Modell-Mapping. Fragen Sie direkt: Wird das Zielmodell nativ unterstützt, wie sieht das Quantisierungsschema aus, bekommen Sie ein Evaluierungsboard, und wie schnell haben Sie ein Engineering-Muster?
Eine Checkliste auf einer Seite
Tragen Sie die sieben Antworten ein, und der Pfad ergibt sich. Modell mit 1B oder weniger, ein Jahr unverändert, 3 W oder weniger, hohe Stückzahl: MaskROM-Compute-in-Memory. Ein sich schnell änderndes Modell, das im Feld getauscht werden muss: SRAM-Compute-in-Memory. Ein Modell mit 7B oder mehr und einem Budget von einigen zehn Watt: Near-Memory-Computing. Ein Modell, das noch nicht eingefroren ist: zuerst unter IP-Lizenz auf einem FPGA-Evaluierungsboard zum Laufen bringen.



