Zum Inhalt springen

LLM im Roboter · Embodied-AI-Hardware · Inferenzchip für Roboter · Edge-KI Robotik · lokales LLM Roboter

LLMs im Roboter: Warum Embodied AI lokale Inferenz-Hardware braucht

Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

Ein Roboter, der mit einem Sprach- oder Vision-Language-Modell plant, kann sich nicht auf ein Rechenzentrum verlassen: Das Netz bringt eine Verzögerung, die von Moment zu Moment schwankt, und dort, wo Roboter arbeiten, ist Konnektivität nicht garantiert. Läuft das Modell an Bord, wird die Inferenzgeschwindigkeit zu einer festen Größe im Regelkreis. Die Hardware muss dann drei Bedingungen zugleich erfüllen: genügend Token pro Sekunde für die Planungsrate, ein Leistungsbudget von etwa zehn bis siebzig Watt im Roboterkörper und ein Verhalten, das in jedem ausgelieferten Gerät gleich bleibt.

Warum das Modell im Roboter sitzen muss

Ein Cloud-Modell antwortet in einer Zeit, die vom Netz abhängt. Für ein Chatfenster ist das lästig. Für eine Maschine in Bewegung ist eine verspätete Antwort eine andere Antwort. Planung und Wahrnehmung an Bord brauchen eine bekannte Zeit, und genau das verlangt ein Regelsystem.

Zwei weitere Gründe kommen hinzu. Roboter arbeiten in Lagern, Fabriken, auf Feldern und in Wohnungen, wo das Netz lückenhaft oder nicht erlaubt ist. Und Kamera- und Mikrofondaten, die die Maschine nie verlassen, lassen sich in privaten und regulierten Räumen weit leichter einsetzen.

Wie die Last aussieht

EbeneAufgabeAnforderung an die Hardware
Unterlagerte RegelungMotor- und Gleichgewichtsschleifen mit hoher RateEin Echtzeitregler; keine Aufgabe für ein Sprachmodell
WahrnehmungBildverarbeitung und Sensorfusion in jedem FrameGleichmäßige Bildrate bei fester Latenz
AufgabenplanungEin Sprach- oder Vision-Language-Modell zerlegt ein Ziel in SchritteViele Token pro Sekunde, weil Software die Pläne verarbeitet, kein Mensch
DialogSprechen mit Menschen in der NäheKurze Time to First Token; mäßige Token-Rate

Ein Roboter führt diese Ebenen meist mit unterschiedlichen Raten auf unterschiedlicher Hardware aus.

Warum Token pro Sekunde hier mehr zählen als im Chat

Ein Mensch liest etwa fünf bis sieben Token pro Sekunde, eine Chat-Antwort gewinnt oberhalb von dreißig kaum noch. Ein Planer ist anders. Seine Ausgabe wird von Software ausgewertet, und jeder Denkschritt und jeder Tool-Aufruf erzeugt Token, die niemand liest. Die Zeit dafür ist Zeit, in der der Roboter wartet.

Braucht ein Plan 300 Token, benötigt ein Chip mit 20 Token pro Sekunde fünfzehn Sekunden und ein Chip mit 3.000 eine Zehntelsekunde. Der erste Roboter hält vor jeder Aktion inne, der zweite plant in der Bewegung neu.

Das Budget für Leistung und Bandbreite

Ein Roboterkörper hat typischerweise zehn bis siebzig Watt für Rechenleistung übrig, bei begrenzter Kühlung. In diesem Budget ist ein Allzweck-Modul durch die Speicherbandbreite gedeckelt: Die Dekodiergeschwindigkeit kann Bandbreite geteilt durch Modellgröße nicht überschreiten.

Hier passt Near-Memory-Computing. Recheneinheiten neben schnellem Speicher und Streaming der Gewichte auf dem Chip heben die Obergrenze für größere Modelle an, während die Gewichte aktualisierbar bleiben. Für Bildverarbeitung in Echtzeit rechnet SRAM-Compute-in-Memory im Speicherarray.

Fanshi zielt auf diese Klasse mit Trident, einem Near-Memory-Entwurf für Modelle bis Qwen 3.5 35B in einem Systembudget von 70 W, und Argus, einem SRAM-Compute-in-Memory-Entwurf für Bildverarbeitung in Echtzeit. Beides sind Entwicklungsziele, die je Projekt bestätigt werden.

Die Hardware auslegen

  • Die Planungsrate festhalten: wie viele Token je Entscheidung, und wie oft eine Entscheidung nötig ist.
  • Modellfamilie und akzeptable Genauigkeit festlegen.
  • Das Leistungsbudget für Rechenleistung im Roboterkörper bestimmen, Kühlung eingeschlossen.
  • Prüfen, ob sich die Gewichte im Feld aktualisieren lassen, falls das Modell noch besser wird.
  • Das Zielmodell auf einem Evaluierungsboard ausführen, bevor die Chipentscheidung fällt.

Häufige Fragen

Kann ein Roboter ein Cloud-LLM nutzen?

Für nicht zeitkritische Aufgaben ja. Für Planung im Regelkreis schwankt die Netzverzögerung zu stark, und viele Einsatzorte haben eingeschränkte Konnektivität.

Wie viele Token pro Sekunde braucht ein Roboter?

Das hängt von den Token je Entscheidung und der Entscheidungsrate ab. Weil Software die Pläne verarbeitet, werden Hunderte bis Tausende Token pro Sekunde direkt zu kürzeren Pausen.

Wie viel Leistung kann ein Roboter für Inferenz aufwenden?

Roboterkörper haben typischerweise etwa zehn bis siebzig Watt für Rechenleistung, bei begrenzter Kühlung. Rechenzentrumsbeschleuniger scheiden damit aus.

Lässt sich das Modell im Roboter aktualisieren?

Ja, wenn der Chip die Gewichte in SRAM oder externem Speicher hält. Near-Memory- und SRAM-Compute-in-Memory-Entwürfe können neue Gewichte laden.

Bringen Sie die Frage in Ihr Projekt

Senden Sie uns Zielmodell sowie Leistungs- und Verbrauchsziele. Wir antworten mit einem Pfad und einem Evaluierungsplan.

Evaluierungskit anfragen