LLM im Roboter · Embodied-AI-Hardware · Inferenzchip für Roboter · Edge-KI Robotik · lokales LLM Roboter
LLMs im Roboter: Warum Embodied AI lokale Inferenz-Hardware braucht
Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

Ein Roboter, der mit einem Sprach- oder Vision-Language-Modell plant, kann sich nicht auf ein Rechenzentrum verlassen: Das Netz bringt eine Verzögerung, die von Moment zu Moment schwankt, und dort, wo Roboter arbeiten, ist Konnektivität nicht garantiert. Läuft das Modell an Bord, wird die Inferenzgeschwindigkeit zu einer festen Größe im Regelkreis. Die Hardware muss dann drei Bedingungen zugleich erfüllen: genügend Token pro Sekunde für die Planungsrate, ein Leistungsbudget von etwa zehn bis siebzig Watt im Roboterkörper und ein Verhalten, das in jedem ausgelieferten Gerät gleich bleibt.
Warum das Modell im Roboter sitzen muss
Ein Cloud-Modell antwortet in einer Zeit, die vom Netz abhängt. Für ein Chatfenster ist das lästig. Für eine Maschine in Bewegung ist eine verspätete Antwort eine andere Antwort. Planung und Wahrnehmung an Bord brauchen eine bekannte Zeit, und genau das verlangt ein Regelsystem.
Zwei weitere Gründe kommen hinzu. Roboter arbeiten in Lagern, Fabriken, auf Feldern und in Wohnungen, wo das Netz lückenhaft oder nicht erlaubt ist. Und Kamera- und Mikrofondaten, die die Maschine nie verlassen, lassen sich in privaten und regulierten Räumen weit leichter einsetzen.
Wie die Last aussieht
| Ebene | Aufgabe | Anforderung an die Hardware |
|---|---|---|
| Unterlagerte Regelung | Motor- und Gleichgewichtsschleifen mit hoher Rate | Ein Echtzeitregler; keine Aufgabe für ein Sprachmodell |
| Wahrnehmung | Bildverarbeitung und Sensorfusion in jedem Frame | Gleichmäßige Bildrate bei fester Latenz |
| Aufgabenplanung | Ein Sprach- oder Vision-Language-Modell zerlegt ein Ziel in Schritte | Viele Token pro Sekunde, weil Software die Pläne verarbeitet, kein Mensch |
| Dialog | Sprechen mit Menschen in der Nähe | Kurze Time to First Token; mäßige Token-Rate |
Ein Roboter führt diese Ebenen meist mit unterschiedlichen Raten auf unterschiedlicher Hardware aus.
Warum Token pro Sekunde hier mehr zählen als im Chat
Ein Mensch liest etwa fünf bis sieben Token pro Sekunde, eine Chat-Antwort gewinnt oberhalb von dreißig kaum noch. Ein Planer ist anders. Seine Ausgabe wird von Software ausgewertet, und jeder Denkschritt und jeder Tool-Aufruf erzeugt Token, die niemand liest. Die Zeit dafür ist Zeit, in der der Roboter wartet.
Braucht ein Plan 300 Token, benötigt ein Chip mit 20 Token pro Sekunde fünfzehn Sekunden und ein Chip mit 3.000 eine Zehntelsekunde. Der erste Roboter hält vor jeder Aktion inne, der zweite plant in der Bewegung neu.
Das Budget für Leistung und Bandbreite
Ein Roboterkörper hat typischerweise zehn bis siebzig Watt für Rechenleistung übrig, bei begrenzter Kühlung. In diesem Budget ist ein Allzweck-Modul durch die Speicherbandbreite gedeckelt: Die Dekodiergeschwindigkeit kann Bandbreite geteilt durch Modellgröße nicht überschreiten.
Hier passt Near-Memory-Computing. Recheneinheiten neben schnellem Speicher und Streaming der Gewichte auf dem Chip heben die Obergrenze für größere Modelle an, während die Gewichte aktualisierbar bleiben. Für Bildverarbeitung in Echtzeit rechnet SRAM-Compute-in-Memory im Speicherarray.
Fanshi zielt auf diese Klasse mit Trident, einem Near-Memory-Entwurf für Modelle bis Qwen 3.5 35B in einem Systembudget von 70 W, und Argus, einem SRAM-Compute-in-Memory-Entwurf für Bildverarbeitung in Echtzeit. Beides sind Entwicklungsziele, die je Projekt bestätigt werden.
Die Hardware auslegen
- Die Planungsrate festhalten: wie viele Token je Entscheidung, und wie oft eine Entscheidung nötig ist.
- Modellfamilie und akzeptable Genauigkeit festlegen.
- Das Leistungsbudget für Rechenleistung im Roboterkörper bestimmen, Kühlung eingeschlossen.
- Prüfen, ob sich die Gewichte im Feld aktualisieren lassen, falls das Modell noch besser wird.
- Das Zielmodell auf einem Evaluierungsboard ausführen, bevor die Chipentscheidung fällt.
Häufige Fragen
Kann ein Roboter ein Cloud-LLM nutzen?
Für nicht zeitkritische Aufgaben ja. Für Planung im Regelkreis schwankt die Netzverzögerung zu stark, und viele Einsatzorte haben eingeschränkte Konnektivität.
Wie viele Token pro Sekunde braucht ein Roboter?
Das hängt von den Token je Entscheidung und der Entscheidungsrate ab. Weil Software die Pläne verarbeitet, werden Hunderte bis Tausende Token pro Sekunde direkt zu kürzeren Pausen.
Wie viel Leistung kann ein Roboter für Inferenz aufwenden?
Roboterkörper haben typischerweise etwa zehn bis siebzig Watt für Rechenleistung, bei begrenzter Kühlung. Rechenzentrumsbeschleuniger scheiden damit aus.
Lässt sich das Modell im Roboter aktualisieren?
Ja, wenn der Chip die Gewichte in SRAM oder externem Speicher hält. Near-Memory- und SRAM-Compute-in-Memory-Entwürfe können neue Gewichte laden.


