ロボット オンデバイス LLM · エンボディド AI ハードウェア · ロボット 推論チップ · エッジ AI ロボティクス · ローカル LLM ロボット
ロボットのオンデバイス LLM:エンボディド AI にローカル推論ハードウェアが必要な理由
Fanshi Semiconductor エンジニアリングチーム · 公開

言語モデルや視覚言語モデルで計画を立てるロボットは、データセンターに頼れません。通信による遅延は刻々と変わり、ロボットが働く場所では接続が保証されないからです。モデルを本体で動かせば、推論速度は制御ループの中の決まった量になります。そのときハードウェアは三つの条件を同時に満たす必要があります。計画の頻度に見合うトークン毎秒、本体でおよそ 10〜70 ワットの電力予算、出荷するすべての個体で同じ挙動です。
モデルがロボット本体になければならない理由
クラウドのモデルが答えるまでの時間は通信に左右されます。チャット画面なら不便で済みます。動いている機械にとって、遅れて届いた応答は別の応答です。本体で動く計画と認識は所要時間が分かっており、制御系が必要とするのはまさにそれです。
理由はあと二つあります。ロボットが働く倉庫、工場、畑、家庭では、接続が不安定か、許可されていません。そして、カメラやマイクのデータが機械の外に出なければ、私的な空間や規制のある場所への導入がずっと容易になります。
負荷の中身
| 層 | 役割 | ハードウェアへの要求 |
|---|---|---|
| 低レベル制御 | 高頻度のモーター制御とバランス制御 | リアルタイムコントローラ。言語モデルの仕事ではない |
| 認識 | フレームごとのビジョンとセンサーフュージョン | 一定のレイテンシで安定したフレームレート |
| タスク計画 | 言語モデルや視覚言語モデルが目標を手順に分解する | 高いトークン毎秒。計画は人ではなくソフトウェアが受け取るため |
| 対話 | 近くの人と話す | 短い最初のトークンまでの時間。トークン毎秒は控えめでよい |
ロボットはふつう、これらの層を異なるハードウェアで、異なる頻度で動かします。
ここではチャットよりトークン毎秒が重要な理由
人が読む速さは毎秒 5〜7 トークンほどなので、チャットの回答は 30 を超えてもあまり変わりません。プランナーは違います。出力はソフトウェアが解析し、思考ステップやツール呼び出しのたびに誰も読まないトークンが増えます。それを生成する時間は、ロボットが待っている時間です。
計画に 300 トークン必要だとすると、毎秒 20 トークンのチップでは 15 秒、毎秒 3,000 トークンのチップでは 0.1 秒かかります。前者のロボットは動作のたびに止まり、後者は動きながら計画を立て直します。
電力と帯域の予算
ロボット本体が演算に回せる電力はふつう 10〜70 ワットで、冷却も限られます。この予算の中では、汎用モジュールはメモリ帯域で頭打ちになります。演算能力がどれだけあっても、デコード速度は帯域をモデルサイズで割った値を超えられません。
ここに合うのがニアメモリ・コンピューティングです。演算ユニットを高帯域メモリの隣に置き、チップ上で重みをストリーミングすることで、重みを更新可能なまま、大きなモデルの上限を引き上げます。リアルタイムのビジョンには、メモリアレイの中で演算する SRAM コンピュート・イン・メモリを使います。
Fanshi はこのクラスに Trident と Argus を用意しています。Trident はニアメモリ方式で、70 W のシステム電力予算で Qwen 3.5 35B までのモデルを対象とします。Argus は SRAM コンピュート・イン・メモリ方式で、リアルタイムのビジョンを対象とします。いずれも設計目標で、最終仕様はプロジェクトごとに確定します。
ハードウェアの見積もり方
- 計画の頻度を書き出す:1 回の判断に何トークン必要で、どのくらいの間隔で判断が要るか。
- モデルファミリーと、許容できる精度を決める。
- 冷却を含め、本体で演算に使える電力予算を決める。
- モデルがまだ改良されるなら、出荷後に重みを更新できるか確認する。
- チップを決める前に、対象モデルを評価ボードで動かす。
よくある質問
ロボットはクラウドの LLM を使えますか。
時間に厳しくないタスクなら使えます。制御ループの中の計画では通信遅延の変動が大きすぎ、多くの現場では接続が限られるか制限されています。
ロボットには毎秒何トークン必要ですか。
1 回の判断あたりのトークン数と判断の頻度によります。計画はソフトウェアが受け取るため、毎秒数百〜数千トークンがそのまま停止時間の短縮になります。
ロボットは推論にどれだけ電力を使えますか。
本体で演算に使えるのはふつう 10〜70 ワットほどで、冷却も限られます。データセンター向けアクセラレータは使えません。
ロボットに載せたモデルは更新できますか。
できます。チップが重みを SRAM か外部メモリに保持していれば可能です。ニアメモリ方式と SRAM コンピュート・イン・メモリ方式はどちらも新しい重みをロードできます。


