로봇 온디바이스 LLM · 임바디드 AI 하드웨어 · 로봇 추론 칩 · 엣지 AI 로보틱스 · 로컬 LLM 로봇
로봇의 온디바이스 LLM: 임바디드 AI 에 로컬 추론 하드웨어가 필요한 이유
Fanshi Semiconductor 엔지니어링 팀 · 게시

언어 모델이나 비전 언어 모델로 계획을 세우는 로봇은 데이터센터에 의존할 수 없습니다. 네트워크 지연은 순간마다 달라지고, 로봇이 일하는 곳에서는 연결이 보장되지 않기 때문입니다. 모델을 본체에서 실행하면 추론 속도는 제어 루프 안의 정해진 값이 됩니다. 그때 하드웨어는 세 가지 조건을 동시에 만족해야 합니다. 계획 주기에 맞는 초당 토큰 수, 본체에서 대략 10~70 와트의 전력 예산, 출하되는 모든 기기에서 동일한 동작입니다.
모델이 로봇 본체에 있어야 하는 이유
클라우드 모델이 답하는 시간은 네트워크에 달려 있습니다. 채팅 창이라면 불편한 정도입니다. 움직이고 있는 기계에게 늦게 도착한 응답은 다른 응답입니다. 본체에서 실행되는 계획과 인지는 걸리는 시간이 정해져 있고, 제어 시스템에 필요한 것이 바로 그것입니다.
이유가 두 가지 더 있습니다. 로봇이 일하는 창고, 공장, 밭, 가정에서는 연결이 고르지 않거나 허용되지 않습니다. 그리고 카메라와 마이크 데이터가 기계 밖으로 나가지 않으면 사적인 공간과 규제가 있는 장소에 배치하기가 훨씬 쉽습니다.
부하의 구성
| 계층 | 하는 일 | 하드웨어에 요구되는 것 |
|---|---|---|
| 저수준 제어 | 높은 주기의 모터와 균형 루프 | 실시간 제어기. 언어 모델의 일이 아니다 |
| 인지 | 프레임마다의 비전과 센서 융합 | 고정된 지연에서 일정한 초당 프레임 수 |
| 작업 계획 | 언어 모델이나 비전 언어 모델이 목표를 단계로 나눈다 | 높은 초당 토큰 수. 계획은 사람이 아니라 소프트웨어가 받아 쓰기 때문 |
| 대화 | 주변 사람과 말하기 | 짧은 첫 토큰까지의 시간. 초당 토큰 수는 보통이면 된다 |
로봇은 보통 이 계층들을 서로 다른 하드웨어에서 서로 다른 주기로 실행합니다.
여기서는 채팅보다 초당 토큰 수가 더 중요한 이유
사람은 초당 5~7 토큰 정도로 읽으므로 채팅 답변은 30 을 넘어도 크게 달라지지 않습니다. 플래너는 다릅니다. 출력은 소프트웨어가 해석하고, 추론 단계와 도구 호출마다 아무도 읽지 않는 토큰이 늘어납니다. 그 토큰을 만드는 시간은 로봇이 기다리는 시간입니다.
계획에 300 토큰이 필요하다면 초당 20 토큰인 칩은 15초, 초당 3,000 토큰인 칩은 0.1초가 걸립니다. 앞의 로봇은 동작마다 멈추고, 뒤의 로봇은 움직이면서 다시 계획합니다.
전력과 대역폭 예산
로봇 본체가 연산에 쓸 수 있는 전력은 보통 10~70 와트이고 냉각도 제한됩니다. 이 예산 안에서 범용 모듈은 메모리 대역폭에 막힙니다. 연산 능력이 아무리 커도 디코딩 속도는 대역폭을 모델 크기로 나눈 값을 넘을 수 없습니다.
여기에 맞는 것이 니어 메모리 컴퓨팅입니다. 연산 유닛을 고대역폭 메모리 옆에 두고 칩 안에서 가중치를 스트리밍하면, 가중치를 갱신할 수 있는 상태를 유지하면서 큰 모델의 상한을 높일 수 있습니다. 실시간 비전에는 메모리 어레이 안에서 연산하는 SRAM 컴퓨트 인 메모리를 씁니다.
Fanshi 는 이 급을 Trident 와 Argus 로 겨냥합니다. Trident 는 니어 메모리 설계로 70 W 시스템 전력 예산 안에서 Qwen 3.5 35B 까지의 모델을, Argus 는 SRAM 컴퓨트 인 메모리 설계로 실시간 비전을 대상으로 합니다. 둘 다 설계 목표이며 최종 사양은 프로젝트별로 확정됩니다.
하드웨어 산정 방법
- 계획 주기를 적는다: 결정 한 번에 몇 토큰이 필요하고 얼마나 자주 결정해야 하는가.
- 모델 계열과 받아들일 수 있는 정밀도를 확정한다.
- 냉각을 포함해 본체에서 연산에 쓸 전력 예산을 정한다.
- 모델이 아직 개선되고 있다면 현장에서 가중치를 갱신할 수 있는지 확인한다.
- 칩을 결정하기 전에 대상 모델을 평가 보드에서 실행한다.
자주 묻는 질문
로봇이 클라우드 LLM 을 쓸 수 있습니까?
시간에 민감하지 않은 작업에는 가능합니다. 제어 루프 안의 계획에는 네트워크 지연의 변동이 너무 크고, 많은 현장은 연결이 제한되어 있습니다.
로봇에는 초당 몇 토큰이 필요합니까?
결정당 토큰 수와 결정 주기에 달려 있습니다. 계획은 소프트웨어가 받아 쓰므로 초당 수백~수천 토큰이 곧바로 더 짧은 멈춤으로 이어집니다.
로봇은 추론에 전력을 얼마나 쓸 수 있습니까?
본체에서 연산에 쓸 수 있는 전력은 보통 10~70 와트 정도이고 냉각도 제한됩니다. 데이터센터용 가속기는 쓸 수 없습니다.
로봇에 탑재한 모델을 업데이트할 수 있습니까?
가능합니다. 칩이 가중치를 SRAM 이나 외부 메모리에 두고 있으면 됩니다. 니어 메모리 설계와 SRAM 컴퓨트 인 메모리 설계는 모두 새 가중치를 로드할 수 있습니다.


