GPU 없이 LLM 실행 · 온디바이스 LLM 하드웨어 · 로컬 LLM · NPU 와 GPU · LLM ASIC
GPU 없이 LLM 을 실행하는 방법: 기기를 위한 다섯 가지 하드웨어
Fanshi Semiconductor 엔지니어링 팀 · 게시

언어 모델은 데이터센터 GPU 없이도 다섯 종류의 하드웨어에서 실행할 수 있습니다. 양자화 모델을 올린 CPU, 스마트폰이나 PC 칩 안의 NPU, 임베디드 GPU 모듈, FPGA, 그리고 전용 LLM 칩입니다. 앞의 세 가지는 메모리 대역폭이라는 같은 병목을 공유합니다. 토큰마다 모든 가중치를 읽어야 하기 때문입니다. 전용 칩은 이 병목을 없애지만, 모델이 확정되어 있고 제품이 양산 출하될 때에만 수지가 맞습니다.
GPU 너머를 보는 이유
데이터센터 GPU 는 모델을 실행하는 쉬운 방법이지만 대부분의 기기에는 맞지 않는 부품입니다. 수백 와트를 소비하고, 들어갈 제품보다 비싸며, 휴대 기기나 차량 모듈, 산업용 카메라에는 없는 냉각을 필요로 합니다.
하드웨어와 무관한 이유도 있습니다. 많은 제품이 네트워크 없이 동작해야 하고, 많은 현장에서는 데이터를 기기 밖으로 보내는 것이 허용되지 않습니다. 둘 다 추론을 기기 자체로 밀어 넣습니다.
다섯 가지 선택지 비교
| 선택지 | 속도를 제한하는 것 | 모델 변경 | 잘 맞는 용도 |
|---|---|---|---|
| 양자화 모델을 올린 CPU | 메모리 대역폭과 코어 수 | 다른 파일을 로드한다 | 시제품, 소량, 작은 모델 |
| 스마트폰이나 PC 칩 안의 NPU | 공유되는 시스템 메모리와 공급사 툴체인이 지원하는 연산 | 툴체인이 컴파일할 수 있는 모든 모델 | 이미 그 칩을 기반으로 만든 제품 |
| 임베디드 GPU 모듈 | 메모리 대역폭과 모듈의 전력 예산 | 메모리에 들어가는 모든 모델 | 수십 와트 여유가 있는 로봇과 게이트웨이 |
| FPGA | 로직 용량과 메모리 인터페이스. 단가가 높다 | 재프로그래밍 가능 | 가속기 설계 검증, 소량 |
| 전용 LLM 칩 (컴퓨트 인 메모리 또는 모델 온 칩) | 설계 시점에 정해진다. 가중치는 움직이지 않는다 | 경로에 따라 다르다: 테이프아웃에서 고정, 전원 투입 시 다시 로드, 외부 메모리에서 갱신 | 모델이 확정되고 전력 예산이 빠듯한 양산 기기 |
앞의 세 가지는 같은 병목을 공유한다
CPU, NPU, 임베디드 GPU 에서는 가중치가 일반 메모리에 있고 토큰마다 한 번씩 읽힙니다. 디코딩 속도의 상한은 메모리 대역폭을 모델 크기로 나눈 값입니다. 그 상한에 닿으면 연산 능력을 더해도 소용이 없습니다. TOPS 수치가 인상적인 칩도 텍스트 생성은 느릴 수 있는 이유입니다.
모델을 줄이고 정밀도를 낮추면 상한이 올라가며, 오늘날 온디바이스 작업의 대부분이 여기에 쓰입니다. 더 강하게 양자화하고, 더 작은 모델을 고르고, 그 결과의 품질을 받아들이는 것입니다.
전용 칩이 값어치를 할 때
전용 칩은 연산이 일어나는 곳에 가중치를 두므로 대역폭 상한이 더는 적용되지 않습니다. 대가는 고정비인 테이프아웃과, 일부 또는 전부가 미리 정해진 모델입니다.
세 가지가 모두 맞을 때 수지가 맞습니다. 모델이 제품 수명 동안 확정되어 있거나 한 계열 안에서만 바뀔 것, 고정비를 나눌 만큼 충분한 물량으로 출하될 것, 범용 부품으로는 감당할 수 없을 만큼 전력 예산이 빠듯할 것. 셋 중 하나라도 빠지면 모듈이나 NPU 가 더 나은 선택입니다.
실용적인 경로
- CPU 나 GPU 모듈로 시제품을 만들고, 제품에 실제로 필요한 초당 토큰 수를 측정한다.
- 모델 계열과 받아들일 수 있는 정밀도를 확정한다.
- 대상 모델을 FPGA 평가 보드에서 실행해 결정 전에 속도와 동작을 확인한다.
- 물량과 전력 예산이 뒷받침될 때 표준 또는 커스텀 전용 칩으로 옮긴다.
Fanshi 는 마지막 두 단계를 지원합니다. 모델 매핑 툴체인이 딸린 FPGA 평가 보드, 세 가지 표준 엣지 칩, 고객 모델을 중심으로 만드는 커스텀 칩, 그리고 자체 SoC 를 설계하는 팀을 위한 라이선스형 추론 IP 입니다.
자주 묻는 질문
CPU 에서 LLM 을 실행할 수 있습니까?
가능합니다. 양자화한 작은 모델은 일반 CPU 에서 실행됩니다. 속도는 메모리 대역폭에 묶여 있어 모델이 커질수록 빠르게 떨어집니다.
기기에서 LLM 을 실행하려면 NPU 가 필요합니까?
필요하지 않습니다. NPU 는 툴체인이 해당 모델을 지원할 때 도움이 되지만, 시스템 메모리를 다른 작업과 공유하므로 CPU 와 같은 대역폭 한계에 부딪힙니다.
LLM 을 가장 낮은 전력으로 실행하는 방법은 무엇입니까?
가중치를 전혀 옮기지 않는 칩입니다. 컴퓨트 인 메모리 설계는 메모리 어레이 안에서 연산을 수행해 추론 에너지의 가장 큰 부분을 없앱니다.
커스텀 LLM 칩은 언제 타당합니까?
모델이 확정되어 있고, 제품이 양산 출하되며, 전력 예산 때문에 범용 부품을 쓸 수 없을 때입니다. 그렇지 않다면 모듈이나 NPU 가 더 나은 선택입니다.



