NPU 와 GPU 차이 · NPU LLM · 온디바이스 LLM 칩 · 엣지 AI 가속기 · LLM ASIC
NPU, GPU 모듈, 전용 칩: 온디바이스 LLM 에는 무엇을 고를까
Fanshi Semiconductor 엔지니어링 팀 · 게시

NPU, 임베디드 GPU 모듈, 전용 LLM 칩은 모두 기기 안에서 언어 모델을 실행할 수 있지만 약점은 서로 다릅니다. NPU 는 이미 제품 안에 있어 추가 비용이 없지만, 시스템 메모리를 공유하고 공급사 툴체인에 의존합니다. GPU 모듈은 메모리에 들어가는 모든 모델을 실행하지만 수십 와트를 소비합니다. 전용 칩은 메모리 병목을 없애고 전력도 가장 적게 쓰지만, 모델을 미리 정해야 합니다. 선택은 세 가지 질문으로 정해집니다. 모델이 얼마나 확정되어 있는가, 몇 대를 출하하는가, 몇 와트를 쓸 수 있는가.
세 가지 부품, 세 가지 병목
셋 모두 같은 연산을 합니다. 차이는 그 연산이 일어나는 동안 가중치가 어디에 있느냐입니다. 토큰 하나를 생성하려면 모델의 모든 가중치를 읽어야 하기 때문입니다.
NPU 는 프로세서, 디스플레이 등과 공유하는 시스템 메모리에서 가중치를 읽습니다. 임베디드 GPU 모듈은 더 빠른 전용 메모리를 갖고 그 대가를 전력으로 치릅니다. 전용 LLM 칩은 가중치를 연산부 안이나 바로 옆에 두므로 아예 가져오지 않습니다.
나란히 비교
| 스마트폰이나 PC 칩 안의 NPU | 임베디드 GPU 모듈 | 전용 LLM 칩 | |
|---|---|---|---|
| 가중치 위치 | 공유 시스템 메모리 | 모듈 자체 메모리 | 연산 어레이 안 또는 옆 |
| 초당 토큰 수를 제한하는 것 | 시스템 메모리 대역폭과 툴체인의 연산자 지원 | 모듈의 메모리 대역폭 | 설계 시점에 정해진다. 대역폭에 묶이지 않는다 |
| 일반적인 전력 | 호스트 칩 예산의 일부 | 수십 와트 | 모델 크기에 따라 1 와트에서 수십 와트 |
| 모델 변경 | 공급사 툴체인이 컴파일하는 모델 | 메모리에 들어가는 모든 모델 | 경로에 따라 다르다: 제조 시 고정, 전원 투입 시 다시 로드, 외부 메모리에서 갱신 |
| 초기 비용 | 호스트 칩 외에는 없음 | 대당 모듈 가격 | 테이프아웃 1회를 물량으로 분담 |
| 가장 잘 맞는 경우 | 제품이 이미 그 칩을 쓰고 작은 모델로 충분할 때 | 물량이 적거나 모델이 자주 바뀔 때 | 모델이 확정되고 물량이 크며 전력이 빠듯할 때 |
정성적 비교입니다. 실제 수치는 부품, 모델, 정밀도에 따라 달라집니다.
NPU 의 한계
NPU 의 지표는 TOPS, 곧 초당 연산 횟수입니다. 이 수치는 메모리에 대해 아무것도 알려 주지 않습니다. 언어 모델의 상한은 메모리 대역폭을 모델 크기로 나눈 값이고, NPU 는 시스템 전체와 같은 메모리를 씁니다.
두 번째 한계는 소프트웨어입니다. 모델 안의 모든 연산을 공급사 툴체인이 지원해야 NPU 에서 실행됩니다. 새 아키텍처는 툴체인보다 먼저 나오는 경우가 많고, 지원되지 않는 부분은 CPU 로 넘어갑니다.
이미 그 칩이 들어 있는 제품에서 작은 모델을 돌린다면 NPU 가 합리적인 첫 선택입니다. 모델이 커지거나 응답이 빨라야 하면 부족해집니다.
GPU 모듈의 한계
GPU 모듈은 가장 유연한 선택지입니다. 메모리에 들어가는 모델이면 무엇이든 실행되고 소프트웨어도 성숙해 있습니다. 대가는 전력, 발열, 단가입니다. 수십 와트와 방열판이 필요하므로 휴대 기기와 대부분의 배터리 구동 제품에는 쓸 수 없습니다.
메모리 대역폭의 제약도 그대로입니다. 같은 모듈에서는 모델이 클수록 초당 토큰 수가 그만큼 줄어듭니다.
전용 칩이 정답일 때
전용 칩은 세 가지가 함께 성립할 때 타당합니다. 모델이 제품 수명 동안 확정되어 있거나 한 계열 안에서만 바뀔 것, 테이프아웃 비용을 나눌 만큼 물량이 나올 것, 범용 부품으로는 감당할 수 없을 만큼 전력 예산이 빠듯할 것.
모델이 얼마나 고정되는지는 경로에 달려 있습니다. MaskROM 컴퓨트 인 메모리 칩은 제조 시점에 가중치를 고정합니다. SRAM 컴퓨트 인 메모리 칩은 전원 투입 시 로드합니다. 니어 메모리 칩은 외부 메모리에 두고 펌웨어처럼 갱신합니다.
Fanshi 는 세 경로 모두에서 칩을 만들고, 자체 SoC 를 설계하는 팀에 추론 코어를 IP 로 라이선스합니다. 공개한 수치는 설계 목표입니다.
짧은 판단 경로
- 모델이 10억 파라미터 안팎 이하이고 초당 몇 토큰으로 충분한가? 이미 가진 NPU 로 시작한다.
- 모델이 몇 주마다 바뀌거나 물량이 적은가? GPU 모듈을 쓴다.
- 모델이 확정되고 물량이 크며 예산이 몇 와트인가? 전용 칩을 검토하되 FPGA 보드에서 먼저 시험한다.
- 자체 SoC 를 설계하는가? 칩을 하나 더 넣는 대신 추론 코어를 라이선스한다.
자주 묻는 질문
LLM 에서 NPU 가 GPU 보다 빠릅니까?
일반적으로 그렇지 않습니다. 둘 다 메모리에서 가중치를 읽는 속도에 묶여 있습니다. NPU 는 시스템 메모리를 공유하므로, 언어 모델에서는 전용 메모리를 가진 GPU 모듈보다 초당 토큰 수가 낮은 것이 보통입니다.
TOPS 가 높아도 텍스트 생성이 빠르지 않은 이유는 무엇입니까?
TOPS 는 연산 횟수만 세고 메모리를 고려하지 않습니다. 언어 모델의 디코딩 속도는 메모리 대역폭을 모델 크기로 나눈 값이 상한이며, 그 이상의 연산 능력은 쓰이지 않습니다.
전용 LLM 칩은 나중에 다른 모델을 실행할 수 있습니까?
경로에 따라 다릅니다. SRAM 컴퓨트 인 메모리와 니어 메모리 설계는 새 가중치를 로드할 수 있습니다. MaskROM 설계는 제조 시점에 가중치를 고정하므로 새 모델에는 새 마스크가 필요합니다.
NPU 와 LLM 추론 IP 코어의 차이는 무엇입니까?
NPU 는 칩에 이미 들어 있는 범용 신경망 가속기입니다. 추론 IP 코어는 특정 모델 아키텍처를 위한 설계 블록으로, 칩 개발팀이 자사 SoC 에 통합합니다.


