엣지 LLM 추론 칩 · 엣지 AI 칩 · 온디바이스 LLM · AI 가속기 선택 · NPU와 ASIC
엣지 LLM 추론 칩 선택법: 7가지 질문
Fanshi Semiconductor 엔지니어링 팀 · 게시

엣지 추론 칩을 고르려면 먼저 일곱 가지 질문에 답해야 합니다. 어떤 모델인지, 파라미터가 몇 개인지, 얼마나 자주 바뀌는지, 전력 예산은 얼마인지, 디코딩이 얼마나 빨라야 하는지, 데이터가 기기를 벗어나도 되는지, 몇 대를 출하할지. 이 답에 따라 범용 GPU나 NPU를 쓸지, 컴퓨트 인 메모리 또는 니어 메모리 전용 ASIC을 쓸지가 대부분 결정됩니다.
1. 어떤 모델이고 파라미터는 몇 개인가
이것이 첫 번째이자 가장 엄격한 제약입니다. 언어 모델은 파라미터 수와 컨텍스트 길이를, 비전 모델은 입력 해상도와 프레임률을 봅니다. 0.5B~1B 언어 모델은 MaskROM 컴퓨트 인 메모리 칩에서 1와트 미만으로 돌릴 수 있습니다. 7B~35B 모델에는 니어 메모리 컴퓨팅과 수십 와트의 시스템 전력이 필요합니다. 실시간 세그멘테이션은 TOPS가 아니라 초당 처리 픽셀 수로 측정합니다.
TOPS에 끌려가지 마세요. 범용 NPU의 TOPS 수치는 곱셈-누산의 최대 처리량이지만, LLM 디코딩은 대역폭에 묶여 있어 실제 활용률은 한 자릿수 퍼센트에 그치는 경우가 많습니다. 더 좋은 질문은 이것입니다. 이 칩은 1초에 가중치 전체를 몇 번 읽을 수 있는가?
2. 모델이 얼마나 자주 바뀌는가
이 질문이 MaskROM을 선택할 수 있는지를 결정합니다. 제품 정의가 명확하고 모델이 충분히 검증되었으며 1년 안에 바뀌지 않는다면, MaskROM으로 가중치를 실리콘에 새기는 것이 전력과 비용 면에서 가장 유리합니다. 모델이 아직 분기마다 바뀐다면 SRAM 컴퓨트 인 메모리나 니어 메모리 컴퓨팅을 선택해, 가중치를 전원을 켤 때 로드하거나 외부 메모리에 둘 수 있게 합니다.
현실적인 방법은 단계를 나누는 것입니다. 먼저 추론 IP로 FPGA 평가 보드에서 모델을 구동하고, 모델이 확정되면 MaskROM 테이프아웃을 결정합니다.
3. 전력 예산
휴대 기기는 보통 시스템 전체가 1~3 W입니다. 차량용 시스템과 로봇은 10~70 W, 산업용 엣지 노드는 100 W 안팎까지 쓸 수 있습니다. 전력 예산만으로도 대부분의 선택지가 걸러집니다. GPU 모듈은 보통 15 W에서 시작하며, 여기에 냉각은 포함되지 않습니다.
컴퓨트 인 메모리의 전력 우위는 가중치를 옮기지 않는 데서 나옵니다. 그 효과는 대역폭에만 묶여 있는 디코딩 단계에서 가장 큽니다.
4. 얼마나 빨라야 하는가
음성 대화에는 첫 토큰까지의 시간이 수백 밀리초 이내여야 하고, 디코딩은 사람이 읽는 속도(대략 10~20 token/s)보다 빠르면 충분합니다. 배치 처리와 다중 스트림 워크로드는 처리량이 많을수록 좋습니다. 초당 수천에서 수만 토큰이 토큰당 비용을 낮춥니다. 비전에서는 프레임률이 기준입니다. 결함 검사는 생산 라인 속도를, 드론 점검은 비행 속도를 따라가야 합니다.
5. 데이터가 기기를 벗어나도 되는가
폐쇄망, 제한된 단말, 의료, 산업 현장에서는 데이터를 클라우드로 보내는 것 자체가 규정으로 금지되는 경우가 많습니다. 이런 곳에서 온디바이스 추론은 비용 문제가 아니라 제품이 성립하느냐의 문제입니다. 완전한 로컬 추론이라면 기기는 완전히 오프라인으로 동작할 수 있고, 그 보장은 정책이 아니라 아키텍처에서 나옵니다.
6. 생산 물량
수천 대 규모라면 범용 모듈에 소프트웨어 최적화를 더하는 것이 가장 쉽습니다. 수십만 대 규모가 되면 전용 ASIC의 단가와 전력 우위가 시스템 BOM을 한 자릿수 단위로 바꿀 수 있습니다. MaskROM은 특히 그렇습니다. 마스크는 한 번만 드는 비용이라 물량이 많을수록 경제성이 좋아집니다.
7. 소프트웨어는 누가 맡는가
범용 플랫폼에서는 모델 변환, 양자화, 연산자 지원을 직접 처리해야 합니다. 전용 ASIC에서는 보통 칩 공급사가 모델 매핑을 제공합니다. 직접 물어보세요. 대상 모델을 기본 지원하는지, 양자화 방식은 무엇인지, 평가 보드를 받을 수 있는지, 엔지니어링 샘플은 얼마나 빨리 받을 수 있는지.
한 장짜리 체크리스트
일곱 가지 답을 채우면 경로가 정해집니다. 1B 이하 모델, 1년간 변경 없음, 3 W 이하, 대량 생산이라면 MaskROM 컴퓨트 인 메모리. 빠르게 바뀌어 현장에서 교체해야 하는 모델이라면 SRAM 컴퓨트 인 메모리. 7B 이상 모델에 수십 와트의 예산이라면 니어 메모리 컴퓨팅. 아직 확정되지 않은 모델이라면 먼저 IP 라이선스로 FPGA 평가 보드에서 구동합니다.



