LLM 추론 비용 · 토큰당 비용 · API와 자체 운영 GPU · 엣지 AI 칩 비용 · 온디바이스 추론
LLM 추론 비용: API, 클라우드 GPU, 엣지 칩의 3년 비교
Fanshi Semiconductor 엔지니어링 팀 · 게시

LLM 추론 비용에는 세 가지 형태가 있습니다. API는 100만 토큰 단위로 과금되는 지속적인 지출입니다. 자체 운영 클라우드 GPU는 임대료나 감가상각을 나누면 100만 토큰당 약 0.70달러입니다. 전용 엣지 칩은 한 번 구매하면 그 뒤 추론당 한계 비용이 0에 가까워집니다. 하루 1,000만 토큰 기준으로 최첨단 모델 API를 3년 쓰면 약 19만 2,000달러가 들며, 예시로 든 210달러짜리 칩의 거의 1,000배입니다.
추론 비용을 지불하는 세 가지 방식
API: 입력 토큰과 출력 토큰에 각각 요금이 매겨집니다. 2026년 공개 가격을 입력과 출력 약 1:1로 평균하면, 최첨단 모델은 100만 토큰당 6.9~17.5달러, 저가 모델은 0.07~2.2달러입니다. 초기 투자가 없고 탄력성에 제한이 없지만, 지출은 사용량에 비례해 늘고 끝나지 않습니다.
자체 운영 클라우드 GPU: GPU 임대 시간 또는 구매 후 감가상각으로 비용이 정해집니다. 2026년 H100 임대료 중앙값을 처리량으로 나누면 추론 비용은 100만 토큰당 대략 0.70달러입니다. 최첨단 API보다 한 자릿수 저렴하지만, 운영팀이 필요하고 가동률 위험이 있으며 엣지 기기에는 맞지 않습니다. 데이터는 여전히 클라우드로 가야 합니다.
전용 엣지 칩: 한 번만 구매합니다. 그 뒤로는 추론할 때마다 전기만 쓰고 한계 비용은 0에 가까워집니다. 제약은 칩이 모델 규모를 결정한다는 점과, 기기 통합을 미리 해야 한다는 점입니다.
직접 확인할 수 있는 계산 예시
어떤 기기가 하루에 1,000만 토큰을 처리한다고 가정합니다. 100만 토큰당 17.5달러(GPT-5.5, 평균 단가)라면 10 × 17.5달러 = 하루 175달러, 3년이면 175달러 × 365 × 3 ≈ 191,600달러입니다. 자체 운영 GPU를 100만 토큰당 0.70달러로 잡으면 10 × 0.70달러 × 1,095일 ≈ 7,700달러입니다. 1회 비용을 예시로 210달러로 잡은 엣지 칩은 같은 3년 동안 210달러 그대로이고, 전기 요금만 더해집니다.
같은 처리량을 다른 모델로 3년 쓰는 경우: Claude Opus 4.8은 15달러로 10 × 15달러 × 1,095 ≈ 164,000달러, Gemini 3 Pro는 6.9달러로 약 75,600달러, Qwen Max는 2.2달러로 약 24,100달러, DeepSeek V3는 0.07달러로 약 770달러입니다. 가장 저렴한 API도 3년이면 칩보다 비쌉니다.
회수 기간은 나눗셈 한 번으로 구합니다. 칩 비용 ÷ 월간 API 지출입니다. GPT-5.5의 경우 월간 지출은 175달러 × 30.4 ≈ 5,320달러이므로, 칩은 하루 남짓이면 본전을 뽑습니다(210달러 ÷ 하루 175달러 ≈ 1.2일). 사용량을 하루 10만 토큰으로 낮추면 월간 API 지출은 약 53달러로 떨어지지만, 그래도 4개월 안에 회수됩니다(210달러 ÷ 53달러 ≈ 3.95).
Fanshi 홈페이지의 비용 계산기는 정확히 이 방법을 씁니다. 칩 비용을 70달러에서 420달러 사이로 바꾸고 하루 처리량을 움직여, 자신의 워크로드에 대한 결과를 확인할 수 있습니다.
청구서 너머의 세 가지 변수
지연 시간: API에는 네트워크 왕복이 더해지지만 엣지 칩에는 없습니다. 음성 대화와 실시간 제어에서 이 차이는 비용이 아니라 경험의 문제입니다.
데이터: API는 데이터를 클라우드에 두어야 하지만 엣지 추론은 그렇지 않습니다. 폐쇄망과 제한된 환경에서는 이것이 해당 솔루션이 허용되는지 자체를 결정합니다.
모델: API는 언제든 최신 모델로 바꿀 수 있지만 MaskROM 칩의 모델은 고정입니다. 사업이 모델 성능의 꾸준한 향상에 의존한다면 니어 메모리나 SRAM 컴퓨트 인 메모리 경로를 선택하거나, 기기에서는 안정적인 모델을 돌리고 복잡한 작업만 클라우드로 넘기는 하이브리드 설계를 채택합니다.
추론을 엣지로 옮길 시점
세 가지 신호를 살펴보세요. 월간 API 청구액이 이미 칩 한 개 가격을 넘었다. 기기 대수가 충분히 많아 클라우드 추론 클러스터를 운영하는 것이 더는 수지가 맞지 않는다. 또는 사업상 데이터가 기기를 벗어날 수 없다. 이 중 하나만 해당해도 엣지 선택지를 평가 대상에 넣을 이유가 충분합니다.



