본문으로 건너뛰기

LLM 추론 ASIC · AI 추론 칩 비교 · Taalas HC1 · Etched Sohu · Cerebras · Groq LPU

LLM 추론 ASIC 비교: 2026년의 다섯 가지 칩 아키텍처

Fanshi Semiconductor 엔지니어링 팀 · 게시

LLM 추론 하드웨어는 이제 다섯 가지 아키텍처로 나뉩니다. 범용 GPU, 웨이퍼 스케일 엔진, 언어 처리 장치, 트랜스포머 전용 ASIC, 그리고 한 모델을 실리콘에 고정하는 모델 온 칩입니다. 차이는 속도를 위해 유연성을 얼마나 내려놓느냐에 있습니다. 같은 8B 모델에 대해 보고된 속도는 NVIDIA H200 의 사용자당 초당 약 230 토큰에서 하드와이어드 Taalas HC1 의 약 17,000 토큰까지 걸쳐 있습니다. 다만 이 수치들은 제조사 주장과 독립 측정이 섞여 있어 그대로 비교할 수 없습니다. 다섯 가지 모두 데이터센터 제품이며, 기기에는 다른 급의 칩이 필요합니다.

추론이 전용 실리콘을 갖게 된 이유

GPU 는 모델을 학습시킬 수도, 어떤 모델이든 실행할 수도, 그래픽을 그릴 수도 있습니다. 추론에 필요한 것은 훨씬 적습니다. 정해진 같은 행렬 연산의 순서를 토큰마다 반복하면 됩니다. 토큰 하나를 생성하려면 모델의 모든 가중치를 읽어야 하므로, 한계는 대개 연산 속도가 아니라 가중치가 연산 유닛에 도달하는 속도입니다.

추론 비용이 학습 비용을 넘어서면서 제조사들은 범용성을 속도와 효율로 바꾸고 있습니다. 아래 다섯 가지 아키텍처는 그 선 위에 놓여 있습니다. 표에서 아래로 갈수록 칩이 할 수 있는 일은 줄고 속도는 빨라집니다.

다섯 가지 아키텍처 한눈에 보기

아키텍처공개 사례핵심 개념공개 보고된 속도유연성
범용 GPUNVIDIA H200프로그래밍 가능한 병렬 연산. 가중치는 옆의 고대역폭 메모리에 둔다Llama 3.1 8B 에서 사용자당 약 230 토큰/초 (Nvidia 기준값, heise 인용)모든 모델. 학습과 추론
웨이퍼 스케일 엔진Cerebras WSE-3웨이퍼 크기의 칩 하나. 메모리도 같은 실리콘 위에 있다Llama 3.1 8B 에서 약 1,900 토큰/초 (Artificial Analysis, heise 인용)지원되는 모든 모델
언어 처리 장치Groq LPU추론 전용 프로세서. 실행 순서를 컴파일러가 정한다Llama 3.1 8B 에서 약 600 토큰/초 (Artificial Analysis, heise 인용)지원되는 모든 모델
트랜스포머 전용 ASICEtched Sohu트랜스포머 데이터 경로를 실리콘에 고정. 가중치는 메모리에 남으므로 모델을 바꿀 수 있다제조사 주장: 8 칩 서버에서 Llama 70B 합계 500,000 토큰/초 이상. 2026년 중반까지 독립 벤치마크는 공개되지 않음트랜스포머 모델만
모델 온 칩Taalas HC1한 모델의 가중치를 칩에 하드와이어링. 실행 중에 아무것도 가져오지 않는다Llama 3.1 8B 에서 사용자당 약 17,000 토큰/초 (제조사 발표)칩 하나에 모델 하나. 어댑터와 컨텍스트 크기는 설정 가능

수치는 2026년 중 제조사 발표 또는 언론 보도에 따른 것이며, 모델, 배치 크기, 시험 조건이 서로 다릅니다. 사용자당 속도와 서버 전체 처리량은 서로 다른 지표입니다. 출처는 글 끝에 있습니다.

수치가 말해 주지 않는 것

사용자당 속도와 합계 처리량은 같은 것이 아닙니다. 사용자당 초당 17,000 토큰이라는 수치는 대화 하나가 얼마나 빠르게 진행되는지를 나타냅니다. 서버 한 대가 초당 500,000 토큰이라는 수치는 동시에 진행되는 여러 대화를 더한 것입니다. 배치 크기를 모르면 한쪽을 다른 쪽으로 환산할 수 없습니다.

모델 크기와 정밀도가 모든 것을 바꿉니다. 8B 모델과 70B 모델은 다른 부하이고, 가중치를 3 비트나 4 비트로 저장하는 칩은 8 비트나 16 비트 가중치로 동작하는 칩과 같은 일을 하는 것이 아닙니다. Taalas 는 첫 실리콘이 3 비트와 6 비트 파라미터를 섞었고 GPU 기준과 비교해 품질이 다소 떨어진다고 밝혔습니다.

마지막으로 누가 측정했는지 확인하십시오. 표의 수치 중 일부는 독립 측정 사이트에서, 일부는 제조사 발표에서 나왔고, 하나는 제3자의 확인이 전혀 없습니다. 전력, 가격, 공급 가능 여부는 발표에서 아예 빠지는 경우가 많습니다.

다섯 가지 모두 데이터센터를 위한 답

표의 칩은 모두 랙 안에 있습니다. 웨이퍼 스케일 시스템은 수 킬로와트를 소비하고, Taalas HC1 은 약 2.5 kW 서버용으로 설계되었으며, 나머지는 표준 가속기 서버에 들어갑니다. 번역기, 자동차, 로봇, 산업용 카메라에 들어가는 것은 하나도 없습니다.

기기에는 같은 생각, 곧 가중치를 옮기지 않는다는 생각이 1 와트에서 수십 와트 수준으로, 그리고 양산 출하가 가능한 공급망 위에서 필요합니다. 이것이 여섯 번째 급입니다. 컴퓨트 인 메모리와 니어 메모리 컴퓨팅에 기반한 엣지 추론 칩입니다.

Fanshi Semiconductor 는 이 급에서 성숙한 SMIC 28 nm 공정을 사용합니다. Forge 는 MaskROM 컴퓨트 인 메모리로 Qwen 3.5 0.8B 를 구동하는 와트급 기기를 겨냥합니다. Trident 는 니어 메모리 컴퓨팅으로 70 W 시스템 전력 예산 안에서 Qwen 3.5 35B 까지의 모델을 겨냥하며, 가중치는 계속 갱신할 수 있습니다. Argus 는 SRAM 컴퓨트 인 메모리로 실시간 비전을 겨냥합니다. Fanshi 의 모든 수치는 설계 목표입니다.

선택 방법

  • 모델이 몇 주마다 바뀌거나 학습도 한다: GPU 를 계속 쓴다.
  • 데이터센터에서 소수의 인기 모델을 많은 사용자에게 제공한다: 웨이퍼 스케일, LPU, 트랜스포머 ASIC 서비스를 자사 프롬프트로 벤치마크해 볼 만하다.
  • 확정된 모델 하나가 트래픽 대부분을 차지한다: 모델 온 칩 가속기는 유연성을 내주고 가장 높은 사용자당 속도를 얻는다.
  • 모델이 기기 안에서, 오프라인으로, 정해진 전력 예산으로 동작해야 한다: 컴퓨트 인 메모리나 니어 메모리 컴퓨팅 기반 엣지 칩을 살펴본다.

자주 묻는 질문

LLM 추론 ASIC 이란 무엇입니까?

LLM 추론 ASIC 은 대형 언어 모델을 실행하는 용도로만 설계된 칩이며, 학습은 하지 않습니다. GPU 의 범용성을 포기함으로써 주로 가중치를 메모리에서 연산 유닛으로 옮기는 비용이라는 오버헤드를 없애고, 와트당 초당 토큰 수를 높입니다.

가장 빠른 LLM 추론 칩은 무엇입니까?

작은 모델의 사용자당 속도에서는 공개된 최고 수치가 Taalas HC1 의 Llama 3.1 8B 기준 초당 약 17,000 토큰이며, 회사 발표에 따른 것입니다. 서버 합계 처리량에서는 Etched 가 가장 높은 수치를 주장합니다. 이 수치들은 모델과 지표가 서로 다르고, 모두가 독립적으로 검증된 것은 아닙니다.

추론 ASIC 이 GPU 를 대체합니까?

아닙니다. 학습, 연구, 사용량이 적은 모델에는 여전히 범용 하드웨어가 필요합니다. 추론 ASIC 은 모델이 확정되어 있고 물량이 매우 크거나 전력 예산이 매우 빠듯한 곳에 맞습니다.

LLM 추론 ASIC 을 기기 안에서 돌릴 수 있습니까?

데이터센터용 설계는 불가능합니다. 수백 와트에서 수 킬로와트를 소비하기 때문입니다. 컴퓨트 인 메모리나 니어 메모리 컴퓨팅 기반 엣지 추론 칩은 1 와트에서 수십 와트를 목표로 하며 기기용으로 만들어집니다.

출처

  1. heise online: AI inference cast in silicon: Taalas announces HC1 chip
  2. CNX Software: Taalas HC1 hardwired Llama-3.1 8B AI accelerator delivers up to 17,000 tokens/s
  3. Fast.io: Etched AI Review 2026: Sohu Chip Specs, Benchmarks, and What Actually Ships

이 질문을 프로젝트에 적용해 보세요

대상 모델과 성능 및 전력 목표를 보내 주세요. 적합한 경로와 평가 계획을 회신해 드립니다.

평가 키트 신청