LLM 추론 칩의 용어.
언어 모델을 실리콘에 올릴 때 나오는 용어를 짧고 쉽게 정의합니다. 더 긴 설명을 써 둔 용어에는 해당 글로 가는 링크가 있습니다.
- 토큰
- 언어 모델이 읽고 쓰는 텍스트 단위. 짧은 단어, 긴 단어의 일부, 또는 문장 부호입니다. 영어에서는 토큰 하나가 단어의 약 4분의 3 입니다. 더 읽기 →
- 초당 토큰 수 tokens per second, token/s, TPS
- 모델이 출력을 생성하는 속도. 단독으로 실행되는 요청 하나에 대한 사용자당 값이나, 서버가 동시에 처리하는 모든 요청의 합계 값으로 제시됩니다. 더 읽기 →
- 첫 토큰까지의 시간 TTFT
- 프롬프트를 보낸 뒤 답변의 첫 토큰이 나올 때까지의 대기 시간. 음성 등 대화형 용도에서는 디코딩 속도보다 중요합니다. 더 읽기 →
- LLM 추론
- 학습된 언어 모델을 실행해 출력을 얻는 일. 학습과 구분됩니다. 추론은 정해진 같은 행렬 연산의 순서를 토큰마다 반복합니다.
- LLM 추론 ASIC
- 대형 언어 모델을 실행하는 용도로만 설계된 칩. GPU 의 범용성을 포기하는 대신 와트당 초당 토큰 수를 높입니다. 더 읽기 →
- 모델 온 칩 하드와이어드 LLM, 모델 전용 ASIC
- 특정 모델 하나의 가중치를 제조 단계에서 실리콘에 고정한 칩. 실행 중에 가중치를 가져오지 않습니다. 매우 빠르고 효율적이지만 유연성을 내줍니다. 더 읽기 →
- 메모리 장벽 memory wall
- 프로세서의 연산 속도와 메모리가 데이터를 공급하는 속도 사이의 격차. LLM 에서는 토큰마다 모든 가중치를 읽어야 하므로 이것이 주된 한계입니다. 더 읽기 →
- 메모리 대역폭
- 메모리에서 초당 몇 기가바이트를 읽을 수 있는가. 가중치가 일반 메모리에 있으면 디코딩 속도는 메모리 대역폭을 모델 크기로 나눈 값을 넘을 수 없습니다. 더 읽기 →
- 컴퓨트 인 메모리 CIM, 인메모리 컴퓨팅, PIM
- 곱셈 누적 연산이 메모리 어레이 안에서 일어나는 회로 기술. 가중치가 저장 셀을 떠나지 않습니다. 더 읽기 →
- MaskROM 컴퓨트 인 메모리
- 제조의 마스크 단계에서 가중치를 읽기 전용 비아 어레이에 새겨 넣는 컴퓨트 인 메모리. 전력과 한계 비용이 가장 낮고, 모델은 고정됩니다. 더 읽기 →
- SRAM 컴퓨트 인 메모리 SRAM CIM
- SRAM 셀로 구성한 컴퓨트 인 메모리. 가중치를 전원 투입 시 로드하므로 현장에서 모델을 교체할 수 있습니다. 더 읽기 →
- 니어 메모리 컴퓨팅 NMC
- 연산 유닛을 고대역폭 메모리 바로 옆에 두고, 칩 내 스트리밍으로 데이터 이동 거리를 짧게 유지하는 방식. 아직 바뀌고 있는 큰 모델에 맞습니다. 더 읽기 →
- 엣지 추론 온디바이스 추론
- 데이터센터가 아니라 데이터가 만들어지는 기기에서 모델을 실행하는 일. 오프라인으로 동작하고 데이터가 기기에 남습니다. 더 읽기 →
- NPU 신경망 처리 장치
- 스마트폰이나 PC 칩에 내장된 신경망 가속기. 시스템 메모리를 공유하므로 LLM 에서는 CPU 와 같은 대역폭 한계에 부딪힙니다. 더 읽기 →
- TOPS
- 초당 1조 회 연산을 단위로 하는 순수 연산 처리량 지표. 메모리에 대해서는 아무것도 알려 주지 않아 LLM 디코딩 속도를 예측하기에는 부적합합니다. 더 읽기 →
- 양자화
- 가중치를 더 낮은 정밀도로 저장하는 일. 예를 들어 16 비트 부동소수점 대신 8 비트나 4 비트 정수를 씁니다. 모델이 작아지고 추론이 빨라지지만, 정밀도가 매우 낮으면 품질이 떨어집니다.
- 테이프아웃
- 완성된 칩 설계를 제조를 위해 파운드리로 보내는 시점. 고정비가 들기 때문에 전용 칩에는 물량이 필요합니다. 더 읽기 →
- 마스크 세트
- 칩의 각 층을 정의하는 포토마스크 한 벌. MaskROM 설계에서는 모델 가중치가 마스크 세트의 일부입니다. 더 읽기 →
- FPGA 프로토타이핑
- 테이프아웃 전에 칩 설계를 재프로그래밍 가능한 로직에서 실행해, 실제 모델과 데이터로 기능과 성능을 확인하는 일. 더 읽기 →
- 추론 IP 코어
- 한 부류의 모델 아키텍처를 실행하는 라이선스형 칩 설계 블록. 고객이 자사 ASIC, SoC, FPGA 에 통합합니다. 더 읽기 →
- 하이브리드 어텐션
- 선형 어텐션 계층과 풀 어텐션 계층을 섞은 모델 아키텍처. Qwen3.5 이후 버전에서 쓰입니다. 긴 컨텍스트의 비용을 낮게 유지하면서 정확도를 지킵니다. 더 읽기 →
- 선형 어텐션
- 비용이 시퀀스 길이에 선형으로 늘고 고정 크기 상태를 유지하는 어텐션 메커니즘. 스트리밍과 긴 컨텍스트에 맞습니다. 더 읽기 →
- Mixture of Experts MoE, 전문가 혼합
- 토큰마다 가중치의 일부, 곧 선택된 전문가만 활성화되는 모델. 제한된 대역폭 안에서 큰 모델을 실행할 수 있게 합니다. 더 읽기 →
- 공정 노드
- 28 nm 나 6 nm 같은 칩의 제조 세대. 미세한 노드일수록 트랜지스터를 더 많이 넣을 수 있고, 성숙 노드는 비용이 낮고 공급을 예측하기 쉽습니다.
함께 읽기
LLM 추론 ASIC 비교: 2026년의 다섯 가지 칩 아키텍처GPU, 웨이퍼 스케일 엔진, LPU, 트랜스포머 전용 ASIC, 모델 온 칩. LLM 추론의 다섯 가지 아키텍처가 어떻게 다른지, 각각 보고된 초당 토큰 수는 얼마인지, 그 수치가 말해 주지 않는 것은 무엇인지 정리합니다.
초당 토큰 수(tokens/s)란: LLM 은 얼마나 빨라야 하는가초당 토큰 수가 무엇을 측정하는지, 읽기와 말하기 속도와 어떻게 견주어지는지, 사용자당 수치와 합계 수치가 왜 다른지, 기기에서 메모리 대역폭이 어떻게 상한을 정하는지 설명합니다.
컴퓨트 인 메모리 AI 칩이란? 세 가지 기술 경로 설명컴퓨트 인 메모리 AI 칩은 곱셈-누산을 메모리 어레이 안에서 수행해 가중치를 옮기지 않습니다. MaskROM, SRAM CIM, 니어 메모리 컴퓨팅의 차이를 설명합니다.
논의할 구체적인 프로젝트가 있습니까?
대상 모델과 성능 및 전력 목표를 보내 주세요. 적합한 경로와 평가 계획을 회신해 드립니다.
