초당 토큰 수 · tokens per second · LLM 추론 속도 · 첫 토큰까지의 시간 · 메모리 대역폭 · 온디바이스 LLM
초당 토큰 수(tokens/s)란: LLM 은 얼마나 빨라야 하는가
Fanshi Semiconductor 엔지니어링 팀 · 게시

초당 토큰 수는 언어 모델이 출력을 생성하는 속도입니다. 사람은 대략 초당 5~7 토큰으로 읽으므로, 채팅 답변은 초당 10~30 토큰이면 매끄럽게 느껴집니다. 추론형 모델, 에이전트, 제어 루프에는 수백에서 수천이 필요합니다. 생성되는 토큰 대부분을 사람이 읽지 않기 때문입니다. 기기에서는 메모리 대역폭을 모델 크기로 나눈 값이 상한이 됩니다. 엣지 칩이 가중치를 아예 옮기지 않으려 하는 이유입니다.
토큰이란 무엇이고, 이 수치는 무엇을 측정하는가
토큰은 모델이 하나의 단위로 다루는 텍스트 조각입니다. 짧은 단어, 긴 단어의 일부, 또는 문장 부호가 여기에 해당합니다. 영어에서는 토큰 하나가 단어의 약 4분의 3 이라는 어림값이 널리 쓰입니다. 한국어는 한 어절이 여러 토큰으로 나뉘는 경우가 많습니다.
초당 토큰 수는 보통 디코딩 속도를 뜻합니다. 모델이 출력을 시작한 뒤 얼마나 빨리 생성하느냐입니다. 그 옆에 두 가지 수치가 더 있습니다. 첫 토큰까지의 시간은 무언가 나타나기 전의 대기 시간이고, 프롬프트 처리 속도는 모델이 입력을 읽는 속도입니다. 한쪽은 빠르고 다른 쪽은 느린 시스템도 있습니다.
얼마나 빨라야 충분한가
| 용도 | 기준을 정하는 것 | 쓸모 있는 속도 |
|---|---|---|
| 채팅 답변 읽기 | 사람은 영어 기준 분당 200~300 단어, 초당 약 5~7 토큰으로 읽는다 | 10~30 토큰/초면 매끄럽게 느껴진다 |
| 음성 비서 | 말하는 속도는 분당 150 단어 안팎, 초당 3~4 토큰. 첫 단어까지의 대기 시간이 더 중요하다 | 수십 토큰/초와 짧은 첫 토큰까지의 시간 |
| 추론형 모델과 에이전트 | 보이지 않는 추론 단계와 도구 호출이 보이는 답변 뒤의 토큰을 몇 배로 늘린다 | 수백~수천 토큰/초 |
| 로봇과 실시간 제어 | 모델이 결정마다 시간 예산이 정해진 제어 루프 안에 있다 | 루프가 요구하는 속도를 일정하게 |
| 문서 일괄 처리 | 한 사용자의 체감이 아니라 처리한 총량 | 와트당, 달러당 합계 토큰/초 |
구도는 단순합니다. 사람이 출력을 읽는다면 읽는 속도를 크게 넘는 부분은 낭비입니다. 소프트웨어가 출력을 받아 쓴다면 속도는 곧바로 작업 시간 단축이 되고, 초당 수천 토큰이 쓸모를 갖습니다.
사용자당 속도와 합계 처리량
공급사가 제시하는 초당 토큰 수는 사용자당, 곧 단독으로 실행되는 요청 하나의 값일 수도 있고, 서버가 동시에 처리하는 모든 요청의 합계일 수도 있습니다. 뒤의 수치가 언제나 더 크고, 대화 하나가 얼마나 빠르게 반응하는지는 거의 알려 주지 않습니다.
칩을 비교할 때는 두 수치가 같은 정의, 같은 모델, 같은 정밀도를 쓰는지 확인하십시오. 같은 하드웨어에서도 낮은 정밀도의 작은 모델과 높은 정밀도의 큰 모델은 전혀 다른 수치를 냅니다.
기기에서는 메모리 대역폭이 상한을 정한다
토큰 하나를 생성하려면 모델의 모든 가중치를 읽어야 합니다. 가중치가 일반 메모리에 있다면, 프로세서가 아무리 빨라도 디코딩 속도는 메모리 대역폭을 모델 크기로 나눈 값을 넘을 수 없습니다.
메모리 대역폭이 50 GB/s 인 기기를 생각해 봅시다. 8 비트 정밀도의 80억 파라미터 모델은 약 8 GB 이므로 상한은 초당 6 토큰 안팎입니다. 약 0.8 GB 인 0.8B 모델은 초당 60 토큰 가까이가 상한입니다. 같은 메모리를 다른 작업도 함께 쓰기 때문에 실제 시스템은 이 상한보다 낮게 나옵니다.
이것이 메모리 장벽이며, 엣지 추론 칩이 컴퓨트 인 메모리나 니어 메모리 컴퓨팅을 쓰는 이유입니다. 가중치가 버스를 지나지 않으면 대역폭 제한은 적용되지 않습니다.
사양서 읽는 법
- 어떤 모델이고, 정밀도는 얼마인가.
- 사용자당인가 합계인가. 배치 크기는 얼마인가.
- 실리콘에서 측정한 값인가, 설계 목표인가.
- 프롬프트와 컨텍스트 길이는 얼마인가.
- 전력은 얼마인가. 칩만이 아니라 시스템 전체 기준으로.
Fanshi 는 자사 수치를 이 기준으로 공개합니다. Forge 는 와트급 기기에서 Qwen 3.5 0.8B 기준 17,000 token/s 를, Trident 는 70 W 시스템 전력 예산 안에서 Qwen 3.5 35B 까지의 모델 기준 15,000 token/s 를 목표로 합니다. 둘 다 설계 목표이며, 최종 사양은 프로젝트별로 확정됩니다.
자주 묻는 질문
사람은 초당 몇 토큰을 읽을 수 있습니까?
대략 5~7 토큰입니다. 성인은 영어를 분당 200~300 단어 정도로 읽고, 토큰 하나는 단어의 약 4분의 3 입니다.
로컬 LLM 에서 좋은 초당 토큰 수는 얼마입니까?
채팅에는 초당 10~30 토큰이면 매끄럽게 느껴집니다. 에이전트, 추론형 모델, 자동화 파이프라인처럼 소프트웨어가 출력을 받아 쓰는 경우에는 빠를수록 좋고, 수백에서 수천이 쓸모가 있습니다.
초당 토큰 수는 TOPS 와 같은 것입니까?
아닙니다. TOPS 는 초당 연산 횟수를 세는 지표이고 메모리에 대해서는 아무것도 알려 주지 않습니다. LLM 디코딩 속도는 대개 가중치를 읽는 속도로 정해지므로, TOPS 가 높은 칩도 토큰 생성은 느릴 수 있습니다.
작은 모델은 왜 훨씬 빠릅니까?
토큰마다 모든 가중치를 읽어야 하므로, 크기가 10분의 1 인 모델은 같은 메모리 대역폭에서 대략 10배 자주 읽을 수 있기 때문입니다.



