본문으로 건너뛰기

내 기기는 초당 몇 토큰까지 낼 수 있을까?

가중치가 일반 메모리에 있으면 토큰을 하나 생성할 때마다 모든 가중치를 읽어야 합니다. 그래서 디코딩 속도에는 계산할 수 있는 상한이 있습니다. 메모리 대역폭을 모델 크기로 나눈 값입니다.

모델 크기
8.0 GB
디코딩 속도 상한
6.3 token/s

채팅에 매끄러움

이것은 이론적 상한입니다. 같은 메모리를 다른 작업도 함께 쓰고 대역폭은 사양상의 최대값이므로, 실제 시스템은 이보다 낮게 나옵니다.

주요 기기 비교 (8 비트 가중치)

기기 (이론적 최대 대역폭)0.8B · 0.8 GB4B · 4 GB8B · 8 GB27B · 27 GB70B · 70 GB
Raspberry Pi 5 · LPDDR4X-426717 GB/s214.32.10.60.2
PC · DDR5-5600 ×289.6 GB/s11222113.31.3
Apple M2100 GB/s12525133.71.4
NVIDIA Jetson AGX Orin204.8 GB/s25651267.62.9
Apple M2 Max400 GB/s50010050155.7

대역폭은 공개된 메모리 사양의 이론적 최대값입니다. 단위는 초당 토큰 수이며, 자릿수 비교용입니다.

상한이 존재하는 이유

프로세서가 빨라져도 소용이 없습니다. 연산이 가중치를 기다리고 있기 때문입니다. 이것이 메모리 장벽입니다. 넘는 방법은 가중치를 옮기지 않는 것뿐입니다. 컴퓨트 인 메모리와 니어 메모리 컴퓨팅은 가중치가 있는 곳에서 연산해 이를 실현합니다.

자주 묻는 질문

상한은 어떻게 계산합니까?

모델 크기(GB) = 파라미터 수(10억 단위) × 비트 수 ÷ 8. 디코딩 상한(초당 토큰 수) = 메모리 대역폭(GB/s) ÷ 모델 크기(GB). 토큰마다 모든 가중치를 한 번 읽어야 하므로 이 값을 넘을 수 없습니다.

실측값이 상한보다 낮은 이유는 무엇입니까?

메모리 대역폭을 시스템과 다른 작업이 함께 쓰고, 사양 값은 이론적 최대값이며, 어텐션 캐시도 읽고 써야 하기 때문입니다. 실측은 대개 상한의 일부에 그칩니다.

전용 칩은 어떻게 이 상한을 넘습니까?

컴퓨트 인 메모리 칩은 메모리 어레이 안에서 연산합니다. 가중치가 버스를 지나지 않으므로 대역폭 상한이 적용되지 않습니다.

논의할 구체적인 프로젝트가 있습니까?

대상 모델과 성능 및 전력 목표를 보내 주세요. 적합한 경로와 평가 계획을 회신해 드립니다.

평가 키트 신청