본문으로 건너뛰기

메모리 벽 · 엣지 LLM · LLM 추론 대역폭 · 컴퓨트 인 메모리 · 니어 메모리 컴퓨팅

메모리 벽: 엣지 LLM이 멈추는 이유와 우회하는 방법

Fanshi Semiconductor 엔지니어링 팀 · 게시

메모리 벽이란 빠르게 늘어나는 연산 성능과 느리게 늘어나는 메모리 대역폭 사이의 격차로, 연산 장치가 대부분의 시간을 데이터를 기다리며 보내게 만듭니다. LLM 디코딩에서는 토큰마다 모든 가중치를 읽으므로, 처리량의 상한은 메모리 대역폭을 모델 크기로 나눈 값입니다. 엣지 기기의 대역폭은 수십 GB/s에 불과해, 기존 아키텍처로는 쓸 만한 LLM을 돌릴 수 없습니다. 컴퓨트 인 메모리와 니어 메모리 컴퓨팅은 가중치 이동을 줄이거나 없애 이 벽을 우회합니다.

나눗셈 한 번

디코딩 처리량의 상한은 나눗셈 한 번으로 추정할 수 있습니다. 초당 토큰 수 = 메모리 대역폭 ÷ 토큰당 읽는 가중치 바이트 수. 1B 파라미터, INT8 모델은 토큰당 약 1 GB를 읽습니다. 대역폭이 50 GB/s인 엣지 기기라면 상한은 초당 50토큰이며, 이는 실제 손실을 고려하기 전의 이론상 최댓값입니다.

7B 모델로 바꾸면 같은 기기에서 초당 약 7토큰, 35B에서는 1토큰을 조금 넘습니다. 부족한 것은 연산 성능이 아니라 대역폭입니다. TOPS를 늘려도 달라지지 않습니다. 연산 장치는 대부분의 시간을 가중치가 도착하기를 기다리며 보내기 때문입니다.

데이터센터의 대처법, 그리고 엣지에서 통하지 않는 이유

데이터센터의 답은 HBM입니다. 수 TB/s의 대역폭으로 분자를 키웁니다. 그 대가는 수백 와트의 전력, 가속기 한 대당 수천 달러의 비용, 복잡한 패키징입니다. 엣지에서는 어느 것도 통하지 않습니다. 휴대 기기는 몇 와트, 차량과 로봇은 수십 와트이고, 실리콘에 쓸 수 있는 예산은 수십에서 수백 달러 수준입니다.

그래서 기존 아키텍처에서 엣지 LLM의 선택지는 둘뿐입니다. 모델을 대폭 줄이거나, 느린 속도를 받아들이거나. 어느 쪽도 매력적이지 않습니다.

우회하는 방법: 가중치를 옮기지 않는다

컴퓨트 인 메모리는 곱셈-누산을 메모리 어레이에 넣습니다. 가중치는 놓인 자리에서 그대로 연산에 참여하고, 버스를 지나는 것은 활성화 값뿐입니다. 활성화 값은 가중치보다 몇 자릿수나 작으므로 대역폭은 더 이상 병목이 아닙니다. MaskROM 컴퓨트 인 메모리는 한 걸음 더 나아갑니다. 가중치를 테이프아웃 때 실리콘에 새기므로 읽어 내는 과정조차 사라집니다.

니어 메모리 컴퓨팅은 연산 장치를 고대역폭 메모리에 바짝 붙이고 온칩 스트리밍을 사용해, 한 번 읽은 가중치를 남김없이 재사용합니다. 전송 횟수와 거리를 모두 최소화합니다. 모델을 업데이트할 수 있다는 점이 유지되므로, 아직 진화 중인 대형 모델에 적합합니다.

두 경로 모두 힘으로 분자를 키우는 대신 이 나눗셈의 분모를 줄이거나 없앱니다. 그래서 성숙한 28 nm 공정에서 엣지 LLM을 돌릴 수 있습니다.

제품에 주는 의미

디코딩 속도가 초당 몇 토큰에서 1만 토큰 이상(설계 목표)으로 올라가, 음성 대화가 끊기지 않고 다중 스트림 워크로드도 가능해집니다. 시스템 전력은 10와트 이상에서 1와트 미만급으로 내려가, 휴대 기기가 하루 종일 오프라인으로 동작할 수 있습니다. DRAM이나 HBM이 없으니 BOM과 열 설계도 단순해집니다.

Fanshi Semiconductor의 칩은 MaskROM, SRAM 컴퓨트 인 메모리, 니어 메모리 경로에 각각 대응합니다. 제품에 어떤 경로가 필요한지 알아보려면 먼저 「엣지 LLM 추론 칩 선택법」을 읽어 보세요.

이 질문을 프로젝트에 적용해 보세요

대상 모델과 성능 및 전력 목표를 보내 주세요. 적합한 경로와 평가 계획을 회신해 드립니다.

평가 키트 신청