본문으로 건너뛰기

컴퓨트 인 메모리 AI 칩 · CIM · SRAM CIM · 니어 메모리 컴퓨팅 · MaskROM

컴퓨트 인 메모리 AI 칩이란? 세 가지 기술 경로 설명

Fanshi Semiconductor 엔지니어링 팀 · 게시

컴퓨트 인 메모리(CIM) 칩은 곱셈-누산 연산을 메모리 어레이 안에서 수행하므로 모델 가중치가 저장 셀을 떠나지 않습니다. 이 방식은 LLM 추론에서 가장 큰 비용, 즉 가중치를 메모리에서 연산 장치로 옮기는 일을 겨냥합니다. 가중치가 놓이는 위치에 따라 MaskROM 컴퓨트 인 메모리, SRAM 컴퓨트 인 메모리, 니어 메모리 컴퓨팅의 세 가지 주요 경로로 나뉩니다.

문제는 연산이 아니라 데이터 이동

LLM이 토큰 하나를 생성할 때마다 모델의 모든 가중치를 읽어야 합니다. 0.8B 파라미터, INT8 모델이라면 토큰당 최소 0.8 GB를 메모리에서 읽습니다. 기존 아키텍처에서는 이 데이터가 버스를 거쳐 연산 장치로 들어가고 결과가 다시 기록됩니다. 연산 자체가 차지하는 에너지는 작고, 전력과 시간의 대부분은 데이터를 옮기는 데 쓰입니다.

이것이 메모리 벽입니다. 데이터센터는 HBM과 넉넉한 전력 예산으로 밀어붙이지만, 엣지 기기는 그럴 수 없습니다. 메모리 대역폭은 수십 GB/s 수준이고 전력 예산은 몇 와트입니다. 가중치를 옮겨야 하는 한, 엣지 기기에서 쓸 만한 LLM은 돌아가지 않습니다.

컴퓨트 인 메모리는 문제를 뒤집습니다. 가중치 이동이 병목이라면 옮기지 않으면 됩니다. 가중치를 메모리 어레이에 두고, 곱셈-누산 회로를 어레이 안이나 바로 옆에 배치해, 활성화 값을 흘려 넣고 결과를 받아 냅니다.

세 가지 경로는 가중치의 위치로 결정된다

MaskROM 컴퓨트 인 메모리: 가중치는 테이프아웃의 마스크 단계에서 실리콘의 비아 어레이에 물리적으로 새겨집니다. 어레이는 읽기 전용이고 실행 중 외부 가중치 이동이 없어, 전력과 추론당 한계 비용이 가장 낮습니다. 그 대가는 모델이 고정된다는 점이며, 변경하려면 새 마스크가 필요합니다. 휴대용 번역기나 오프라인 음성 비서처럼 모델이 안정적이고 대량 출하하는 제품에 적합합니다.

SRAM 컴퓨트 인 메모리(SRAM CIM): 곱셈-누산이 SRAM 어레이 안에서 일어나고, 가중치는 전원을 켤 때 로드되므로 업데이트할 수 있습니다. 연산이 저장 셀을 벗어나지 않는다는 점은 같지만, 현장에서 모델을 교체할 수 있습니다. 중간 규모 모델과 계속 개선하는 제품에 적합합니다.

니어 메모리 컴퓨팅: 가중치는 고대역폭 외부 메모리에 놓이고, 연산 장치를 그 바로 옆에 두며, 온칩 스트리밍으로 이동을 최소화합니다. 엄밀한 의미의 인메모리는 아니지만, 아직 빠르게 진화하는 대형 모델에는 가장 현실적인 선택입니다.

선택 방법: 먼저 모델이 얼마나 자주 바뀌는지 묻는다

첫 질문은 연산 성능이 아니라 업데이트 주기입니다. 모델이 1년 동안 바뀌지 않고 수십만 대를 출하한다면, 비용과 전력에서 MaskROM을 이길 방법은 없습니다. 모델을 분기마다 개정한다면 니어 메모리 컴퓨팅이나 SRAM CIM이 더 안전합니다.

두 번째 질문은 파라미터 수입니다. 1와트 미만의 전력 예산에 맞는 것은 대략 1B 파라미터 이하의 모델입니다. 30B급 모델을 엣지에서 돌리려면 니어 메모리 경로와 수십 와트의 시스템 전력이 필요합니다.

Fanshi Semiconductor의 1세대 칩은 이 세 경로에 각각 대응합니다. Forge는 MaskROM을 사용해 Qwen 3.5 0.8B를 구동하는 1와트 미만 기기를 겨냥합니다. Trident는 니어 메모리 컴퓨팅을 사용하며 최대 Qwen 3.5 35B를 지원합니다. Argus는 SRAM 컴퓨트 인 메모리를 사용해 120 FPS 실시간 비전을 처리합니다. 모든 수치는 설계 목표입니다.

흔한 오해

"컴퓨트 인 메모리에는 첨단 공정이 필요하다." 그렇지 않습니다. 이점은 트랜지스터 밀도가 아니라 아키텍처에서 나옵니다. Fanshi는 성숙한 SMIC 28 nm 공급망을 기반으로 하며, 덕분에 비용과 공급도 예측하기 쉽습니다.

"컴퓨트 인 메모리는 작은 모델만 돌릴 수 있다." MaskROM 경로가 고정된 소형·중형 모델에 유리한 것은 사실이지만, 니어 메모리 경로는 수백억 파라미터를 감당합니다. 실제 한계는 아키텍처가 아니라 전력 예산입니다.

"정확도가 떨어진다." 디지털 컴퓨트 인 메모리는 초기의 아날로그 방식과 달리 어레이 안에서 정확한 정수 곱셈-누산을 수행합니다. 정확도는 양자화 방식이 결정하며, GPU에서의 INT8 추론과 똑같습니다.

이 질문을 프로젝트에 적용해 보세요

대상 모델과 성능 및 전력 목표를 보내 주세요. 적합한 경로와 평가 계획을 회신해 드립니다.

평가 키트 신청