본문으로 건너뛰기

덜 옮기고, 추론은 기기 안에서.

Fanshi는 모델 가중치를 어디에 저장하고 어디서 연산하는지를 기준으로 기술을 구성합니다. MaskROM 컴퓨트 인 메모리, SRAM 컴퓨트 인 메모리, 니어 메모리 컴퓨팅의 세 가지입니다.

프로브 스테이션 위의 300 mm 웨이퍼
그림 1 · 프로브 스테이션 위의 300 mm 웨이퍼

모델 전체를
칩 하나에 새기다.

GPU와 NPU는 시간과 전력의 대부분을 메모리와 연산 장치 사이에서 가중치를 나르는 데 씁니다. Fanshi는 반대로 합니다. 가중치를 메모리 어레이에 두고, 그 자리에서 연산합니다.

실리콘 내부 / ARCHITECTURE STUDY03 / 03

가중치를 실리콘의 일부로 만든다.

MaskROM · 단면

토큰당 외부 가중치 이동량

0MB

실행 중 남는 것

제자리 연산 · 외부 가중치 이동 없음

0.8B · INT8 기준 추정치, 시스템 전력 아님
그림 2 · 가중치가 놓인 자리가 전력이 쓰이는 곳을 결정한다개념도 · 실제 레이아웃 아님
  1. 메모리 분리

    토큰마다 모든 가중치를 옮긴다

    기존 NPU나 GPU에서는 메모리와 연산 장치가 서로 다른 실리콘입니다. 토큰 하나를 생성할 때마다 모든 가중치가 버스를 지나갑니다. 대역폭이 상한을 정하고, 에너지의 대부분은 이동에 쓰입니다.

  2. 컴퓨트 인 메모리

    가중치를 메모리 어레이에 둔다

    Fanshi는 곱셈-누산 회로를 메모리 어레이 자체에 넣습니다. 가중치는 어레이에 머물고, 활성화 값이 들어가고, 결과가 나옵니다. 버스 위에는 더 이상 가중치가 없습니다.

  3. MaskROM

    테이프아웃 때 새기고, 실행 중에는 옮기지 않는다

    마스크 ROM 방식의 컴퓨트 인 메모리는 테이프아웃 과정에서 가중치를 비아 어레이에 물리적으로 기록합니다. 칩은 모델을 품은 채 출하되므로, 소비 전력과 추론당 한계 비용이 최소가 됩니다.

목표는 하나,
경로는 셋.

세 경로 모두 가중치 이동을 줄이거나 없앱니다. 차이는 가중치를 어디에 두는지, 모델을 나중에 바꿀 수 있는지입니다. 가장 먼저 답해야 할 질문은 모델이 얼마나 자주 바뀌는가입니다.

MaskROM마스크에 새긴다MaskROM 컴퓨트 인 메모리
가중치의 위치
마스크 층, 테이프아웃 때 기록
실행 중 이동
없음
모델 업데이트
테이프아웃 때 고정
적합한 용도
모델이 안정적이고 물량이 많으며 최저 전력과 한계 비용이 필요한 제품
Forge
SRAM CIMSRAM 안에서 연산한다SRAM 컴퓨트 인 메모리
가중치의 위치
SRAM 어레이 내부
실행 중 이동
어레이 내 곱셈-누산
모델 업데이트
부팅 시 로드, 업데이트 가능
적합한 용도
중간 규모 모델, 현장에서 모델을 교체해야 하는 기기
Argus
NMC메모리 바로 옆에서 연산한다니어 메모리 컴퓨팅
가중치의 위치
고대역폭 외부 메모리
실행 중 이동
온칩 스트리밍
모델 업데이트
지속적인 업데이트
적합한 용도
빠르게 변하는 대형 모델, 고부하 노드
Trident
17,000token/s

온디바이스 디코딩 속도

Forge 설계 목표 · Qwen 3.5 0.8B

약 1 W

시스템 소비 전력

Forge, 경량 엣지 등급

100%

데이터는 기기 안에

로컬 추론, 네트워크 불필요

≈ $0

추론당 한계 비용

칩을 한 번 구매한 뒤

프로젝트에 맞는 경로 선택하기

대상 모델, 성능 및 전력 목표, 모델 변경 주기를 보내 주세요. 적합한 경로와 평가 계획을 회신해 드립니다.

평가 키트 신청