본문으로 건너뛰기

MaskROM 컴퓨트 인 메모리 · 하드와이어드 LLM · 실리콘에 새긴 모델 · ROM 기반 CIM · 실리콘 속 가중치

MaskROM 컴퓨트 인 메모리: 가중치를 실리콘에 새긴다는 것

Fanshi Semiconductor 엔지니어링 팀 · 게시

MaskROM 컴퓨트 인 메모리는 테이프아웃에 쓰이는 마스크 패턴을 통해 모델 가중치를 실리콘의 비아 어레이에 새깁니다. 가중치가 칩 구조의 일부가 되는 것입니다. 실행 중에는 읽어 내거나 옮길 것이 없고 곱셈-누산이 어레이 안에서 제자리로 이루어지므로, 모든 경로 가운데 전력과 추론당 한계 비용이 가장 낮습니다. 그 대가는 모델이 고정된다는 점이며, 변경하려면 새 마스크가 필요합니다.

가중치가 실리콘의 일부가 된다

일반적인 칩에서는 메모리 셀이 빈 상태로 출하되고, 가중치는 전원을 켤 때 외부에서 로드됩니다. MaskROM은 다릅니다. 설계 단계에서 모든 가중치의 값이 비아와 연결의 유무로 변환되어 포토마스크에 그려지고, 다른 회로와 함께 실리콘에 제조됩니다. 칩이 공장을 떠날 때 모델은 이미 그 안에 있습니다.

가중치가 곧 회로 구조이므로 읽어 내는 단계가 없습니다. 활성화 값이 어레이를 지나는 동안 비아 어레이 옆의 회로에서 곱셈-누산이 제자리로 끝나고, 나오는 것은 가중치가 아니라 결과입니다. 이것이 모델을 칩에 새긴다는 말의 문자 그대로의 의미입니다.

전력과 비용이 가장 낮은 이유

LLM 디코딩에서 가장 큰 에너지 비용은 가중치 이동이며, MaskROM은 이를 완전히 없앱니다. DRAM이나 HBM도 필요 없으므로 비싼 메모리 칩 하나가 BOM에서 빠지고, 그 전력과 보드 면적도 함께 사라집니다.

MaskROM 셀은 매우 작습니다. SRAM처럼 비트당 트랜지스터 여섯 개가 필요하지 않습니다. 같은 실리콘 면적에 훨씬 많은 가중치를 담을 수 있어, 성숙한 공정에서도 완전한 언어 모델을 탑재할 수 있습니다.

마스크는 한 번만 드는 비용입니다. 그 뒤로 칩 하나의 비용은 다이 면적과 패키지뿐입니다. 물량이 많을수록 단위당 마스크 비용은 작아집니다.

한계: 모델이 고정된다

가중치를 한 번 실리콘에 새기면 바꿀 수 없습니다. 다른 모델에는 새 마스크와 새 테이프아웃이 필요합니다. 그래서 MaskROM 경로는 모델이 확정되고 현장에서 충분히 검증되었음을 전제로 합니다.

실무에서 흔히 쓰는 방법은, 언어 모델의 백본처럼 안정적인 대부분을 MaskROM에 두고, 소수의 어댑터 층이나 프롬프트처럼 조정이 필요한 부분은 쓰기 가능한 메모리에 두는 것입니다. 구체적인 분할은 모델 구조에 맞춰 프로젝트별로 평가합니다.

적합한 제품

휴대용 번역기, 음성 메모 기기, 차량용 오프라인 음성 비서에는 공통점이 있습니다. 모델의 역할이 분명하고, 물량이 많으며, 전력에 극도로 민감하고, 네트워크 연결이 필요 없습니다. Fanshi의 Forge는 바로 이런 기기를 위해 정의되었습니다. Qwen 3.5 0.8B를 핵심 모델로 하는 MaskROM 경로이며, 설계 목표는 1와트 미만급 시스템 전력과 17,000 token/s의 디코딩 속도입니다.

모델이 아직 확정되지 않았다면 먼저 추론 IP로 FPGA 평가 보드에서 구동하고, 모델이 굳어진 뒤 MaskROM 테이프아웃으로 넘어갑니다.

이 질문을 프로젝트에 적용해 보세요

대상 모델과 성능 및 전력 목표를 보내 주세요. 적합한 경로와 평가 계획을 회신해 드립니다.

평가 키트 신청