Qwen3.8 하드웨어 · Qwen3.5 엣지 추론 · Gated DeltaNet 가속기 · 하이브리드 어텐션 LLM · 온디바이스 Qwen
Qwen3.5에서 Qwen3.8까지: 하이브리드 어텐션이 엣지 실리콘에 잘 맞는 이유
Fanshi Semiconductor 엔지니어링 팀 · 게시

Qwen3.5, Qwen3.6, Qwen3.8은 Gated DeltaNet 선형 어텐션 층 세 개와 게이트 풀 어텐션 층 한 개를 번갈아 배치하는 하이브리드 구조를 사용합니다. 컨텍스트에 따라 커지는 KV 캐시를 갖는 것은 네트워크의 4분의 1에 해당하는 풀 어텐션 부분뿐이고, 선형 층은 프롬프트가 아무리 길어도 고정 크기의 상태만 갖습니다. 엣지 실리콘에는 더 작고 예측하기 쉬운 메모리 예산을 뜻합니다. 그리고 공개된 구조가 이 릴리스들 사이에서 바뀌지 않았으므로, 새 Qwen 모델은 새로운 아키텍처가 아니라 같은 추론 코어 위에서의 새로운 구축입니다.
하나의 구조, 세 번의 릴리스
Qwen3.5는 2026년 2월, Qwen3.6은 4월, Qwen3.8은 8월에 공개되었습니다. 세 릴리스 모두에서 밀집형 27B 체크포인트는 같은 언어 모델 구조를 공개합니다. 64개 층을 Gated DeltaNet 블록 세 개와 Gated Attention 블록 한 개의 묶음으로 16번 반복해 배치하며, 각 블록에는 자체 피드포워드 네트워크가 있습니다. Gated Attention 블록은 쿼리 헤드 24개와 키-값 헤드 4개를 쓰고 헤드 차원은 256입니다. Gated DeltaNet 블록은 쿼리-키 헤드 16개와 값 헤드 48개를 쓰고 헤드 차원은 128입니다. 기본 컨텍스트 길이는 262,144토큰입니다.
같은 3:1 패턴은 제품군에서 가장 작은 모델까지 이어집니다. Qwen3.5-0.8B는 24개 층이 6 × (Gated DeltaNet 3 + Gated Attention 1)로 배치되고, 어텐션 층의 키-값 헤드는 2개입니다. 27B 체크포인트는 기본적으로 비전-언어 모델이며, 여기서 언급한 모든 체크포인트는 Apache 2.0 라이선스로 공개되어 있습니다.
이 구조가 메모리에 중요한 이유
표준 트랜스포머에서는 모든 층이 키-값(KV) 캐시를 유지하고, 컨텍스트 토큰이 늘 때마다 캐시가 커집니다. 긴 프롬프트에서는 가중치가 아니라 KV 캐시가 메모리 문제가 됩니다.
Gated DeltaNet 층은 다르게 동작합니다. 지난 모든 토큰의 키와 값을 저장하는 대신, 그것들을 고정 크기의 순환 상태로 접어 넣고 토큰이 도착할 때마다 갱신합니다. 1,000토큰 프롬프트와 200,000토큰 프롬프트가 남기는 상태의 양은 같습니다.
Qwen 하이브리드에서는 네 층 중 하나만 풀 어텐션이므로, 커지는 KV 캐시를 갖는 것은 네트워크의 4분의 1뿐입니다. Qwen3.5-0.8B를 예로 들면, 풀 어텐션 층 6개가 각각 차원 256의 키-값 헤드 2개를 가지므로 토큰당 2 × 6 × 2 × 256 = 6,144개의 값을 저장합니다. 16비트 정밀도로 약 12 KB입니다. 다른 조건이 같고 24개 층 모두가 풀 어텐션인 모델이라면 그 네 배가 필요합니다.
컴퓨트 인 메모리와 니어 메모리 설계에 주는 의미
디코딩 전송량의 대부분은 여전히 가중치입니다. 밀집형 모델에서는 어텐션 종류와 무관하게 생성하는 토큰마다 모든 가중치를 한 번씩 읽습니다. 따라서 가중치 이동을 줄이거나 없앤다는 컴퓨트 인 메모리와 니어 메모리 컴퓨팅의 의의는 달라지지 않습니다.
달라지는 것은 두 번째 메모리 예산입니다. 기존 트랜스포머에서는 칩이 앞으로 만날 가장 긴 프롬프트의 KV 캐시에 맞춰 크기를 정해야 합니다. 하이브리드 모델에서는 층의 4분의 3이 고정 크기의 상태를 가지므로 한 번만 예산을 잡으면 되고, 컨텍스트에 따라 커지는 것은 어텐션 층뿐입니다. 메모리 계획이 더 작아지고 훨씬 예측하기 쉬워지며, 이것이 바로 목적에 맞게 설계한 엣지 실리콘에 필요한 조건입니다.
선형 어텐션 층은 스트리밍에도 자연스럽게 맞습니다. 각 토큰은 상태를 갱신하고 지나갈 뿐, 전체 이력을 되돌아보지 않습니다. 어시스턴트, 에이전트, 연속적인 센서 스트림처럼 지연이 낮아야 하고 오래 실행되는 워크로드에 적합합니다.
두 종류의 층, 두 개의 Fanshi 코어
하이브리드 모델에는 두 종류의 층을 모두 잘 처리하는 하드웨어가 필요합니다. Fanshi의 FS-Linear 코어는 선형 어텐션과 DeltaNet 계열의 순환 아키텍처를 대상으로 하고, FS-Attention은 Qwen3와 Qwen3.5 제품군을 포함한 하이브리드 어텐션 언어 모델을 대상으로 합니다. 두 코어가 함께 Qwen 하이브리드를 이루는 Gated DeltaNet 층과 게이트 풀 어텐션 층을 포괄합니다.
Qwen3.6과 Qwen3.8이 Qwen3.5의 구조를 유지하므로, 새 릴리스를 지원한다는 것은 새로운 아키텍처를 설계하는 것이 아니라 새 가중치를 같은 코어에 매핑하는 것입니다. 가중치가 제조 시 고정되는 MaskROM 경로에서는 새 체크포인트가 칩의 가중치 내용을 새로 구축하는 것을 뜻하며, 코어와 데이터 경로는 그대로 이어집니다. SRAM 컴퓨트 인 메모리와 니어 메모리 경로에서는 새 가중치를 새기는 대신 로드합니다.
특정 Qwen 릴리스의 모델 규모, 컨텍스트 길이, 성능 목표는 프로젝트별로 평가합니다. 대상 모델과 워크로드를 info@fanshi-silicon.com으로 보내 주시면 경로 제안과 평가 계획을 회신해 드립니다.
출처
아키텍처 수치는 Hugging Face의 공식 Qwen 모델 카드(Qwen/Qwen3.5-0.8B, Qwen/Qwen3.5-27B, Qwen/Qwen3.6-27B, Qwen/Qwen3.8-27B)에서 가져왔습니다. 공개 시기는 각 카드의 인용 정보에 따른 것입니다. KV 캐시 계산은 공개된 헤드 수와 차원에서 도출했습니다.



