аппаратная поддержка Qwen3.8 · инференс Qwen3.5 на устройстве · ускоритель Gated DeltaNet · LLM с гибридным вниманием · Qwen на устройстве
От Qwen3.5 до Qwen3.8: почему гибридное внимание подходит кремнию для устройств
Инженерная команда Fanshi Semiconductor · Опубликовано

Qwen3.5, Qwen3.6 и Qwen3.8 используют гибридную компоновку, в которой три слоя линейного внимания Gated DeltaNet чередуются с одним слоем полного внимания с вентилями. KV-кэш, растущий вместе с контекстом, хранит только четверть сети с полным вниманием; линейные слои несут состояние фиксированного размера при любой длине запроса. Для кремния на устройстве это означает меньший и более предсказуемый бюджет памяти, а поскольку опубликованная компоновка между этими версиями не менялась, более новая модель Qwen — это новая сборка на тех же ядрах инференса, а не новая архитектура.
Одна компоновка, три версии
Qwen3.5 вышла в феврале 2026 года, Qwen3.6 — в апреле, Qwen3.8 — в августе. Во всех трёх версиях плотная контрольная точка 27B публикует одну и ту же компоновку языковой модели: 64 слоя, организованные как 16 повторений трёх блоков Gated DeltaNet и следующего за ними блока Gated Attention, каждый со своей сетью прямого распространения. Блоки Gated Attention используют 24 головы запросов и 4 головы ключей и значений при размерности головы 256; блоки Gated DeltaNet используют 16 голов запросов и ключей и 48 голов значений при размерности головы 128. Собственная длина контекста составляет 262 144 токена.
Тот же шаблон 3:1 сохраняется вплоть до самой маленькой модели семейства. У Qwen3.5-0.8B 24 слоя, организованные как 6 × (3 Gated DeltaNet + 1 Gated Attention), с двумя головами ключей и значений в слоях внимания. Контрольные точки 27B изначально являются моделями зрения и языка, а все упомянутые здесь контрольные точки опубликованы под лицензией Apache 2.0.
Почему компоновка важна для памяти
В стандартном трансформере каждый слой хранит кэш ключей и значений (KV), и он растёт с каждым токеном контекста. На длинных запросах проблемой памяти становится именно KV-кэш, а не веса.
Слой Gated DeltaNet работает иначе. Вместо хранения ключей и значений для каждого прошлого токена он сворачивает их в рекуррентное состояние фиксированного размера, которое обновляется с приходом каждого токена. Запрос на 1 000 токенов и запрос на 200 000 токенов оставляют после себя одинаковый объём состояния.
В гибриде Qwen полное внимание использует только один слой из четырёх, поэтому растущий KV-кэш хранит лишь четверть сети. Возьмём Qwen3.5-0.8B: её 6 слоёв полного внимания, в каждом по 2 головы ключей и значений размерности 256, хранят 2 × 6 × 2 × 256 = 6 144 значения на токен, около 12 КБ при 16-битной точности. Во всём остальном идентичной модели с полным вниманием во всех 24 слоях потребовалось бы вчетверо больше.
Что это значит для вычислений в памяти и рядом с памятью
В потоке данных при декодировании по-прежнему преобладают веса. В плотной модели каждый сгенерированный токен читает каждый вес один раз независимо от типа внимания, поэтому довод в пользу вычислений в памяти и рядом с памятью — переносить веса меньше или не переносить вовсе — остаётся в силе.
Меняется второй бюджет памяти. С обычным трансформером чип приходится рассчитывать на KV-кэш самого длинного запроса, который он когда-либо увидит. С гибридной моделью три четверти слоёв несут состояние фиксированного размера, которое закладывается в бюджет один раз, а с контекстом растут только слои внимания. План памяти становится меньше и гораздо предсказуемее, а это именно то, что нужно специализированному кремнию для устройств.
Слои линейного внимания к тому же естественно работают в потоковом режиме: каждый токен обновляет состояние и идёт дальше, не оглядываясь на всю историю. Это подходит нагрузкам с низкой задержкой и длительной работой: ассистентам, агентам и непрерывным потокам данных с датчиков.
Два типа слоёв, два ядра Fanshi
Гибридной модели нужно аппаратное обеспечение, которое хорошо справляется с обоими типами слоёв. Ядро Fanshi FS-Linear рассчитано на линейное внимание и рекуррентные архитектуры типа DeltaNet; FS-Attention — на языковые модели с гибридным вниманием, включая семейства Qwen3 и Qwen3.5. Вместе они покрывают слои Gated DeltaNet и слои полного внимания с вентилями, из которых состоит гибрид Qwen.
Поскольку Qwen3.6 и Qwen3.8 сохраняют компоновку Qwen3.5, поддержка более новой версии означает отображение новых весов на те же ядра, а не проектирование новой архитектуры. На маршруте MaskROM, где веса фиксируются при изготовлении, более новая контрольная точка — это новая сборка содержимого весов чипа, тогда как ядра и тракт данных сохраняются. На маршрутах вычислений в памяти на SRAM и рядом с памятью новые веса загружаются, а не записываются в кремний.
Размер модели, длина контекста и цели по производительности для конкретной версии Qwen оцениваются по проекту. Пришлите целевую модель и описание нагрузки на info@fanshi-silicon.com, и мы ответим с рекомендацией по маршруту и планом оценки.
Источники
Архитектурные данные взяты из официальных карточек моделей Qwen на Hugging Face: Qwen/Qwen3.5-0.8B, Qwen/Qwen3.5-27B, Qwen/Qwen3.6-27B и Qwen/Qwen3.8-27B. Месяцы выпуска указаны по сведениям о цитировании на этих карточках. Расчёт KV-кэша выведен из опубликованных чисел голов и размерностей.



