Перейти к содержимому

Какие модели можно записать в кремний Fanshi?

Чаще всего заказчики спрашивают о новейших версиях Qwen. Qwen3.6 и Qwen3.8 сохраняют гибридную компоновку Qwen3.5, которую ядра инференса Fanshi уже поддерживают, поэтому более новая модель того же семейства означает новую сборку чипа на существующих ядрах, а не новую архитектуру.

Ядро инференса FS-Attention с гибридным вниманием, иллюстрация
Рис. 1 · Ядро инференса с гибридным вниманием (иллюстрация)

Семейства моделей и их отображение

Здесь показано соответствие на уровне архитектуры. Число параметров, длина контекста и цели по производительности оцениваются по проекту.

  • Qwen3.5

    Архитектура

    Гибрид: слои линейного внимания Gated DeltaNet + слои полного внимания с вентилями

    Маршрут Fanshi

    Forge (0.8B) · Trident (до 35B) · FS-Linear + FS-Attention

    Статус

    Основная модель чипов первого поколения

  • Qwen3.6 / Qwen3.8

    Архитектура

    Та же гибридная компоновка, что у Qwen3.5

    Маршрут Fanshi

    FS-Linear + FS-Attention · заказной чип

    Статус

    Отображается на существующие ядра; оценка по проекту

  • Qwen3

    Архитектура

    Полное внимание (GQA)

    Маршрут Fanshi

    FS-Attention

    Статус

    Поддерживается по лицензии на IP

  • SmolLM2

    Архитектура

    Компактные языковые модели с полным вниманием

    Маршрут Fanshi

    FS-Attention

    Статус

    Поддерживается по лицензии на IP

  • SmolVLM · SegFormer

    Архитектура

    Понимание изображения и текста, семантическая сегментация

    Маршрут Fanshi

    Argus · FS-Fusion

    Статус

    Основные модели чипов первого поколения

  • Разреженные модели MoE

    Архитектура

    Разреженные эксперты с динамической активацией

    Маршрут Fanshi

    FS-MoE

    Статус

    Оценка по проекту

  • Линейное внимание типа DeltaNet

    Архитектура

    Рекуррентное состояние фиксированного размера, потоковая обработка

    Маршрут Fanshi

    FS-Linear

    Статус

    Поддерживается по лицензии на IP

Показатели на этой странице отражают текущие определения продуктов и проектные цели. Окончательные характеристики, условия испытаний, доступность и версии поставки фиксируются в проектных документах, согласованных обеими сторонами.

Почему гибридная компоновка Qwen подходит для кремния

Начиная с Qwen3.5 модели Qwen укладывают слои группами по четыре: три слоя линейного внимания Gated DeltaNet и следом один слой полного внимания с вентилями. Модели 27B в версиях Qwen3.5, Qwen3.6 и Qwen3.8 используют одну и ту же компоновку 16 × (3 + 1).

Слой линейного внимания передаёт от токена к токену состояние фиксированного размера, а не растущий KV-кэш, поэтому кэш, растущий вместе с контекстом, хранит только один слой из четырёх. В кремнии для устройств, где дефицитны память на кристалле и пропускная способность, именно это нередко решает, поместится модель или нет.

Ядро Fanshi FS-Linear обрабатывает слои Gated DeltaNet, а FS-Attention — слои полного внимания с вентилями. Поскольку компоновка не менялась от Qwen3.5 к 3.6 и 3.8, одни и те же ядра отображают все три поколения.

Когда выходит более новая модель

Что именно меняется, зависит от того, где лежат веса.

MaskROM

Новые маски весов

Заново изготавливаются слои масок, в которых записаны веса. При той же архитектуре проект ядер, SDK и интеграция на стороне хоста сохраняются.

SRAM CIM

Перезагрузка

Новые веса загружаются при старте.

NMC

Обновление памяти

Обновляются веса во внешней памяти; модель может развиваться непрерывно.

Что нужно для оценки реализуемости

  • Компания и ваша роль
  • Целевая модель (модели) и число параметров
  • Длина контекста (типичная / максимальная)
  • Сценарий использования (одиночный запрос, диалог, агент)
  • Цели по пропускной способности и задержке
  • Бюджет мощности и форм-фактор
  • Ожидаемый объём выпуска и сроки

Вопросы о моделях

Поддерживаете ли вы Qwen3.6, Qwen3.8 и другие новые модели?

Да. Qwen3.6 и Qwen3.8 сохраняют гибридную компоновку Qwen3.5: слои линейного внимания Gated DeltaNet чередуются со слоями полного внимания с вентилями. Ядра Fanshi FS-Linear и FS-Attention уже покрывают оба типа слоёв, поэтому более новая модель того же семейства означает новую сборку чипа на существующих ядрах, а не новую архитектуру. Число параметров, длина контекста и цели по производительности оцениваются по проекту.

Что будет, если после изготовления чипа выйдет более новая модель?

На маршруте MaskROM переход на новую модель требует заново изготовить слои масок, в которых записаны веса. Если новая модель имеет ту же архитектуру, проект ядер, SDK и интеграция на стороне хоста сохраняются без изменений. При вычислениях в памяти на SRAM веса перезагружаются при старте; при вычислениях рядом с памятью обновляются веса во внешней памяти.

Какие модели поддерживают чипы Fanshi?

Forge рассчитан на Qwen 3.5 0.8B; Trident поддерживает модели до Qwen 3.5 35B; Argus выполняет SmolVLM, SegFormer и схожие модели зрения и мультимодальные модели. Семейство IP охватывает Qwen3 / 3.5 (от 0.6B до 9B), SmolLM2, разреженные модели MoE и линейное внимание типа DeltaNet. Полный список приведён на странице поддерживаемых моделей.

Начать с вашей модели

Пришлите целевую модель, длину контекста, сценарий использования и цель по потреблению. Мы ответим с предложением маршрута и планом оценки.

Оценить вашу модель