matériel pour Qwen3.8 · inférence embarquée Qwen3.5 · accélérateur Gated DeltaNet · LLM à attention hybride · Qwen sur l'appareil
De Qwen3.5 à Qwen3.8 : pourquoi l'attention hybride convient au silicium embarqué
Équipe d'ingénierie Fanshi Semiconductor · Publié le

Qwen3.5, Qwen3.6 et Qwen3.8 utilisent une disposition hybride dans laquelle trois couches d'attention linéaire Gated DeltaNet alternent avec une couche d'attention complète à portes. Seul le quart du réseau en attention complète conserve un cache KV qui croît avec le contexte ; les couches linéaires portent un état de taille fixe, quelle que soit la longueur du prompt. Pour une puce embarquée, cela signifie un budget mémoire plus petit et plus prévisible ; et comme la disposition publiée n'a pas changé entre ces versions, un modèle Qwen plus récent est une nouvelle construction sur les mêmes cœurs d'inférence, et non une nouvelle architecture.
Une disposition, trois versions
Qwen3.5 est sorti en février 2026, Qwen3.6 en avril et Qwen3.8 en août. Pour les trois, le checkpoint dense 27B publie la même disposition du modèle de langage : 64 couches organisées en 16 répétitions de trois blocs Gated DeltaNet suivis d'un bloc Gated Attention, chacun avec son propre réseau feed-forward. Les blocs Gated Attention utilisent 24 têtes de requête et 4 têtes clé-valeur, avec une dimension de tête de 256 ; les blocs Gated DeltaNet utilisent 16 têtes requête-clé et 48 têtes de valeur, avec une dimension de tête de 128. La longueur de contexte native est de 262 144 tokens.
Le même motif 3:1 se retrouve jusqu'au plus petit membre de la famille. Qwen3.5-0.8B compte 24 couches organisées en 6 × (3 Gated DeltaNet + 1 Gated Attention), avec 2 têtes clé-valeur dans ses couches d'attention. Les checkpoints 27B sont nativement des modèles vision-langage, et tous les checkpoints cités ici sont publiés sous licence Apache 2.0.
Pourquoi cette disposition compte pour la mémoire
Dans un transformer standard, chaque couche conserve un cache clé-valeur (KV), qui grossit à chaque token de contexte. Sur les longs prompts, c'est le cache KV, et non les poids, qui devient le problème de mémoire.
Une couche Gated DeltaNet fonctionne autrement. Au lieu de stocker des clés et des valeurs pour chaque token passé, elle les replie dans un état récurrent de taille fixe, mis à jour à l'arrivée de chaque token. Un prompt de 1 000 tokens et un prompt de 200 000 tokens laissent derrière eux la même quantité d'état.
Dans l'hybride de Qwen, une seule couche sur quatre est en attention complète : seul un quart du réseau conserve un cache KV qui croît. Prenez Qwen3.5-0.8B : ses 6 couches d'attention complète, chacune avec 2 têtes clé-valeur de dimension 256, stockent 2 × 6 × 2 × 256 = 6 144 valeurs par token, soit environ 12 Ko en précision 16 bits. Un modèle par ailleurs identique dont les 24 couches seraient en attention complète en demanderait quatre fois plus.
Ce que cela implique pour le calcul en mémoire et proche mémoire
Les poids dominent toujours le trafic au décodage. Dans un modèle dense, chaque token généré lit chaque poids une fois, quel que soit le type d'attention ; l'intérêt du calcul en mémoire et du calcul proche mémoire, déplacer moins les poids ou plus du tout, reste donc inchangé.
Ce qui change, c'est le second budget mémoire. Avec un transformer classique, une puce doit être dimensionnée pour le cache KV du plus long prompt qu'elle verra jamais. Avec un modèle hybride, les trois quarts des couches portent un état de taille fixe, budgété une fois pour toutes, et seules les couches d'attention croissent avec le contexte. Le plan mémoire devient plus petit et bien plus prévisible, ce qui est exactement ce dont a besoin une puce embarquée conçue sur mesure.
Les couches d'attention linéaire se prêtent aussi naturellement au traitement en flux : chaque token met l'état à jour puis passe, sans revenir sur tout l'historique. Cela convient aux charges à faible latence et de longue durée, comme les assistants, les agents et les flux de capteurs continus.
Deux types de couches, deux cœurs Fanshi
Un modèle hybride demande un matériel qui traite bien les deux types de couches. Le cœur FS-Linear de Fanshi vise l'attention linéaire et les architectures récurrentes de type DeltaNet ; FS-Attention vise les modèles de langage à attention hybride, dont les familles Qwen3 et Qwen3.5. Ensemble, ils couvrent les couches Gated DeltaNet et les couches d'attention complète à portes qui composent l'hybride de Qwen.
Qwen3.6 et Qwen3.8 conservant la disposition de Qwen3.5, prendre en charge une version plus récente revient à mapper de nouveaux poids sur les mêmes cœurs, et non à concevoir une nouvelle architecture. Sur la voie MaskROM, où les poids sont fixés à la fabrication, un checkpoint plus récent est une nouvelle construction du contenu de poids de la puce, tandis que les cœurs et le chemin de données sont repris. Sur les voies SRAM à calcul en mémoire et proche mémoire, les nouveaux poids sont chargés plutôt que gravés.
La taille du modèle, la longueur de contexte et les objectifs de performance d'une version précise de Qwen sont évalués par projet. Envoyez le modèle cible et la charge de travail à info@fanshi-silicon.com : nous répondrons avec une recommandation de voie et un plan d'évaluation.
Sources
Les chiffres d'architecture proviennent des fiches de modèle officielles de Qwen sur Hugging Face : Qwen/Qwen3.5-0.8B, Qwen/Qwen3.5-27B, Qwen/Qwen3.6-27B et Qwen/Qwen3.8-27B. Les mois de sortie sont tirés des citations figurant sur ces fiches. Le calcul du cache KV est déduit des nombres de têtes et des dimensions publiés.



