Hardware für Qwen3.8 · Qwen3.5 Edge-Inferenz · Gated-DeltaNet-Beschleuniger · LLM mit hybrider Attention · Qwen im Endgerät
Qwen3.5 bis Qwen3.8: Warum hybride Attention zu Edge-Silizium passt
Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

Qwen3.5, Qwen3.6 und Qwen3.8 nutzen einen hybriden Aufbau, in dem sich drei Gated-DeltaNet-Schichten mit linearer Attention mit einer Gated-Full-Attention-Schicht abwechseln. Nur das Viertel des Netzes mit Full Attention hält einen KV-Cache, der mit dem Kontext wächst; die linearen Schichten tragen einen Zustand fester Größe, wie lang der Prompt auch ist. Für Edge-Silizium bedeutet das ein kleineres, besser planbares Speicherbudget. Und weil sich der veröffentlichte Aufbau zwischen diesen Versionen nicht geändert hat, ist ein neueres Qwen-Modell ein neuer Aufbau auf denselben Inferenzkernen und keine neue Architektur.
Ein Aufbau, drei Versionen
Qwen3.5 erschien im Februar 2026, Qwen3.6 im April und Qwen3.8 im August. Bei allen dreien veröffentlicht der dichte 27B-Checkpoint denselben Aufbau des Sprachmodells: 64 Schichten, angeordnet als 16 Wiederholungen von drei Gated-DeltaNet-Blöcken, gefolgt von einem Gated-Attention-Block, jeweils mit eigenem Feed-Forward-Netz. Die Gated-Attention-Blöcke nutzen 24 Query-Köpfe und 4 Key-Value-Köpfe mit einer Kopfdimension von 256; die Gated-DeltaNet-Blöcke nutzen 16 Query-Key-Köpfe und 48 Value-Köpfe mit einer Kopfdimension von 128. Die native Kontextlänge beträgt 262.144 Token.
Dasselbe 3:1-Muster reicht bis zum kleinsten Mitglied der Familie. Qwen3.5-0.8B hat 24 Schichten, angeordnet als 6 × (3 Gated DeltaNet + 1 Gated Attention), mit 2 Key-Value-Köpfen in den Attention-Schichten. Die 27B-Checkpoints sind nativ Bild-Sprach-Modelle, und alle hier genannten Checkpoints sind unter der Apache-2.0-Lizenz veröffentlicht.
Warum der Aufbau für den Speicher zählt
In einem Standard-Transformer hält jede Schicht einen Key-Value-Cache (KV), und er wächst mit jedem Token Kontext. Bei langen Prompts wird der KV-Cache zum Speicherproblem, nicht die Gewichte.
Eine Gated-DeltaNet-Schicht arbeitet anders. Statt Keys und Values für jedes vergangene Token zu speichern, faltet sie diese in einen rekurrenten Zustand fester Größe, der mit jedem eintreffenden Token aktualisiert wird. Ein Prompt mit 1.000 Token und einer mit 200.000 Token hinterlassen gleich viel Zustand.
Im Qwen-Hybrid ist nur jede vierte Schicht Full Attention, also hält nur ein Viertel des Netzes einen wachsenden KV-Cache. Beispiel Qwen3.5-0.8B: Seine 6 Full-Attention-Schichten mit je 2 Key-Value-Köpfen der Dimension 256 speichern 2 × 6 × 2 × 256 = 6.144 Werte pro Token, etwa 12 KB bei 16 Bit Genauigkeit. Ein sonst identisches Modell mit Full Attention in allen 24 Schichten bräuchte das Vierfache.
Was das für Compute-in-Memory und Near-Memory bedeutet
Die Gewichte dominieren weiterhin den Datenverkehr bei der Dekodierung. In einem dichten Modell liest jedes erzeugte Token jedes Gewicht einmal, unabhängig vom Attention-Typ. Das Argument für Compute-in-Memory und Near-Memory-Computing, die Gewichte weniger oder gar nicht zu bewegen, bleibt also unverändert.
Was sich ändert, ist das zweite Speicherbudget. Bei einem herkömmlichen Transformer muss ein Chip für den KV-Cache des längsten Prompts ausgelegt werden, den er je sehen wird. Bei einem Hybridmodell tragen drei Viertel der Schichten einen Zustand fester Größe, der einmal budgetiert wird, und nur die Attention-Schichten wachsen mit dem Kontext. Der Speicherplan wird kleiner und deutlich besser planbar, und genau das braucht zweckgebautes Edge-Silizium.
Schichten mit linearer Attention eignen sich auch von Natur aus für Streaming: Jedes Token aktualisiert den Zustand und läuft weiter, ohne auf den gesamten Verlauf zurückzublicken. Das passt zu Lasten mit niedriger Latenz und langer Laufzeit wie Assistenten, Agenten und kontinuierlichen Sensorströmen.
Zwei Schichttypen, zwei Fanshi-Kerne
Ein Hybridmodell braucht Hardware, die beide Schichttypen gut beherrscht. Der Fanshi-Kern FS-Linear zielt auf lineare Attention und rekurrente Architekturen nach DeltaNet-Art; FS-Attention zielt auf Sprachmodelle mit hybrider Attention, darunter die Familien Qwen3 und Qwen3.5. Zusammen decken sie die Gated-DeltaNet- und die Gated-Full-Attention-Schichten ab, aus denen der Qwen-Hybrid besteht.
Weil Qwen3.6 und Qwen3.8 den Aufbau von Qwen3.5 beibehalten, heißt die Unterstützung einer neueren Version, neue Gewichte auf dieselben Kerne abzubilden, nicht eine neue Architektur zu entwerfen. Auf dem MaskROM-Pfad, wo die Gewichte mit der Fertigung feststehen, ist ein neuerer Checkpoint ein neuer Aufbau des Gewichtsinhalts des Chips, während Kerne und Datenpfad erhalten bleiben. Auf den Pfaden SRAM-Compute-in-Memory und Near-Memory werden neue Gewichte geladen statt gegossen.
Modellgröße, Kontextlänge und Leistungsziele einer bestimmten Qwen-Version werden je Projekt geprüft. Senden Sie Zielmodell und Arbeitslast an info@fanshi-silicon.com, und wir antworten mit einer Pfadempfehlung und einem Evaluierungsplan.
Quellen
Die Architekturangaben stammen aus den offiziellen Qwen-Modellkarten auf Hugging Face: Qwen/Qwen3.5-0.8B, Qwen/Qwen3.5-27B, Qwen/Qwen3.6-27B und Qwen/Qwen3.8-27B. Die Erscheinungsmonate stammen aus den Zitierangaben dieser Karten. Die Rechnung zum KV-Cache ist aus den veröffentlichten Kopfzahlen und Dimensionen abgeleitet.



