本文へスキップ

Qwen3.8 ハードウェア · Qwen3.5 エッジ推論 · Gated DeltaNet アクセラレータ · ハイブリッド・アテンションLLM · オンデバイスQwen

Qwen3.5 から Qwen3.8 へ:ハイブリッド・アテンションがエッジ向けシリコンに適する理由

Fanshi Semiconductor エンジニアリングチーム · 公開

Qwen3.5、Qwen3.6、Qwen3.8 は、Gated DeltaNet の線形アテンション層3つと、ゲート付きフルアテンション層1つを交互に並べるハイブリッド構成を採用しています。コンテキストとともに伸びるKVキャッシュを持つのは、ネットワークの4分の1にあたるフルアテンション部分だけです。線形層は、プロンプトがどれだけ長くても固定サイズの状態しか持ちません。エッジ向けシリコンにとっては、メモリ予算が小さく、しかも予測しやすくなることを意味します。さらに、公開されている構成がこれらのリリース間で変わっていないため、新しいQwenモデルは、新しいアーキテクチャではなく、同じ推論コアの上での新規構築になります。

1つの構成、3つのリリース

Qwen3.5 は2026年2月、Qwen3.6 は4月、Qwen3.8 は8月に公開されました。3つすべてで、密な27Bチェックポイントは同じ言語モデル構成を公開しています。64層を、Gated DeltaNet ブロック3つと Gated Attention ブロック1つの組を16回繰り返す形で並べ、各ブロックがそれぞれフィードフォワードネットワークを持ちます。Gated Attention ブロックはクエリヘッド24個とキー・バリューヘッド4個で、ヘッド次元は256。Gated DeltaNet ブロックはクエリ・キーヘッド16個とバリューヘッド48個で、ヘッド次元は128です。ネイティブのコンテキスト長は262,144トークンです。

同じ3:1のパターンは、ファミリー最小のモデルにまで及びます。Qwen3.5-0.8B は24層で、6 ×(Gated DeltaNet 3 + Gated Attention 1)の構成をとり、アテンション層のキー・バリューヘッドは2個です。27Bチェックポイントはネイティブの視覚言語モデルであり、ここで挙げたチェックポイントはすべて Apache 2.0 ライセンスで公開されています。

この構成がメモリにとって重要な理由

標準的なトランスフォーマーでは、すべての層がキー・バリュー(KV)キャッシュを保持し、コンテキストのトークンが増えるたびに大きくなります。長いプロンプトでは、重みではなくKVキャッシュがメモリの問題になります。

Gated DeltaNet 層の動きは異なります。過去のすべてのトークンについてキーとバリューを保存する代わりに、それらを固定サイズの再帰状態に畳み込み、トークンが届くたびに更新します。1,000トークンのプロンプトでも20万トークンのプロンプトでも、残る状態の量は同じです。

Qwenのハイブリッド構成では、フルアテンションは4層に1層だけなので、伸び続けるKVキャッシュを持つのはネットワークの4分の1だけです。Qwen3.5-0.8B を例にとると、フルアテンション層は6つ、それぞれが次元256のキー・バリューヘッドを2個持ち、1トークンあたり 2 × 6 × 2 × 256 = 6,144 個の値を保存します。16ビット精度で約12 KBです。ほかの条件が同じで24層すべてをフルアテンションにしたモデルなら、その4倍が必要になります。

コンピュート・イン・メモリとニアメモリ設計にとっての意味

デコード時の転送量の大半は、依然として重みです。密なモデルでは、アテンションの種類に関係なく、生成するトークンごとにすべての重みを1回読みます。したがって、重みの移動を減らす、あるいはなくすというコンピュート・イン・メモリとニアメモリ演算の意義は変わりません。

変わるのは、2つ目のメモリ予算です。従来のトランスフォーマーでは、チップは想定しうる最長のプロンプトのKVキャッシュに合わせて設計しなければなりません。ハイブリッドモデルでは、層の4分の3が固定サイズの状態を持つので一度見積もれば済み、コンテキストとともに伸びるのはアテンション層だけです。メモリの計画は小さく、はるかに予測しやすくなります。専用設計のエッジ向けシリコンに必要なのは、まさにこの点です。

線形アテンション層は、ストリーミングにも自然に適しています。各トークンは状態を更新して先へ進むだけで、履歴全体を振り返りません。アシスタント、エージェント、連続するセンサーストリームのような、低遅延で長時間動き続けるワークロードに向いています。

2種類の層に、Fanshiの2つのコア

ハイブリッドモデルには、2種類の層の両方をうまく扱えるハードウェアが必要です。Fanshiの FS-Linear コアは線形アテンションとDeltaNet系の再帰アーキテクチャを対象とし、FS-Attention は Qwen3 と Qwen3.5 のファミリーを含むハイブリッド・アテンションの言語モデルを対象とします。この2つを合わせて、Qwenのハイブリッド構成をなす Gated DeltaNet 層とゲート付きフルアテンション層をカバーします。

Qwen3.6 と Qwen3.8 は Qwen3.5 の構成を引き継いでいるため、新しいリリースに対応するとは、新しいアーキテクチャを設計することではなく、新しい重みを同じコアにマッピングすることです。重みが製造時に固定されるMaskROMルートでは、新しいチェックポイントはチップの重みの内容を新たに構築することを意味し、コアとデータパスは引き継がれます。SRAM コンピュート・イン・メモリとニアメモリのルートでは、新しい重みは焼き込むのではなくロードします。

個別のQwenリリースについて、モデル規模、コンテキスト長、性能目標は案件ごとに評価します。対象モデルとワークロードを info@fanshi-silicon.com までお送りください。ルートのご提案と評価計画をご返信します。

出典

アーキテクチャに関する数値は、Hugging Face 上の公式Qwenモデルカード(Qwen/Qwen3.5-0.8B、Qwen/Qwen3.5-27B、Qwen/Qwen3.6-27B、Qwen/Qwen3.8-27B)によります。公開月は各カードの引用情報にもとづきます。KVキャッシュの計算は、公開されているヘッド数と次元から導いたものです。

この疑問を、あなたのプロジェクトで

対象モデルと、性能・消費電力の目標をお送りください。適したルートと評価計画をご返信します。

評価キットを申し込む