本文へスキップ

動かす量を減らし、推論をデバイスの中に。

Fanshiは、モデルの重みをどこに置き、どこで演算するかを軸に技術を整理しています。MaskROM コンピュート・イン・メモリ、SRAM コンピュート・イン・メモリ、ニアメモリ演算の3つです。

プローバに載った300 mmウェーハ
図1 · プローバに載った300 mmウェーハ

モデルをまるごと、
1つのチップに焼き込む。

GPUやNPUは、時間と電力の大半を、メモリと演算器のあいだで重みを運ぶことに費やしています。Fanshiはその逆を行きます。重みをメモリアレイに住まわせ、その場で演算します。

シリコンの内側 / ARCHITECTURE STUDY03 / 03

重みをシリコンの一部にする。

MaskROM · 断面

トークンあたりの外部重み転送量

0MB

実行時に残るもの

その場で演算 · 外部からの重み転送なし

0.8B · INT8 での概算。システム消費電力ではありません
図2 · 重みの置き場所が、電力の行き先を決める模式図 · 実際のレイアウトではありません
  1. メモリ分離

    トークンごとに全重みを運ぶ

    従来のNPUやGPUでは、メモリと演算器は別々のシリコンです。トークンを1つ生成するたびに、すべての重みがバスを通ります。帯域が上限を決め、エネルギーの大半は移動に消えます。

  2. コンピュート・イン・メモリ

    重みをメモリアレイに置く

    Fanshiは積和演算回路をメモリアレイそのものに組み込みます。重みはアレイにとどまり、活性化が流れ込み、結果が流れ出ます。バスの上に重みはもうありません。

  3. MaskROM

    テープアウトで焼き込み、実行時には動かさない

    マスクROM方式のコンピュート・イン・メモリは、テープアウト時に重みをビアアレイへ物理的に書き込みます。チップは出荷時点でモデルを内蔵しており、消費電力と推論1回あたりの限界コストは最小になります。

目標は1つ、
ルートは3つ。

どのルートも、重みの移動を減らすか、なくします。違いは、重みをどこに置くか、モデルをあとから変えられるかです。最初に答えるべき問いは、そのモデルがどのくらいの頻度で変わるかです。

MaskROMマスクに焼き込むMaskROM コンピュート・イン・メモリ
重みの置き場所
マスク層。テープアウト時に焼き込み
実行時の移動
なし
モデル更新
テープアウト時に固定
適した用途
モデルが安定し、出荷数が多く、消費電力と限界コストを最小にしたい製品
Forge
SRAM CIMSRAMの中で演算SRAM コンピュート・イン・メモリ
重みの置き場所
SRAMアレイ内
実行時の移動
アレイ内で積和演算
モデル更新
起動時にロード、更新可能
適した用途
中規模モデル、現場でモデルを入れ替える機器
Argus
NMCメモリのすぐ隣で演算ニアメモリ演算
重みの置き場所
高帯域の外部メモリ
実行時の移動
チップ上のストリーミング
モデル更新
継続的に更新
適した用途
進化の速い大規模モデル、高負荷ノード
Trident
17,000token/s

デバイス上のデコード速度

Forge 設計目標 · Qwen 3.5 0.8B

約1 W

システム消費電力

Forge、軽量エッジクラス

100%

データはデバイス内に

ローカル推論、ネットワーク不要

≈ $0

推論1回あたりの限界コスト

チップを一度購入したあと

プロジェクトに合ったルートを選ぶ

対象モデル、性能と消費電力の目標、モデルの更新頻度をお送りください。適したルートと評価計画をご返信します。

評価キットを申し込む