本文へスキップ

コンピュート・イン・メモリAIチップ · CIM · SRAM CIM · ニアメモリ演算 · MaskROM

コンピュート・イン・メモリAIチップとは? 3つの技術ルートを解説

Fanshi Semiconductor エンジニアリングチーム · 公開

コンピュート・イン・メモリ(CIM)チップは、積和演算をメモリアレイの中で行うため、モデルの重みが記憶セルを離れません。狙いは、LLM推論で最も大きなコスト、つまり重みをメモリから演算器へ運ぶ処理です。重みの置き場所によって、MaskROM コンピュート・イン・メモリ、SRAM コンピュート・イン・メモリ、ニアメモリ演算の3つの主要ルートに分かれます。

問題は演算ではなく、データの移動

LLMがトークンを1つ生成するたびに、モデルのすべての重みを読み出す必要があります。0.8Bパラメータ、INT8のモデルなら、1トークンあたり少なくとも0.8 GBをメモリから読むことになります。従来のアーキテクチャでは、このデータがバスを通って演算器に入り、結果が書き戻されます。演算そのものが占めるエネルギーはわずかで、電力と時間の大半はデータの移動に費やされます。

これがメモリの壁です。データセンターはHBMと潤沢な電力予算で押し切りますが、エッジ機器にはそれができません。メモリ帯域は数十GB/s、電力予算は数ワットです。重みを動かす必要があるかぎり、エッジ機器で実用的なLLMは動きません。

コンピュート・イン・メモリは発想を逆にします。重みの移動がボトルネックなら、動かさなければよい。重みをメモリアレイにとどめ、積和演算回路をアレイの中かすぐ隣に置き、活性化を流し込んで結果を取り出します。

3つのルートは、重みの置き場所で決まる

MaskROM コンピュート・イン・メモリ:重みはテープアウトのマスク工程で、シリコンのビアアレイに物理的に焼き込まれます。アレイは読み出し専用で、実行時に外部から重みを運ぶことがないため、消費電力と推論1回あたりの限界コストが最も低くなります。代償はモデルが固定されることで、変更には新しいマスクが必要です。携帯型翻訳機やオフライン音声アシスタントのように、モデルが安定し大量に出荷する製品に向いています。

SRAM コンピュート・イン・メモリ(SRAM CIM):積和演算はSRAMアレイの中で行われ、重みは電源投入時にロードされるため更新できます。演算が記憶セルの外に出ない点は同じですが、現場でモデルを入れ替えられます。中規模モデルや、改良を続ける製品に向いています。

ニアメモリ演算:重みは高帯域の外部メモリに置かれ、演算器をそのすぐ隣に配置し、チップ上のストリーミング処理で移動を最小限に抑えます。厳密な意味でのインメモリではありませんが、いまも急速に進化している大規模モデルには最も現実的な選択です。

選び方:まず「モデルはどのくらいの頻度で変わるか」

最初の問いは演算性能ではなく、更新頻度です。モデルが1年間変わらず、数十万台を出荷するなら、コストと消費電力でMaskROMに勝るものはありません。モデルを四半期ごとに改訂するなら、ニアメモリ演算かSRAM CIMのほうが安全です。

2つ目の問いはパラメータ数です。1ワット未満の電力予算に収まるのは、おおむね1Bパラメータ以下のモデルです。30B級のモデルをエッジで動かすには、ニアメモリのルートと数十ワットのシステム電力が必要です。

Fanshi Semiconductor の第1世代チップは、この3つのルートに対応しています。Forge はMaskROMを採用し、Qwen 3.5 0.8B を動かす1ワット未満の機器向けです。Trident はニアメモリ演算を採用し、最大 Qwen 3.5 35B に対応します。Argus はSRAM コンピュート・イン・メモリを採用し、120 FPS のリアルタイム視覚推論を担います。数値はいずれも設計目標です。

よくある誤解

「コンピュート・イン・メモリには先端プロセスが必要だ」。必要ありません。利点はトランジスタ密度ではなくアーキテクチャから生まれます。Fanshiは成熟したSMIC 28 nm のサプライチェーンを使っており、それがコストと供給の見通しの立てやすさにもつながっています。

「コンピュート・イン・メモリは小さなモデルしか動かせない」。MaskROMルートは確かに固定の小・中規模モデルに向きますが、ニアメモリのルートは数百億パラメータを扱えます。本当の制約は電力予算であり、アーキテクチャではありません。

「精度が落ちる」。デジタル方式のコンピュート・イン・メモリは、初期のアナログ方式と違い、アレイ内で厳密な整数の積和演算を行います。精度を決めるのは量子化方式であり、GPU上のINT8推論とまったく同じです。

この疑問を、あなたのプロジェクトで

対象モデルと、性能・消費電力の目標をお送りください。適したルートと評価計画をご返信します。

評価キットを申し込む