本文へスキップ

モデルオンチップ · ハードワイヤード LLM チップ · モデル専用 ASIC · Taalas HC1 · エッジ LLM チップ

モデルオンチップとは:LLM を固定配線した ASIC、クラウドとエッジの違い

Fanshi Semiconductor エンジニアリングチーム · 公開

モデル専用 ASIC は、ハードワイヤード LLM チップとも呼ばれ、ひとつの大規模言語モデルの重みを製造時にシリコンへ固定します。推論のたびに重みをメモリから運ぶ必要がなくなるため、デコード速度と電力効率は汎用 GPU より桁違いに高くなり得ます。その代わり、モデルを自由に入れ替えることはできません。種類は二つあります。クラウド向けはラックあたりのトークン毎秒とトークン単価を追い、エッジ向けはワット級の消費電力、オフライン動作、機器コストを追います。

「固定配線」が実際に意味すること

汎用 GPU はどんなモデルでも動かせる機械です。重みはメモリに置かれ、トークンをひとつ生成するたびに一度ずつ読み出されます。モデル専用 ASIC はその逆です。設計段階でモデルを決め、重みをマスク ROM や配線層に書き込み、チップの一部にしてしまいます。工場を出た時点で、モデルはすでにチップの中にあります。

これでなくなるのは、推論で最もコストの高い工程、つまり重みの移動です。演算ユニットがデータを待つことがなくなり、帯域が上限ではなくなり、電力の大半が転送に費やされることもなくなります。

なぜ今なのか

この発想を製品に変えた要因は二つあります。第一に、モデルファミリーの構造が安定してきました。新しいバージョンは前のバージョンの層構成を引き継ぐことが多く、あるモデル向けに作ったチップアーキテクチャを次のモデルに持ち越せます。第二に、推論の費用は増え続けています。トークン単価と電力コストの両方が、最もよく使われる少数のモデルに専用ハードウェアを作る方向へ業界を押しています。

GPU を置き換えるものではありません。学習、研究、利用の少ないモデルには引き続き汎用ハードウェアが必要です。モデル専用 ASIC が合うのは、モデルが固まっていて、数量が非常に多いか、電力予算が非常に厳しい場面です。

クラウドとエッジでは目標が違う

この種のクラウド向けチップはデータセンターに置かれ、GPU サーバーと比べられます。指標はラックあたりのトークン毎秒と、100 万トークンあたりのドルです。多くはより先端のプロセスを使い、数百ワットを消費します。

エッジ向けチップは機器の中に入ります。翻訳機、自動車、ロボット、産業用カメラなどです。問われるのは、1 ワットから数十ワットで動くか、ネットワークなしで動くか、部品コストをどれだけ押し上げるかです。データは機器の外に出ません。これは閉域環境やプライバシーに厳しい用途では必須条件です。

Fanshi Semiconductor が作るのはエッジ向けです。成熟した SMIC 28 nm のサプライチェーン上で、MaskROM コンピュート・イン・メモリ、SRAM コンピュート・イン・メモリ、ニアメモリ・コンピューティングの三つの方式を提供し、ワット級の携帯機器から 35B モデルを動かす高負荷ノードまでをカバーします。サイト上の数値はすべて設計目標です。

公開されている基準点:Taalas HC1

最も分かりやすい公開事例は、2026 年 2 月に発表された Taalas HC1 です。同社と報道によれば、Llama 3.1 8B を約 530 億トランジスタの単一 ASIC に固定配線し、TSMC 6 nm、ダイ面積 815 mm² で製造され、ユーザーあたり毎秒 17,000 トークン近くを生成します。同じモデルについて、報道は NVIDIA H200 で毎秒約 230 トークン、Cerebras で独立ベンチマーク上毎秒約 1,900 トークンという数値を挙げています。

この方式を評価するうえで重要な点が二つあります。同社自身の説明によれば、最初のシリコンは 3 ビットと 6 ビットのパラメータを組み合わせた強い量子化を行っており、GPU の基準と比べて回答品質がいくらか下がります。そして、これは約 2.5 kW のサーバー向けに設計されたデータセンター製品であり、機器に収まるものではありません。

エッジ向けは同じ発想、つまり重みを動かさないという考え方を、成熟プロセスの上で、1 ワットから数十ワットに合わせた規模のモデルに適用します。

ベンダーに確認すべきこと

第一に、モデルが変わるとどうなるか。新しいマスクが必要か、再ロードか、外部メモリの更新か。同じファミリーの新しいモデルは既存のアーキテクチャを再利用できるか。第二に、公開されている数値は実測か設計目標か。どのモデル、どの精度、どの試験条件のものか。第三に、テープアウト前に評価ボードを入手し、自社のモデルとデータで動かせるか。第四に、プロセスとサプライチェーンはどれだけ見通せるか。納期を決めるのは何か。

この種のチップを機器向けに検討しているなら、Fanshi サイトのプロジェクト概要ページは 2 分で済みます。モデル、機器、電力予算、数量を記入すれば、エンジニアリングチームがあなたのプロジェクトについて回答します。

よくある質問

固定配線チップのモデルは更新できますか。

重みがどこにあるかによります。マスク ROM の場合、重みはマスクセットの一部なので、新しいモデルには新しいマスクが必要です。ただし、アダプター方式の調整やコンテキスト長の設定を許す設計もあります。SRAM コンピュート・イン・メモリでは重みを電源投入時にロードするため、入れ替えられます。ニアメモリ・コンピューティングでは重みは外部メモリにあり、ファームウェアのように更新できます。

モデルオンチップはコンピュート・イン・メモリと同じですか。

重なる部分はありますが、同じではありません。モデルオンチップは製品上の決定を指します。ひとつのモデルをシリコンに固定するということです。コンピュート・イン・メモリは回路技術を指します。演算をメモリアレイの中で行うということです。アレイ内で演算するマスク ROM チップは両方に当たります。SRAM コンピュート・イン・メモリのチップは、モデルを固定しないコンピュート・イン・メモリです。

固定配線の LLM チップはどのくらい速いのですか。

公開されている基準は Taalas HC1 で、同社は Llama 3.1 8B でユーザーあたり毎秒 17,000 トークン近くと発表しています。これは特定の量子化におけるひとつのモデルのメーカー公表値です。どのチップについても、数値が実測か設計目標か、どのモデルと精度のものかを確認してください。

Fanshi は Taalas と関係がありますか。

ありません。Fanshi Semiconductor は Taalas と資本関係も提携関係もありません。両社は大まかな技術の方向性を共有していますが、Taalas はデータセンター向けアクセラレータを、Fanshi はエッジ機器向けのチップと IP を作っています。

出典

  1. heise online: AI inference cast in silicon: Taalas announces HC1 chip
  2. CNX Software: Taalas HC1 hardwired Llama-3.1 8B AI accelerator delivers up to 17,000 tokens/s

この疑問を、あなたのプロジェクトで

対象モデルと、性能・消費電力の目標をお送りください。適したルートと評価計画をご返信します。

評価キットを申し込む