本文へスキップ

トークン毎秒 · tokens per second · LLM 推論速度 · 最初のトークンまでの時間 · メモリ帯域 · オンデバイス LLM

トークン毎秒(tokens/s)とは:LLM はどのくらい速ければよいか

Fanshi Semiconductor エンジニアリングチーム · 公開

トークン毎秒は、言語モデルが出力を生成する速さです。人が読む速さはおよそ毎秒 5〜7 トークンなので、チャットの回答は毎秒 10〜30 トークンあれば滑らかに感じられます。推論モデル、エージェント、制御ループには数百から数千が必要です。生成されるトークンの大半を人が読まないからです。機器上では、メモリ帯域をモデルサイズで割った値が上限になります。エッジチップが重みをそもそも動かさないようにするのはこのためです。

トークンとは何か、この数値は何を測るのか

トークンは、モデルがひとつの単位として扱うテキストの断片です。短い単語、長い単語の一部、あるいは句読点がこれに当たります。英語では 1 トークンがおよそ 4 分の 3 語という目安がよく使われます。日本語では、1 文字が 1 トークン前後になることが多くなります。

トークン毎秒は通常、デコード速度を指します。モデルが出力を始めてから、どれだけ速く生成するかです。隣に二つの数値があります。最初のトークンまでの時間は何かが表示されるまでの待ち時間で、プロンプト処理速度はモデルが入力を読む速さです。ひとつは速く、別のひとつは遅いということがあり得ます。

どのくらい速ければ十分か

用途基準を決めるもの実用的な速度
チャットの回答を読む人が読む速さは英語で毎分 200〜300 語ほど、毎秒約 5〜7 トークン10〜30 トークン/秒で滑らかに感じる
音声アシスタント話す速さは毎分 150 語前後、毎秒 3〜4 トークン。最初の一語までの待ち時間のほうが重要数十トークン/秒と、短い最初のトークンまでの時間
推論モデルとエージェント表に出ない思考ステップとツール呼び出しが、見える回答の裏でトークンを何倍にも増やす数百〜数千トークン/秒
ロボットとリアルタイム制御モデルは、判断ごとの時間予算が決まった制御ループの中にあるループが求める速度を、安定して
文書の一括処理一人のユーザーの体感ではなく、処理した総量ワットあたり、ドルあたりの合計トークン/秒

構図は単純です。人が出力を読む場合、読む速さを大きく超える分は無駄になります。ソフトウェアが出力を受け取る場合、速度はそのまま処理時間の短縮になり、毎秒数千トークンが役に立ちます。

ユーザーあたりの速度と合計スループット

ベンダーが示すトークン毎秒は、ユーザーあたり、つまり単独で動くひとつのリクエストの値のこともあれば、サーバーが同時に処理する全リクエストの合計のこともあります。後者は必ず大きくなり、ひとつの会話の応答の速さについてはほとんど何も語りません。

チップを比べるときは、両方の数値が同じ定義、同じモデル、同じ精度に基づいていることを確認してください。同じハードウェアでも、低精度の小さなモデルと高精度の大きなモデルではまったく違う数値になります。

機器上ではメモリ帯域が上限を決める

トークンをひとつ生成するには、モデルのすべての重みを読む必要があります。重みが通常のメモリにある場合、プロセッサがどれだけ速くても、デコード速度はメモリ帯域をモデルサイズで割った値を超えられません。

メモリ帯域が 50 GB/s の機器を考えます。8 ビット精度の 80 億パラメータのモデルは約 8 GB なので、上限は毎秒 6 トークン前後です。約 0.8 GB の 0.8B モデルなら、上限は毎秒 60 トークン近くになります。同じメモリがほかの処理にも使われるため、実際のシステムはこの上限を下回ります。

これがメモリの壁であり、エッジ推論チップがコンピュート・イン・メモリやニアメモリ・コンピューティングを使う理由です。重みがバスを通らなければ、帯域の制限は当てはまらなくなります。

仕様書の読み方

  • どのモデルで、どの精度か。
  • ユーザーあたりか合計か。バッチサイズはいくつか。
  • シリコンでの実測か、設計目標か。
  • プロンプトとコンテキストの長さはどれだけか。
  • 消費電力はいくらか。チップだけでなくシステム全体で。

Fanshi は自社の数値をこの基準で公開しています。Forge はワット級の機器で Qwen 3.5 0.8B を 17,000 token/s、Trident は 70 W のシステム電力予算で Qwen 3.5 35B までのモデルを 15,000 token/s で動かすことを目標としています。いずれも設計目標であり、最終仕様はプロジェクトごとに確定します。

よくある質問

人は毎秒何トークン読めますか。

およそ 5〜7 トークンです。成人は英語を毎分 200〜300 語ほどで読み、1 トークンはおよそ 4 分の 3 語に当たります。

ローカル LLM ではどのくらいのトークン毎秒があればよいですか。

チャットなら毎秒 10〜30 トークンで滑らかに感じられます。エージェント、推論モデル、自動化パイプラインのようにソフトウェアが出力を受け取る用途では、速いほどよく、数百から数千が役に立ちます。

トークン毎秒は TOPS と同じですか。

いいえ。TOPS は 1 秒あたりの演算回数を数えるもので、メモリについては何も示しません。LLM のデコード速度はたいてい重みを読む速さで決まるため、TOPS が高いチップでもトークン生成が遅いことがあります。

小さなモデルはなぜずっと速いのですか。

トークンごとに全重みを読む必要があるため、サイズが 10 分の 1 のモデルは、同じメモリ帯域でおよそ 10 倍の頻度で読めるからです。

この疑問を、あなたのプロジェクトで

対象モデルと、性能・消費電力の目標をお送りください。適したルートと評価計画をご返信します。

評価キットを申し込む