Перейти к содержимому

токены в секунду · скорость инференса LLM · время до первого токена · пропускная способность памяти · LLM на устройстве

Токены в секунду: насколько быстрой должна быть LLM?

Инженерная команда Fanshi Semiconductor · Опубликовано

Токены в секунду — это скорость, с которой языковая модель генерирует вывод. Человек читает примерно 5–7 токенов в секунду, поэтому ответ в чате кажется плавным при 10–30. Рассуждающим моделям, агентам и контурам управления нужны сотни и тысячи, потому что большую часть их токенов человек никогда не читает. На устройстве потолок задаётся пропускной способностью памяти, делённой на размер модели, поэтому встраиваемые чипы стараются вообще не перемещать веса.

Что такое токен и что измеряет это число

Токен — это фрагмент текста, который модель обрабатывает как единицу: короткое слово, часть более длинного слова или знак препинания. Для английского распространено эмпирическое правило: один токен равен примерно трём четвертям слова. Русские слова обычно разбиваются на большее число токенов.

Под токенами в секунду обычно понимают скорость декодирования: как быстро модель выдаёт текст после начала ответа. Рядом стоят ещё два числа. Время до первого токена — это ожидание до появления чего-либо на экране, а скорость обработки промпта показывает, как быстро модель читает ввод. Система может быть быстрой по одному показателю и медленной по другому.

Какой скорости достаточно?

ЗадачаЧто задаёт планкуПолезная скорость
Чтение ответа в чатеЛюди читают примерно 200–300 слов в минуту, около 5–7 токенов в секунду10–30 токенов/с воспринимаются как плавный вывод
Голосовой ассистентРечь идёт со скоростью около 150 слов в минуту, 3–4 токена в секунду; важнее ожидание до первого словаДесятки токенов/с при коротком времени до первого токена
Рассуждающие модели и агентыСкрытые шаги рассуждения и вызовы инструментов многократно увеличивают число токенов за каждым видимым ответомСотни и тысячи токенов/с
Роботы и управление в реальном времениМодель находится в контуре управления с фиксированным бюджетом времени на решениеСтолько, сколько требует контур, и стабильно
Пакетная обработка документовОбщий объём выполненной работы, а не ощущения одного пользователяСуммарные токены/с на ватт и на доллар

Закономерность простая. Когда вывод читает человек, всё, что заметно выше скорости чтения, тратится впустую. Когда вывод потребляет программа, скорость напрямую сокращает время выполнения задачи, и тысячи токенов в секунду становятся полезными.

Скорость на пользователя и суммарная пропускная способность

Поставщик может указывать токены в секунду на пользователя, то есть для одного запроса, выполняемого отдельно, или сумму по всем запросам, которые сервер обрабатывает одновременно. Второе число всегда больше и мало говорит о том, насколько отзывчив отдельный диалог.

Сравнивая чипы, убедитесь, что оба значения используют одно определение, одну модель и одну точность. Небольшая модель с низкой точностью покажет на том же железе совсем другое число, чем большая модель с высокой точностью.

На устройстве потолок задаёт пропускная способность памяти

Чтобы сгенерировать один токен, нужно прочитать каждый вес модели. Если веса лежат в обычной памяти, скорость декодирования не может превысить пропускную способность памяти, делённую на размер модели, каким бы быстрым ни был процессор.

Возьмём устройство с пропускной способностью памяти 50 ГБ/с. Модель на 8 миллиардов параметров с 8-битной точностью занимает около 8 ГБ, значит, потолок — примерно 6 токенов в секунду. Модель 0.8B, около 0,8 ГБ, упирается примерно в 60. Реальные системы оказываются ниже потолка, потому что та же память обслуживает и всё остальное.

Это и есть стена памяти, и именно поэтому чипы для инференса на устройстве используют вычисления в памяти или рядом с памятью. Если веса никогда не идут по шине, ограничение по пропускной способности перестаёт действовать.

Как читать спецификацию

  • Какая модель и с какой точностью?
  • На пользователя или суммарно, и при каком размере пакета?
  • Измерено на кремнии или это проектная цель?
  • При какой длине промпта и контекста?
  • При какой мощности, для всей системы, а не только для чипа?

Fanshi публикует собственные цифры по этим правилам: Forge нацелен на 17 000 token/s на Qwen 3.5 0.8B в устройстве ваттного класса, а Trident — на 15 000 token/s на моделях до Qwen 3.5 35B при системном бюджете 70 Вт. Обе цифры — проектные цели, окончательные характеристики подтверждаются для каждого проекта.

Частые вопросы

Сколько токенов в секунду может прочитать человек?

Примерно 5–7. Взрослые читают около 200–300 слов в минуту, а один токен в английском равен примерно трём четвертям слова.

Какая скорость в токенах в секунду хороша для локальной LLM?

Для чата 10–30 токенов в секунду воспринимаются как плавный вывод. Для агентов, рассуждающих моделей и автоматических конвейеров, где вывод потребляет программа, чем больше, тем лучше, и полезны сотни и тысячи.

Токены в секунду и TOPS — одно и то же?

Нет. TOPS считает арифметические операции в секунду и ничего не говорит о памяти. Скорость декодирования LLM обычно ограничена тем, как быстро читаются веса, поэтому чип с высоким TOPS всё равно может генерировать токены медленно.

Почему маленькие модели работают настолько быстрее?

Каждый токен требует прочитать все веса, поэтому модель в десять раз меньшего размера можно прочитать примерно в десять раз чаще при той же пропускной способности памяти.

Примените этот вопрос к своему проекту

Пришлите целевую модель и цели по производительности и потреблению. Мы ответим с предложением маршрута и планом оценки.

Запросить оценочный комплект