Перейти к содержимому

Сколько токенов в секунду может выдать ваше устройство?

Когда веса лежат в обычной памяти, каждый сгенерированный токен требует прочитать их все. Поэтому у скорости декодирования есть вычислимый потолок: пропускная способность памяти, делённая на размер модели.

Размер модели
8.0 GB
Потолок декодирования
6.3 token/s

Плавно для чата

Это теоретический потолок. Реальные системы оказываются ниже, потому что та же память обслуживает всё остальное, а пропускная способность взята как пиковое значение из спецификации.

Сравнение распространённых устройств (8-битные веса)

Устройство (теоретическая пиковая пропускная способность)0.8B · 0.8 GB4B · 4 GB8B · 8 GB27B · 27 GB70B · 70 GB
Raspberry Pi 5 · LPDDR4X-426717 GB/s214.32.10.60.2
PC · DDR5-5600 ×289.6 GB/s11222113.31.3
Apple M2100 GB/s12525133.71.4
NVIDIA Jetson AGX Orin204.8 GB/s25651267.62.9
Apple M2 Max400 GB/s50010050155.7

Пропускная способность — теоретический пик по опубликованным спецификациям памяти. Значения в токенах в секунду, только для сравнения порядков величин.

Почему потолок существует

Более быстрый процессор не помогает: вычисления ждут веса. Это и есть стена памяти. Преодолеть её можно, только перестав перемещать веса. Именно это делают вычисления в памяти и вычисления рядом с памятью, размещая арифметику там, где лежат веса.

Частые вопросы

Как рассчитывается потолок?

Размер модели в ГБ равен числу параметров в миллиардах, умноженному на число бит на вес и делённому на 8. Потолок декодирования в токенах в секунду равен пропускной способности памяти в ГБ/с, делённой на размер модели в ГБ. Каждый токен требует один раз прочитать все веса, поэтому быстрее не получится.

Почему измеренная скорость ниже потолка?

Пропускная способность памяти делится с системой и другими задачами, значение из спецификации — теоретический пик, а кэши внимания тоже нужно читать и записывать. Измеренная скорость обычно составляет лишь часть потолка.

Как специализированный чип может превысить этот потолок?

Чип с вычислениями в памяти выполняет арифметику внутри массива памяти. Веса не идут по шине, и ограничение по пропускной способности перестаёт действовать.

Есть конкретный проект для обсуждения?

Пришлите целевую модель и цели по производительности и потреблению. Мы ответим с предложением маршрута и планом оценки.

Запросить оценочный комплект