Сколько токенов в секунду может выдать ваше устройство?
Когда веса лежат в обычной памяти, каждый сгенерированный токен требует прочитать их все. Поэтому у скорости декодирования есть вычислимый потолок: пропускная способность памяти, делённая на размер модели.
- Размер модели
- 8.0 GB
- Потолок декодирования
- 6.3 token/s
Плавно для чата
Это теоретический потолок. Реальные системы оказываются ниже, потому что та же память обслуживает всё остальное, а пропускная способность взята как пиковое значение из спецификации.
Сравнение распространённых устройств (8-битные веса)
| Устройство (теоретическая пиковая пропускная способность) | 0.8B · 0.8 GB | 4B · 4 GB | 8B · 8 GB | 27B · 27 GB | 70B · 70 GB |
|---|---|---|---|---|---|
| Raspberry Pi 5 · LPDDR4X-426717 GB/s | 21 | 4.3 | 2.1 | 0.6 | 0.2 |
| PC · DDR5-5600 ×289.6 GB/s | 112 | 22 | 11 | 3.3 | 1.3 |
| Apple M2100 GB/s | 125 | 25 | 13 | 3.7 | 1.4 |
| NVIDIA Jetson AGX Orin204.8 GB/s | 256 | 51 | 26 | 7.6 | 2.9 |
| Apple M2 Max400 GB/s | 500 | 100 | 50 | 15 | 5.7 |
Пропускная способность — теоретический пик по опубликованным спецификациям памяти. Значения в токенах в секунду, только для сравнения порядков величин.
Почему потолок существует
Более быстрый процессор не помогает: вычисления ждут веса. Это и есть стена памяти. Преодолеть её можно, только перестав перемещать веса. Именно это делают вычисления в памяти и вычисления рядом с памятью, размещая арифметику там, где лежат веса.
Частые вопросы
Как рассчитывается потолок?
Размер модели в ГБ равен числу параметров в миллиардах, умноженному на число бит на вес и делённому на 8. Потолок декодирования в токенах в секунду равен пропускной способности памяти в ГБ/с, делённой на размер модели в ГБ. Каждый токен требует один раз прочитать все веса, поэтому быстрее не получится.
Почему измеренная скорость ниже потолка?
Пропускная способность памяти делится с системой и другими задачами, значение из спецификации — теоретический пик, а кэши внимания тоже нужно читать и записывать. Измеренная скорость обычно составляет лишь часть потолка.
Как специализированный чип может превысить этот потолок?
Чип с вычислениями в памяти выполняет арифметику внутри массива памяти. Веса не идут по шине, и ограничение по пропускной способности перестаёт действовать.
Есть конкретный проект для обсуждения?
Пришлите целевую модель и цели по производительности и потреблению. Мы ответим с предложением маршрута и планом оценки.
