Перейти к содержимому

запуск LLM без GPU · железо для LLM на устройстве · локальная LLM · NPU или GPU · ASIC для LLM

Как запустить LLM без GPU: пять вариантов железа для устройств

Инженерная команда Fanshi Semiconductor · Опубликовано

Языковую модель можно запустить без серверного GPU на пяти видах железа: на CPU с квантованной моделью, на NPU в чипе смартфона или ПК, на встраиваемом GPU-модуле, на FPGA или на специализированном чипе для LLM. У первых трёх одно узкое место — пропускная способность памяти, потому что каждый токен требует прочитать все веса. Специализированный чип это узкое место устраняет, но окупается только тогда, когда модель определена, а продукт выпускается серийно.

Зачем смотреть дальше GPU

Серверный GPU — простой способ запустить модель и неподходящая деталь для большинства устройств. Он потребляет сотни ватт, стоит дороже продукта, в который его пришлось бы поставить, и требует охлаждения, которого нет у носимого устройства, автомобильного модуля или промышленной камеры.

Есть и причины, не связанные с железом. Многие продукты должны работать без сети, а во многих внедрениях данные запрещено отправлять за пределы устройства. И то и другое переносит инференс на само устройство.

Сравнение пяти вариантов

ВариантЧто ограничивает скоростьСмена моделиГде уместен
CPU с квантованной модельюПропускная способность памяти и число ядерЗагрузить другой файлПрототипы, малые серии, небольшие модели
NPU в чипе смартфона или ПКОбщая системная память и набор операций, которые поддерживает инструментарий производителяЛюбая модель, которую способен скомпилировать инструментарийПродукты, уже построенные на этом чипе
Встраиваемый GPU-модульПропускная способность памяти и бюджет мощности модуляЛюбая модель, которая помещается в памятьРоботы и шлюзы с запасом в десятки ватт
FPGAЛогическая ёмкость и интерфейсы памяти; высокая цена за штукуПерепрограммируетсяПроверка конструкции ускорителя; малые серии
Специализированный чип для LLM (вычисления в памяти или model-on-chip)Задано при проектировании; веса не перемещаютсяЗависит от пути: зафиксирована при tape-out, перезагружается при включении или обновляется во внешней памятиСерийные устройства с устоявшейся моделью и жёстким бюджетом мощности

У первых трёх одно узкое место

На CPU, NPU или встраиваемом GPU веса лежат в обычной памяти и считываются один раз на каждый токен. Скорость декодирования ограничена пропускной способностью памяти, делённой на размер модели. Когда этот предел достигнут, добавление вычислительной мощности не помогает, поэтому чип с впечатляющим значением TOPS всё равно может генерировать текст медленно.

Модели поменьше и точность пониже поднимают предел, и именно на это сегодня уходит основная работа по запуску на устройстве: квантовать сильнее, выбирать модель меньше, мириться с получившимся качеством.

Когда специализированный чип оправдан

Специализированный чип держит веса там, где идёт арифметика, поэтому предел по пропускной способности больше не действует. Цена — tape-out, то есть фиксированные затраты, и модель, которая частично или полностью определена заранее.

Он окупается, когда выполняются три условия: модель определена на весь срок жизни продукта или меняется только в пределах одного семейства, продукт выпускается достаточным тиражом, чтобы распределить фиксированные затраты, а бюджет мощности слишком жёсткий для универсальной детали. Если хотя бы одного из трёх нет, лучше выбрать модуль или NPU.

Практический путь

  • Сделать прототип на CPU или GPU-модуле и измерить, сколько токенов в секунду продукту действительно нужно.
  • Зафиксировать семейство моделей и приемлемую точность.
  • Запустить целевую модель на оценочной плате FPGA, чтобы подтвердить скорость и поведение до принятия решения.
  • Перейти на специализированный чип, стандартный или заказной, когда объём и бюджет мощности это оправдывают.

Fanshi поддерживает два последних шага: оценочные платы FPGA с инструментарием для переноса модели, три стандартных встраиваемых чипа, заказные чипы под модель заказчика и лицензируемые IP-ядра инференса для команд, проектирующих собственную SoC.

Частые вопросы

Можно ли запустить LLM на CPU?

Да. Небольшие квантованные модели работают на обычных CPU. Скорость ограничена пропускной способностью памяти, поэтому с ростом модели она быстро падает.

Нужен ли NPU, чтобы запустить LLM на устройстве?

Нет. NPU помогает, когда его инструментарий поддерживает вашу модель, но он делит системную память со всем остальным и упирается в то же ограничение по пропускной способности, что и CPU.

Какой способ запуска LLM самый экономичный по энергии?

Чип, который вообще не перемещает веса. Решения с вычислениями в памяти выполняют арифметику внутри массива памяти и тем самым убирают наибольшую долю энергии инференса.

Когда заказной чип для LLM имеет смысл?

Когда модель определена, продукт выпускается серийно, а бюджет мощности исключает универсальные детали. В остальных случаях лучше выбрать модуль или NPU.

Примените этот вопрос к своему проекту

Пришлите целевую модель и цели по производительности и потреблению. Мы ответим с предложением маршрута и планом оценки.

Запросить оценочный комплект