запуск LLM без GPU · железо для LLM на устройстве · локальная LLM · NPU или GPU · ASIC для LLM
Как запустить LLM без GPU: пять вариантов железа для устройств
Инженерная команда Fanshi Semiconductor · Опубликовано

Языковую модель можно запустить без серверного GPU на пяти видах железа: на CPU с квантованной моделью, на NPU в чипе смартфона или ПК, на встраиваемом GPU-модуле, на FPGA или на специализированном чипе для LLM. У первых трёх одно узкое место — пропускная способность памяти, потому что каждый токен требует прочитать все веса. Специализированный чип это узкое место устраняет, но окупается только тогда, когда модель определена, а продукт выпускается серийно.
Зачем смотреть дальше GPU
Серверный GPU — простой способ запустить модель и неподходящая деталь для большинства устройств. Он потребляет сотни ватт, стоит дороже продукта, в который его пришлось бы поставить, и требует охлаждения, которого нет у носимого устройства, автомобильного модуля или промышленной камеры.
Есть и причины, не связанные с железом. Многие продукты должны работать без сети, а во многих внедрениях данные запрещено отправлять за пределы устройства. И то и другое переносит инференс на само устройство.
Сравнение пяти вариантов
| Вариант | Что ограничивает скорость | Смена модели | Где уместен |
|---|---|---|---|
| CPU с квантованной моделью | Пропускная способность памяти и число ядер | Загрузить другой файл | Прототипы, малые серии, небольшие модели |
| NPU в чипе смартфона или ПК | Общая системная память и набор операций, которые поддерживает инструментарий производителя | Любая модель, которую способен скомпилировать инструментарий | Продукты, уже построенные на этом чипе |
| Встраиваемый GPU-модуль | Пропускная способность памяти и бюджет мощности модуля | Любая модель, которая помещается в память | Роботы и шлюзы с запасом в десятки ватт |
| FPGA | Логическая ёмкость и интерфейсы памяти; высокая цена за штуку | Перепрограммируется | Проверка конструкции ускорителя; малые серии |
| Специализированный чип для LLM (вычисления в памяти или model-on-chip) | Задано при проектировании; веса не перемещаются | Зависит от пути: зафиксирована при tape-out, перезагружается при включении или обновляется во внешней памяти | Серийные устройства с устоявшейся моделью и жёстким бюджетом мощности |
У первых трёх одно узкое место
На CPU, NPU или встраиваемом GPU веса лежат в обычной памяти и считываются один раз на каждый токен. Скорость декодирования ограничена пропускной способностью памяти, делённой на размер модели. Когда этот предел достигнут, добавление вычислительной мощности не помогает, поэтому чип с впечатляющим значением TOPS всё равно может генерировать текст медленно.
Модели поменьше и точность пониже поднимают предел, и именно на это сегодня уходит основная работа по запуску на устройстве: квантовать сильнее, выбирать модель меньше, мириться с получившимся качеством.
Когда специализированный чип оправдан
Специализированный чип держит веса там, где идёт арифметика, поэтому предел по пропускной способности больше не действует. Цена — tape-out, то есть фиксированные затраты, и модель, которая частично или полностью определена заранее.
Он окупается, когда выполняются три условия: модель определена на весь срок жизни продукта или меняется только в пределах одного семейства, продукт выпускается достаточным тиражом, чтобы распределить фиксированные затраты, а бюджет мощности слишком жёсткий для универсальной детали. Если хотя бы одного из трёх нет, лучше выбрать модуль или NPU.
Практический путь
- Сделать прототип на CPU или GPU-модуле и измерить, сколько токенов в секунду продукту действительно нужно.
- Зафиксировать семейство моделей и приемлемую точность.
- Запустить целевую модель на оценочной плате FPGA, чтобы подтвердить скорость и поведение до принятия решения.
- Перейти на специализированный чип, стандартный или заказной, когда объём и бюджет мощности это оправдывают.
Fanshi поддерживает два последних шага: оценочные платы FPGA с инструментарием для переноса модели, три стандартных встраиваемых чипа, заказные чипы под модель заказчика и лицензируемые IP-ядра инференса для команд, проектирующих собственную SoC.
Частые вопросы
Можно ли запустить LLM на CPU?
Да. Небольшие квантованные модели работают на обычных CPU. Скорость ограничена пропускной способностью памяти, поэтому с ростом модели она быстро падает.
Нужен ли NPU, чтобы запустить LLM на устройстве?
Нет. NPU помогает, когда его инструментарий поддерживает вашу модель, но он делит системную память со всем остальным и упирается в то же ограничение по пропускной способности, что и CPU.
Какой способ запуска LLM самый экономичный по энергии?
Чип, который вообще не перемещает веса. Решения с вычислениями в памяти выполняют арифметику внутри массива памяти и тем самым убирают наибольшую долю энергии инференса.
Когда заказной чип для LLM имеет смысл?
Когда модель определена, продукт выпускается серийно, а бюджет мощности исключает универсальные детали. В остальных случаях лучше выбрать модуль или NPU.



