чип для инференса LLM на устройстве · edge-чип ИИ · LLM на устройстве · выбор ИИ-ускорителя · NPU или ASIC
Как выбрать чип для инференса LLM на устройстве: 7 вопросов
Инженерная команда Fanshi Semiconductor · Опубликовано

Чтобы выбрать чип для инференса на устройстве, сначала ответьте на семь вопросов: какая модель, сколько параметров, как часто она меняется, каков бюджет мощности, насколько быстрым должно быть декодирование, могут ли данные покидать устройство и сколько устройств вы выпустите. Ответы во многом определяют выбор между универсальным GPU или NPU и специализированным ASIC с вычислениями в памяти или рядом с памятью.
1. Какая модель и сколько параметров
Это первое и самое жёсткое ограничение. Для языковых моделей важны число параметров и длина контекста; для моделей зрения — входное разрешение и частота кадров. Языковая модель на 0.5B–1B может работать с потреблением менее одного ватта на чипе с вычислениями в памяти на MaskROM. Модели на 7B–35B нужны вычисления рядом с памятью и системный бюджет в десятки ватт. Сегментация в реальном времени измеряется числом обработанных пикселей в секунду, а не TOPS.
Не ориентируйтесь на TOPS. Показатель TOPS универсального NPU — это пиковая производительность умножения с накоплением, но декодирование LLM ограничено пропускной способностью, и реальная загрузка часто составляет единицы процентов. Правильнее спросить: сколько раз в секунду этот чип может прочитать весь набор весов?
2. Как часто меняется модель
От этого зависит, подходит ли MaskROM. Если продукт чётко определён, модель тщательно проверена и не изменится в течение года, MaskROM записывает веса в кремний с минимальными потреблением и стоимостью. Если модель всё ещё меняется каждый квартал, выбирайте вычисления в памяти на SRAM или вычисления рядом с памятью, чтобы веса можно было загружать при включении или хранить во внешней памяти.
Практичный подход — действовать поэтапно: сначала запустить модель на оценочной плате FPGA с IP инференса, а решение о тейпауте MaskROM принимать после фиксации модели.
3. Бюджет мощности
У карманных устройств обычно 1–3 Вт на всю систему. У автомобильных систем и роботов 10–70 Вт, а промышленные edge-узлы могут достигать примерно 100 Вт. Один только бюджет мощности отсекает большинство вариантов: модули GPU обычно начинаются с 15 Вт, и это без учёта охлаждения.
Преимущество вычислений в памяти по мощности происходит из отказа от переноса весов. Сильнее всего эффект проявляется при декодировании, которое целиком ограничено пропускной способностью.
4. Насколько быстро это должно работать
Голосовому взаимодействию нужно время до первого токена в пределах нескольких сотен миллисекунд, а декодирования быстрее скорости чтения человека (примерно 10–20 токен/с) достаточно. Пакетной обработке и многопоточным нагрузкам нужна максимальная пропускная способность: именно тысячи и десятки тысяч токен/с снижают стоимость токена. В задачах зрения главное — частота кадров: контроль дефектов должен успевать за производственной линией, а инспекция с дронов — за скоростью полёта.
5. Могут ли данные покидать устройство
Изолированные сети, терминалы с ограничениями, здравоохранение и промышленные площадки часто принципиально запрещают отправку данных в облако. Там инференс на устройстве — вопрос не стоимости, а того, может ли продукт существовать вообще. Полностью локальный инференс означает, что устройство способно работать совершенно автономно, и эту гарантию даёт архитектура, а не политика.
6. Объём производства
Для нескольких тысяч устройств проще всего взять универсальный модуль и оптимизировать программное обеспечение. При сотнях тысяч устройств преимущество специализированного ASIC по цене за единицу и по мощности способно изменить стоимость комплектующих системы на порядок. Особенно это верно для MaskROM: маски оплачиваются один раз, и чем больше тираж, тем лучше экономика.
7. Кто занимается программным обеспечением
На универсальной платформе вы сами отвечаете за преобразование модели, квантование и поддержку операторов; со специализированным ASIC отображение модели обычно обеспечивает производитель чипа. Спросите прямо: поддерживается ли целевая модель изначально, какова схема квантования, можно ли получить оценочную плату и как скоро у вас будет инженерный образец?
Контрольный список на одну страницу
Заполните семь ответов, и маршрут определится сам. Модель до 1B, без изменений в течение года, не более 3 Вт, большой тираж: вычисления в памяти на MaskROM. Быстро меняющаяся модель, которую нужно заменять на месте: вычисления в памяти на SRAM. Модель от 7B с бюджетом в десятки ватт: вычисления рядом с памятью. Модель ещё не зафиксирована: сначала запустите её на оценочной плате FPGA по лицензии на IP.



