Перейти к содержимому

Кто встраивает LLM в устройства?

Команды, которые к нам обращаются, делятся на шесть групп. Найдите ближайшую к вам и посмотрите, с какого маршрута и какого чипа обычно начинают.

Оценочная плата и модуль камеры
Рис. 1 · Запуск системы, начиная с оценочной платы

01

Карманные и голосовые устройства

Переводчики, диктофоны, ИИ-наушники, игрушки. Полноценная языковая модель в пределах одного-двух ватт, без сети, на батарее, которой хватает на весь день.

Обычно начинают с Forge и маршрута MaskROM

02

Автомобили и роботы

Голос в салоне, роботы с воплощённым ИИ. Более крупная модель работает локально, со стабильной задержкой и без зависимости от связи.

Обычно начинают с Trident и вычислений рядом с памятью

03

Промышленное зрение и инспекция

Сегментация дефектов на линии, инспекция с дронов, слияние данных нескольких датчиков. Успевать за каждым кадром, оставляя данные на объекте.

Обычно начинают с Argus и вычислений в памяти на SRAM

04

Изолированные и защищённые терминалы

Изолированные сети в госсекторе, здравоохранении, энергетике и финансах. Данные не должны покидать устройство: это требование к архитектуре.

Любой маршрут работает локально; маршрут выбирают по размеру модели

05

Команды с собственной SoC

У вас уже есть чип или он планируется, и вы хотите добавить инференс LLM, не разрабатывая ускоритель с нуля.

Обычно начинают с IP ядер инференса и оценочной платы FPGA

06

Разработчики моделей и интеграторы

У вас зафиксированная или дообученная модель, объёмы растут, а счета за API и GPU перестают быть оправданными.

Чип, созданный под вашу модель

Qwen3.5 → 3.6 → 3.8

Новые модели Qwen без новой архитектуры.

Qwen3.6 и Qwen3.8 сохраняют гибридную компоновку Qwen3.5, которую ядра инференса Fanshi уже поддерживают. Более новая модель того же семейства означает новую сборку чипа, а не перепроектирование.

Что происходит после вашего письма

  1. 01

    Знакомство и NDA

    Короткий разговор о проекте. После подписания взаимного NDA мы передаём подробные характеристики и материалы для оценки.

  2. 02

    Технический семинар

    Вместе разбираем вашу нагрузку: целевая модель, типичная и максимальная длина запроса, одиночные запросы, многоходовые диалоги или агентные сценарии, параллельность, ограничения по мощности и форм-фактору.

  3. 03

    Отчёт о реализуемости

    Предлагаемые характеристики, этапы разработки и ориентировочные коммерческие условия, включая NRE и цену за единицу.

  4. 04

    Оценка и разработка

    Практическая оценка с оценочным комплектом, затем готовый чип или заказная разработка под вашу модель.

Ни одна группа не подходит полностью?

Опишите модель, устройство и объём за две минуты, и мы ответим именно по вашему проекту.

Описать ваш проект