Перейти к содержимому

FS-MoE

IP инференса для разреженной смеси экспертов

Для разреженных моделей с динамической активацией: большое число параметров в рамках бюджета пропускной способности устройства.

FS-MoE: IP инференса для разреженной смеси экспертов, иллюстрация
Рис. 1 · FS-MoE IP инференса для разреженной смеси экспертов

Поток данных

Для разреженных моделей с динамической активацией: большое число параметров в рамках бюджета пропускной способности устройства.

МаршрутизаторgatingЭксперт 1Эксперт 2Эксперт 3Эксперт 4ОбъединениеЧитаются тольковыбранные веса
Рис. 2 · Поток данных FS-MoE (схема)

Встроенная поддержка

Большие разреженные модели в бюджете устройства

Развёртывание

Тейпаут ASIC и прототипирование на FPGA с адаптацией интерфейсов и системы под проект.

В лицензию входит

IP ядра инференса, оценочная плата FPGA, отображение модели и адаптация интерфейсов, поддержка внедрения в проект.

Охват IP, интерфейсы, занимаемые ресурсы, цели по производительности и условия лицензии оцениваются для конкретного целевого устройства и модели.

Задать вопрос о FS-MoE

Сообщите нам целевое устройство, модель и интерфейсы. Мы ответим с описанием охвата IP и планом оценки.

Узнать о лицензировании IP