Перейти к содержимому

Меньше переносить. Оставить инференс на устройстве.

Fanshi выстраивает технологию вокруг того, где хранятся и обрабатываются веса модели: вычисления в памяти на MaskROM, вычисления в памяти на SRAM и вычисления рядом с памятью.

Пластина 300 мм на зондовой станции
Рис. 1 · Пластина 300 мм на зондовой станции

Вся модель целиком —
в одном чипе.

GPU и NPU тратят большую часть времени и энергии на перенос весов между памятью и вычислителем. Fanshi поступает наоборот: веса живут в массиве памяти, а вычисления выполняются там же, где они лежат.

Внутри кремния / ARCHITECTURE STUDY03 / 03

Сделать веса частью кремния.

MaskROM · разрез

Внешний перенос весов на один токен

0MB

Что остаётся при работе

Вычисления на месте · без внешнего переноса весов

0.8B · оценка для INT8, не потребление системы
Рис. 2 · Где лежат веса, туда и уходит энергияСхема · не реальная топология
  1. Раздельная память

    Каждый токен перемещает все веса

    В обычном NPU или GPU память и вычислитель — отдельные кристаллы. При генерации каждого токена все веса проходят по шине: пропускная способность задаёт потолок, а большая часть энергии теряется в пути.

  2. Вычисления в памяти

    Поместить веса в массив памяти

    Fanshi встраивает схемы умножения с накоплением прямо в массив памяти. Веса остаются в массиве, активации входят, результаты выходят. Весов на шине больше нет.

  3. MaskROM

    Записано при тейпауте, не перемещается при работе

    Вычисления в памяти на масочном ПЗУ физически записывают веса в массив переходных отверстий при тейпауте. Чип выходит с фабрики уже с моделью внутри, поэтому энергопотребление и предельная стоимость инференса минимальны.

Одна цель,
три маршрута.

Все три переносят веса меньше или не переносят вовсе. Различие в том, где лежат веса и можно ли ещё менять модель. Первый вопрос, на который нужно ответить: как часто меняется ваша модель?

MaskROMЗаписано в маскеВычисления в памяти на MaskROM
Где лежат веса
Слои масок, запись при тейпауте
Перенос при работе
Нет
Обновление модели
Фиксируется при тейпауте
Подходит для
Стабильные модели, большие тиражи, минимальные потребление и предельная стоимость
Forge
SRAM CIMВычисления в SRAMВычисления в памяти на SRAM
Где лежат веса
Внутри массива SRAM
Перенос при работе
Умножение с накоплением в массиве
Обновление модели
Загрузка при старте, можно обновлять
Подходит для
Модели среднего размера, устройства со сменой модели на месте
Argus
NMCВычисления рядом с памятьюВычисления рядом с памятью
Где лежат веса
Внешняя память с высокой пропускной способностью
Перенос при работе
Потоковая обработка на кристалле
Обновление модели
Непрерывные итерации
Подходит для
Большие быстро меняющиеся модели, высоконагруженные узлы
Trident
17,000token/s

Скорость декодирования на устройстве

Forge, проектная цель · Qwen 3.5 0.8B

~1 Вт

Потребление системы

Forge, лёгкий класс

100%

Данных остаётся на устройстве

Локальный инференс, сеть не нужна

≈ $0

Предельная стоимость инференса

После разовой покупки чипа

Выбрать маршрут для вашего проекта

Пришлите целевую модель, цели по производительности и потреблению и частоту изменения модели. Мы ответим с предложением маршрута и планом оценки.

Запросить оценочный комплект