Перейти к содержимому

вычисления в памяти на MaskROM · LLM в аппаратном исполнении · модель в кремнии · CIM на основе ПЗУ · веса в кремнии

Вычисления в памяти на MaskROM: что значит записать веса в кремний

Инженерная команда Fanshi Semiconductor · Опубликовано

Вычисления в памяти на MaskROM записывают веса модели в массив переходных отверстий в кремнии с помощью рисунков масок, используемых при тейпауте, и веса становятся частью структуры чипа. Во время работы ничего не нужно считывать или перемещать: умножение с накоплением выполняется на месте, в массиве, что даёт минимальные потребление и предельную стоимость инференса среди всех маршрутов. Цена — фиксированная модель; для её смены нужны новые маски.

Веса становятся частью кремния

В обычном чипе ячейки памяти поставляются пустыми, а веса загружаются извне при включении питания. MaskROM устроен иначе. На этапе проектирования значение каждого веса переводится в наличие или отсутствие переходных отверстий и соединений, наносится на фотошаблон и изготавливается в кремнии вместе со всем остальным. Когда чип покидает фабрику, модель уже находится внутри.

Поскольку веса — это структура схемы, этапа считывания нет. Пока активации проходят через массив, умножение с накоплением выполняется на месте, в схемах рядом с массивом переходных отверстий, и на выходе получаются результаты, а не веса. Именно это буквально и означает записать модель в чип.

Почему потребление и стоимость минимальны

При декодировании LLM самая большая статья энергозатрат — перенос весов, и MaskROM устраняет её полностью. Ему также не нужны ни DRAM, ни HBM, а значит, из перечня комплектующих уходит дорогая микросхема памяти вместе с её потреблением и площадью на плате.

Ячейка MaskROM крошечная: ей не нужны шесть транзисторов на бит, как SRAM. На той же площади кремния помещается гораздо больше весов, поэтому на зрелом техпроцессе можно разместить полноценную языковую модель.

Маски оплачиваются один раз. После этого каждый чип стоит только площади кристалла и корпуса, и чем больше тираж, тем меньше доля масок в цене единицы.

Ограничение: фиксированная модель

После записи в кремний веса изменить нельзя. Другая модель означает новые маски и новый тейпаут, поэтому маршрут MaskROM предполагает, что модель зафиксирована и тщательно проверена в реальных условиях.

Распространённый инженерный приём — разместить стабильную основную часть модели, например основу языковой модели, в MaskROM, а части, требующие настройки, например небольшой набор слоёв-адаптеров или подсказок, оставить в перезаписываемой памяти. Точное разделение оценивается по проекту с учётом структуры модели.

Для каких продуктов это подходит

Карманные переводчики, устройства для голосовых заметок и офлайн-ассистенты в автомобиле имеют общий профиль: понятная задача модели, большой тираж, предельная чувствительность к потреблению и отсутствие потребности в сетевом подключении. Forge компании Fanshi определён именно для таких устройств: маршрут MaskROM с Qwen 3.5 0.8B в качестве основной модели и проектными целями по потреблению системы менее одного ватта и скорости декодирования 17 000 токен/с.

Если ваша модель ещё не зафиксирована, сначала запустите её на оценочной плате FPGA с IP инференса, а к тейпауту MaskROM переходите после того, как модель будет окончательно утверждена.

Примените этот вопрос к своему проекту

Пришлите целевую модель и цели по производительности и потреблению. Мы ответим с предложением маршрута и планом оценки.

Запросить оценочный комплект