Перейти к содержимому

ИИ-чип с вычислениями в памяти · CIM · SRAM CIM · вычисления рядом с памятью · MaskROM

Что такое ИИ-чип с вычислениями в памяти? Три маршрута

Инженерная команда Fanshi Semiconductor · Опубликовано

Чип с вычислениями в памяти (compute-in-memory, CIM) выполняет операции умножения с накоплением внутри массива памяти, так что веса модели не покидают ячейки хранения. Он устраняет самую дорогую часть инференса LLM: перенос весов из памяти в вычислительные блоки. По тому, где лежат веса, выделяют три основных маршрута: вычисления в памяти на MaskROM, вычисления в памяти на SRAM и вычисления рядом с памятью.

Проблема в переносе данных, а не в вычислениях

Каждый токен, который генерирует LLM, требует прочитать все веса модели. Для модели с 0.8B параметров в INT8 это не менее 0,8 ГБ, читаемых из памяти на каждый токен. В обычной архитектуре данные идут по шине в вычислительные блоки, а результаты записываются обратно. Сама арифметика занимает малую долю энергии; основная часть мощности и времени уходит на перемещение данных.

Это и есть стена памяти. Дата-центры пробивают её с помощью HBM и щедрых бюджетов мощности. Устройства так не могут: их пропускная способность памяти измеряется десятками ГБ/с, а бюджет мощности — несколькими ваттами. Пока веса приходится перемещать, устройство не может выполнять полноценную LLM.

Вычисления в памяти переворачивают задачу. Если узкое место — перенос весов, их нужно перестать переносить. Веса остаются в массиве памяти, схемы умножения с накоплением расположены внутри него или вплотную к нему, активации входят, результаты выходят.

Три маршрута, определяемые тем, где лежат веса

Вычисления в памяти на MaskROM: веса физически записываются в массив переходных отверстий в кремнии на этапе масок при тейпауте. Массив доступен только для чтения, и во время работы внешнего переноса весов нет, что даёт минимальные потребление и предельную стоимость инференса. Цена — фиксированная модель: её смена означает новые маски. Маршрут подходит стабильным моделям, выпускаемым большими тиражами, например карманным переводчикам и офлайн-ассистентам.

Вычисления в памяти на SRAM (SRAM CIM): умножение с накоплением выполняется внутри массива SRAM, а веса загружаются при включении питания, поэтому их можно обновлять. Вычисления по-прежнему не покидают ячейки памяти, но модель можно менять на месте эксплуатации. Маршрут подходит моделям среднего размера и продуктам, которые продолжают дорабатываться.

Вычисления рядом с памятью: веса находятся во внешней памяти с высокой пропускной способностью, вычислительные блоки размещены вплотную к ней, а потоковая обработка на кристалле сводит перенос к минимуму. Строго говоря, это не вычисления в памяти, но для больших моделей, которые всё ещё быстро развиваются, это самый практичный выбор.

Как выбирать: сначала спросите, как часто меняется модель

Первый вопрос касается не вычислительной мощности, а периодичности обновлений. Если модель не изменится в течение года, а вы выпускаете сотни тысяч устройств, по стоимости и потреблению MaskROM вне конкуренции. Если модель пересматривается каждый квартал, надёжнее вычисления рядом с памятью или SRAM CIM.

Второй вопрос — число параметров. Бюджет мощности меньше одного ватта соответствует моделям примерно до 1B параметров. Чтобы запустить на устройстве модель класса 30B, нужен маршрут вычислений рядом с памятью и системный бюджет в десятки ватт.

Чипы первого поколения Fanshi Semiconductor распределены по трём маршрутам. Forge использует MaskROM для устройств с потреблением менее одного ватта и моделью Qwen 3.5 0.8B. Trident использует вычисления рядом с памятью и поддерживает модели до Qwen 3.5 35B. Argus использует вычисления в памяти на SRAM для машинного зрения в реальном времени на 120 FPS. Все показатели — проектные цели.

Распространённые заблуждения

«Вычислениям в памяти нужен передовой техпроцесс». Нет. Выигрыш даёт архитектура, а не плотность транзисторов. Fanshi опирается на зрелую цепочку поставок SMIC 28 нм, и это же делает стоимость и поставки предсказуемыми.

«Вычисления в памяти годятся только для маленьких моделей». Маршрут MaskROM действительно предпочитает фиксированные модели малого и среднего размера, но маршрут вычислений рядом с памятью справляется с десятками миллиардов параметров. Реальный предел — бюджет мощности, а не архитектура.

«Страдает точность». Цифровые вычисления в памяти, в отличие от ранних аналоговых, выполняют в массиве точное целочисленное умножение с накоплением. Точность определяется схемой квантования, точно так же, как при инференсе INT8 на GPU.

Примените этот вопрос к своему проекту

Пришлите целевую модель и цели по производительности и потреблению. Мы ответим с предложением маршрута и планом оценки.

Запросить оценочный комплект