стена памяти · LLM на устройстве · пропускная способность инференса LLM · вычисления в памяти · вычисления рядом с памятью
Стена памяти: почему LLM на устройстве буксуют и как её обойти
Инженерная команда Fanshi Semiconductor · Опубликовано

Стена памяти — это разрыв между быстро растущей вычислительной мощностью и медленно растущей пропускной способностью памяти, из-за которого вычислительные блоки большую часть времени ждут данных. При декодировании LLM каждый токен читает все веса, поэтому потолок пропускной способности равен пропускной способности памяти, делённой на размер модели. У устройств всего десятки ГБ/с, и обычные архитектуры не позволяют выполнять на них полноценную LLM; вычисления в памяти и рядом с памятью обходят стену, перенося веса меньше или не перенося их вовсе.
Одно деление
Потолок пропускной способности декодирования оценивается одним делением: токенов в секунду = пропускная способность памяти ÷ число байтов весов, читаемых на токен. Модель с 1B параметров в INT8 читает около 1 ГБ на токен. На устройстве с пропускной способностью 50 ГБ/с потолок составляет 50 токенов в секунду, и это теоретический максимум до реальных потерь.
Перейдите на модель 7B, и то же устройство выдаст около 7 токенов в секунду; при 35B — чуть больше одного. Это нехватка не вычислительной мощности, а пропускной способности. Добавление TOPS ничего не меняет, потому что вычислительные блоки большую часть времени ждут прихода весов.
Как справляются дата-центры и почему устройства так не могут
Ответ дата-центров — HBM: несколько ТБ/с пропускной способности, которые увеличивают числитель. Цена — сотни ватт, тысячи долларов за ускоритель и сложное корпусирование. На устройствах ничего из этого не работает: у карманных устройств несколько ватт, у автомобилей и роботов несколько десятков, а бюджет на кремний измеряется десятками или сотнями долларов.
Поэтому на обычных архитектурах у LLM на устройстве два варианта: резко уменьшить модель или смириться с тем, что она будет медленной. Ни один не привлекателен.
Как обойти: перестать переносить веса
Вычисления в памяти встраивают умножение с накоплением в массив памяти: веса участвуют в вычислениях там, где лежат, а по шине идут только активации. Активации на порядки меньше весов, поэтому пропускная способность перестаёт быть узким местом. Вычисления в памяти на MaskROM идут дальше всех: веса записываются в кремний при тейпауте, так что исчезает даже считывание.
Вычисления рядом с памятью размещают вычислительные блоки вплотную к памяти с высокой пропускной способностью и используют потоковую обработку на кристалле, чтобы каждое чтение весов использовалось полностью, сокращая и число, и дальность передач. Модель при этом остаётся обновляемой, что подходит большим моделям, которые ещё развиваются.
Оба маршрута уменьшают знаменатель в этом делении или убирают его вовсе, вместо того чтобы силой наращивать числитель. Поэтому они позволяют выполнять LLM на устройстве на зрелом техпроцессе 28 нм.
Что это значит для продуктов
Скорость декодирования вырастает с нескольких токенов в секунду до более чем десяти тысяч (проектные цели): голосовое взаимодействие перестаёт запинаться, становятся возможны многопоточные нагрузки. Потребление системы падает с более чем десяти ватт до менее чем одного ватта, и карманные устройства могут работать автономно весь день. А без DRAM и HBM упрощаются и перечень комплектующих, и тепловой расчёт.
Чипы Fanshi Semiconductor распределены по маршрутам MaskROM, вычислений в памяти на SRAM и вычислений рядом с памятью. Чтобы понять, какой из них нужен вашему продукту, начните со статьи «Как выбрать чип для инференса LLM на устройстве».



