Словарь чипов для инференса LLM.
Короткие и понятные определения терминов, которые встречаются, когда языковую модель переносят в кремний. Там, где у нас есть более подробное объяснение, дана ссылка.
- Токен
- Единица текста, которую языковая модель читает и пишет: короткое слово, часть более длинного слова или знак препинания. В английском один токен равен примерно трём четвертям слова. Подробнее →
- Токены в секунду token/s, TPS
- Скорость, с которой модель генерирует вывод. Указывается либо на пользователя, для одного запроса, выполняемого отдельно, либо суммарно по всем запросам, которые сервер обрабатывает одновременно. Подробнее →
- Время до первого токена TTFT
- Ожидание между отправкой промпта и появлением первого токена ответа. Для голоса и других интерактивных задач оно важнее скорости декодирования. Подробнее →
- Инференс LLM
- Исполнение обученной языковой модели для получения вывода, в отличие от её обучения. Инференс повторяет одну и ту же фиксированную последовательность матричных операций для каждого токена.
- ASIC для инференса LLM
- Чип, спроектированный только для исполнения больших языковых моделей. Он отказывается от универсальности GPU ради большего числа токенов в секунду на ватт. Подробнее →
- Model-on-chip зашитая LLM, ASIC под конкретную модель
- Чип, в кремнии которого при изготовлении зафиксированы веса одной конкретной модели, так что во время работы веса не подгружаются. Очень быстрый и эффективный, но ценой гибкости. Подробнее →
- Стена памяти memory wall
- Разрыв между скоростью вычислений процессоров и скоростью, с которой память поставляет данные. Для LLM это главное ограничение, потому что каждый токен требует прочитать все веса. Подробнее →
- Пропускная способность памяти
- Сколько гигабайт в секунду можно прочитать из памяти. Если веса лежат в обычной памяти, скорость декодирования не может превысить пропускную способность памяти, делённую на размер модели. Подробнее →
- Вычисления в памяти CIM, compute-in-memory
- Схемотехнический приём, при котором операции умножения с накоплением выполняются внутри массива памяти, так что веса не покидают ячейки хранения. Подробнее →
- Вычисления в памяти на MaskROM
- Вычисления в памяти, при которых веса на этапе изготовления масок формируются в массиве переходных отверстий, доступном только для чтения. Наименьшие потребление и предельная стоимость; модель фиксирована. Подробнее →
- Вычисления в памяти на SRAM SRAM CIM
- Вычисления в памяти на ячейках SRAM. Веса загружаются при включении, поэтому модель можно заменить в эксплуатации. Подробнее →
- Вычисления рядом с памятью NMC, near-memory computing
- Вычислительные блоки, размещённые вплотную к быстрой памяти, с потоковой передачей на кристалле, чтобы пути данных оставались короткими. Подходит для больших моделей, которые ещё меняются. Подробнее →
- Инференс на устройстве edge-инференс
- Исполнение модели на устройстве, где возникают данные, а не в дата-центре. Работает без сети, и данные остаются на устройстве. Подробнее →
- NPU нейропроцессор
- Ускоритель нейросетей внутри чипа смартфона или ПК. Он делит системную память, поэтому для LLM упирается в то же ограничение по пропускной способности, что и CPU. Подробнее →
- TOPS
- Триллионы операций в секунду, мера чистой арифметической производительности. О памяти она ничего не говорит и потому плохо предсказывает скорость декодирования LLM. Подробнее →
- Квантование
- Хранение весов с пониженной точностью, например в виде 8-битных или 4-битных целых вместо 16-битных чисел с плавающей запятой. Уменьшает модель и ускоряет инференс, при очень низкой точности с потерей качества.
- Tape-out
- Момент, когда готовый проект чипа передают на фабрику для изготовления. Это фиксированные затраты, поэтому специализированным чипам нужен объём. Подробнее →
- Комплект масок
- Набор фотошаблонов, задающих каждый слой чипа. В конструкции на MaskROM веса модели входят в комплект масок. Подробнее →
- Прототипирование на FPGA
- Запуск проекта чипа на перепрограммируемой логике до tape-out, чтобы проверить функции и производительность на реальных моделях и данных. Подробнее →
- IP-ядро инференса
- Лицензируемый блок проекта чипа, исполняющий определённый класс архитектур моделей; заказчик встраивает его в собственный ASIC, SoC или FPGA. Подробнее →
- Гибридное внимание
- Архитектура модели, в которой слои с линейным вниманием чередуются со слоями полного внимания, как в Qwen3.5 и более новых версиях. Снижает стоимость длинных контекстов и сохраняет точность. Подробнее →
- Линейное внимание
- Механизм внимания, затраты которого растут линейно с длиной последовательности и который хранит состояние фиксированного размера; подходит для потоковой обработки и длинных контекстов. Подробнее →
- Смесь экспертов MoE, mixture of experts
- Модель, в которой для каждого токена активна только часть весов — выбранные эксперты. Позволяет большой модели работать в пределах ограниченной пропускной способности. Подробнее →
- Техпроцесс технологический узел
- Поколение технологии изготовления чипа, например 28 нм или 6 нм. Более тонкие нормы вмещают больше транзисторов; зрелые нормы дают меньшую стоимость и более предсказуемые поставки.
Что ещё почитать
ASIC для инференса LLM: сравнение пяти архитектур чипов в 2026 годуGPU, процессор размером с пластину, LPU, ASIC только для трансформеров и model-on-chip: чем различаются пять архитектур инференса LLM, какие скорости в токенах в секунду заявлены и о чём эти цифры умалчивают.
Токены в секунду: насколько быстрой должна быть LLM?Что измеряют токены в секунду, как они соотносятся со скоростью чтения и речи, почему значения на пользователя и суммарные различаются и как пропускная способность памяти ограничивает их на устройстве.
Что такое ИИ-чип с вычислениями в памяти? Три маршрутаИИ-чип с вычислениями в памяти выполняет умножение с накоплением внутри массива памяти, и веса больше не перемещаются. Чем различаются MaskROM, SRAM CIM и вычисления рядом с памятью.
Есть конкретный проект для обсуждения?
Пришлите целевую модель и цели по производительности и потреблению. Мы ответим с предложением маршрута и планом оценки.
