Перейти к содержимому
Токен
Единица текста, которую языковая модель читает и пишет: короткое слово, часть более длинного слова или знак препинания. В английском один токен равен примерно трём четвертям слова. Подробнее →
Токены в секунду token/s, TPS
Скорость, с которой модель генерирует вывод. Указывается либо на пользователя, для одного запроса, выполняемого отдельно, либо суммарно по всем запросам, которые сервер обрабатывает одновременно. Подробнее →
Время до первого токена TTFT
Ожидание между отправкой промпта и появлением первого токена ответа. Для голоса и других интерактивных задач оно важнее скорости декодирования. Подробнее →
Инференс LLM
Исполнение обученной языковой модели для получения вывода, в отличие от её обучения. Инференс повторяет одну и ту же фиксированную последовательность матричных операций для каждого токена.
ASIC для инференса LLM
Чип, спроектированный только для исполнения больших языковых моделей. Он отказывается от универсальности GPU ради большего числа токенов в секунду на ватт. Подробнее →
Model-on-chip зашитая LLM, ASIC под конкретную модель
Чип, в кремнии которого при изготовлении зафиксированы веса одной конкретной модели, так что во время работы веса не подгружаются. Очень быстрый и эффективный, но ценой гибкости. Подробнее →
Стена памяти memory wall
Разрыв между скоростью вычислений процессоров и скоростью, с которой память поставляет данные. Для LLM это главное ограничение, потому что каждый токен требует прочитать все веса. Подробнее →
Пропускная способность памяти
Сколько гигабайт в секунду можно прочитать из памяти. Если веса лежат в обычной памяти, скорость декодирования не может превысить пропускную способность памяти, делённую на размер модели. Подробнее →
Вычисления в памяти CIM, compute-in-memory
Схемотехнический приём, при котором операции умножения с накоплением выполняются внутри массива памяти, так что веса не покидают ячейки хранения. Подробнее →
Вычисления в памяти на MaskROM
Вычисления в памяти, при которых веса на этапе изготовления масок формируются в массиве переходных отверстий, доступном только для чтения. Наименьшие потребление и предельная стоимость; модель фиксирована. Подробнее →
Вычисления в памяти на SRAM SRAM CIM
Вычисления в памяти на ячейках SRAM. Веса загружаются при включении, поэтому модель можно заменить в эксплуатации. Подробнее →
Вычисления рядом с памятью NMC, near-memory computing
Вычислительные блоки, размещённые вплотную к быстрой памяти, с потоковой передачей на кристалле, чтобы пути данных оставались короткими. Подходит для больших моделей, которые ещё меняются. Подробнее →
Инференс на устройстве edge-инференс
Исполнение модели на устройстве, где возникают данные, а не в дата-центре. Работает без сети, и данные остаются на устройстве. Подробнее →
NPU нейропроцессор
Ускоритель нейросетей внутри чипа смартфона или ПК. Он делит системную память, поэтому для LLM упирается в то же ограничение по пропускной способности, что и CPU. Подробнее →
TOPS
Триллионы операций в секунду, мера чистой арифметической производительности. О памяти она ничего не говорит и потому плохо предсказывает скорость декодирования LLM. Подробнее →
Квантование
Хранение весов с пониженной точностью, например в виде 8-битных или 4-битных целых вместо 16-битных чисел с плавающей запятой. Уменьшает модель и ускоряет инференс, при очень низкой точности с потерей качества.
Tape-out
Момент, когда готовый проект чипа передают на фабрику для изготовления. Это фиксированные затраты, поэтому специализированным чипам нужен объём. Подробнее →
Комплект масок
Набор фотошаблонов, задающих каждый слой чипа. В конструкции на MaskROM веса модели входят в комплект масок. Подробнее →
Прототипирование на FPGA
Запуск проекта чипа на перепрограммируемой логике до tape-out, чтобы проверить функции и производительность на реальных моделях и данных. Подробнее →
IP-ядро инференса
Лицензируемый блок проекта чипа, исполняющий определённый класс архитектур моделей; заказчик встраивает его в собственный ASIC, SoC или FPGA. Подробнее →
Гибридное внимание
Архитектура модели, в которой слои с линейным вниманием чередуются со слоями полного внимания, как в Qwen3.5 и более новых версиях. Снижает стоимость длинных контекстов и сохраняет точность. Подробнее →
Линейное внимание
Механизм внимания, затраты которого растут линейно с длиной последовательности и который хранит состояние фиксированного размера; подходит для потоковой обработки и длинных контекстов. Подробнее →
Смесь экспертов MoE, mixture of experts
Модель, в которой для каждого токена активна только часть весов — выбранные эксперты. Позволяет большой модели работать в пределах ограниченной пропускной способности. Подробнее →
Техпроцесс технологический узел
Поколение технологии изготовления чипа, например 28 нм или 6 нм. Более тонкие нормы вмещают больше транзисторов; зрелые нормы дают меньшую стоимость и более предсказуемые поставки.

Есть конкретный проект для обсуждения?

Пришлите целевую модель и цели по производительности и потреблению. Мы ответим с предложением маршрута и планом оценки.

Запросить оценочный комплект