ASIC для инференса LLM · сравнение чипов для инференса ИИ · Taalas HC1 · Etched Sohu · Cerebras · Groq LPU
ASIC для инференса LLM: сравнение пяти архитектур чипов в 2026 году
Инженерная команда Fanshi Semiconductor · Опубликовано

Железо для инференса LLM сегодня делится на пять архитектур: универсальные GPU, процессоры размером с пластину, языковые процессоры, ASIC только для трансформеров и решения model-on-chip, фиксирующие одну модель в кремнии. Они различаются тем, сколько гибкости отдано ради скорости. Заявленные скорости для одной и той же модели 8B лежат в диапазоне от примерно 230 токенов в секунду на пользователя на NVIDIA H200 до примерно 17 000 на Taalas HC1 с зашитой моделью. Но в этих цифрах смешаны заявления производителей и независимые измерения, и напрямую сравнивать их нельзя. Все пять — продукты для дата-центров; устройствам нужен другой класс чипов.
Почему у инференса появляется собственный кремний
GPU может обучать модель, исполнять любую модель и рисовать графику. Инференсу нужно гораздо меньше: одна и та же фиксированная последовательность матричных операций, повторяемая для каждого токена. Каждый сгенерированный токен требует прочитать все веса модели, поэтому предел обычно определяется тем, как быстро веса доходят до вычислительных блоков, а не скоростью арифметики.
По мере того как расходы на инференс обгоняют расходы на обучение, производители меняют универсальность на скорость и эффективность. Пять архитектур ниже лежат на этой линии: чем ниже в таблице, тем меньше чип умеет и тем быстрее это делает.
Пять архитектур вкратце
| Архитектура | Публичный пример | Основная идея | Публично заявленная скорость | Гибкость |
|---|---|---|---|---|
| Универсальный GPU | NVIDIA H200 | Программируемые параллельные вычисления, веса в быстрой памяти рядом | Около 230 токенов/с на пользователя на Llama 3.1 8B (эталон Nvidia, цитирует heise) | Любая модель; обучение и инференс |
| Процессор размером с пластину | Cerebras WSE-3 | Один чип размером с пластину, память на том же кремнии | Около 1 900 токенов/с на Llama 3.1 8B (Artificial Analysis, цитирует heise) | Любая поддерживаемая модель |
| Языковой процессор | Groq LPU | Процессор только для инференса, порядок исполнения задаёт компилятор | Около 600 токенов/с на Llama 3.1 8B (Artificial Analysis, цитирует heise) | Любая поддерживаемая модель |
| ASIC только для трансформеров | Etched Sohu | Тракт данных трансформера зафиксирован в кремнии; веса остаются в памяти, поэтому модель можно менять | Заявление производителя: более 500 000 токенов/с суммарно на Llama 70B для сервера из 8 чипов; на середину 2026 года независимых тестов не опубликовано | Только модели-трансформеры |
| Model-on-chip | Taalas HC1 | Веса одной модели зашиты в чип, во время работы ничего не подгружается | Около 17 000 токенов/с на пользователя на Llama 3.1 8B (данные производителя) | Одна модель на чип; адаптеры и размер контекста настраиваются |
Цифры приведены по заявлениям производителей или публикациям прессы за 2026 год; модели, размеры пакета и условия тестов различаются. Скорость на пользователя и суммарная пропускная способность сервера — разные метрики. Источники указаны в конце.
О чём цифры умалчивают
Скорость на пользователя и суммарная пропускная способность — не одно и то же. Значение вроде 17 000 токенов в секунду на пользователя описывает, как быстро идёт один диалог. Значение вроде 500 000 токенов в секунду для сервера складывает множество одновременных диалогов. Не зная размера пакета, одно в другое не пересчитать.
Размер модели и точность меняют всё. Модель 8B и модель 70B — разные нагрузки, а чип, хранящий веса в 3 или 4 битах, делает не ту же работу, что чип с 8-битными или 16-битными весами. В Taalas сообщили, что первый кремний сочетает 3-битные и 6-битные параметры с некоторой потерей качества относительно эталонов на GPU.
Наконец, проверьте, кто измерял. Часть цифр в таблице взята у независимого сервиса сравнения, часть из анонса производителя, а одна не подтверждена третьей стороной вовсе. Потребление, цена и доступность в анонсах часто отсутствуют совсем.
Все пять — ответы для дата-центра
Каждый чип из таблицы стоит в стойке. Система размером с пластину рассеивает киловатты; Taalas HC1 рассчитан на серверы мощностью около 2,5 кВт; остальные работают в стандартных серверах с ускорителями. Ни один не поместится в переводчик, автомобиль, робота или промышленную камеру.
Устройствам нужна та же идея — веса, которые не перемещаются, — но при мощности от одного ватта до нескольких десятков ватт и на цепочке поставок, способной отгружать серийные объёмы. Это шестой класс: чипы для инференса на устройстве, построенные на вычислениях в памяти и вычислениях рядом с памятью.
Fanshi Semiconductor работает в этом классе на зрелом техпроцессе SMIC 28 нм. Forge использует вычисления в памяти на MaskROM для устройств ваттного класса с Qwen 3.5 0.8B. Trident использует вычисления рядом с памятью для моделей до Qwen 3.5 35B при системном бюджете 70 Вт, причём веса можно обновлять. Argus использует вычисления в памяти на SRAM для машинного зрения в реальном времени. Все цифры Fanshi — проектные цели.
Как выбирать
- Модель меняется каждые несколько недель, или вы ещё и обучаете: оставайтесь на GPU.
- Вы обслуживаете из дата-центра много пользователей несколькими популярными моделями: сервисы на процессорах размером с пластину, LPU и ASIC для трансформеров стоит протестировать на собственных запросах.
- Основную часть трафика несёт одна устоявшаяся модель: ускоритель model-on-chip меняет гибкость на самую высокую скорость на пользователя.
- Модель должна работать внутри устройства, без сети, при фиксированном бюджете мощности: смотрите на встраиваемые чипы с вычислениями в памяти или рядом с памятью.
Частые вопросы
Что такое ASIC для инференса LLM?
ASIC для инференса LLM — это чип, спроектированный только для исполнения больших языковых моделей, но не для их обучения. Отказываясь от универсальности GPU, он убирает накладные расходы, главным образом на перенос весов из памяти к вычислительным блокам, и даёт больше токенов в секунду на ватт.
Какой чип для инференса LLM самый быстрый?
По скорости на пользователя для небольшой модели наибольшее публичное значение у Taalas HC1: около 17 000 токенов в секунду на Llama 3.1 8B, по заявлению компании. Etched заявляет наибольшую суммарную пропускную способность сервера. Эти цифры получены на разных моделях и по разным метрикам, и не все подтверждены независимо.
Заменяют ли ASIC для инференса графические процессоры?
Нет. Обучению, исследованиям и редко используемым моделям по-прежнему нужно универсальное железо. ASIC для инференса уместны там, где модель определена, а объём очень велик или бюджет мощности очень жёсткий.
Может ли ASIC для инференса LLM работать внутри устройства?
Решения для дата-центров не могут: они потребляют от сотен ватт до киловатт. Чипы для инференса на устройстве, построенные на вычислениях в памяти или рядом с памятью, рассчитаны на мощность от одного ватта до нескольких десятков ватт и сделаны для устройств.



