Перейти к содержимому

ASIC для инференса LLM · сравнение чипов для инференса ИИ · Taalas HC1 · Etched Sohu · Cerebras · Groq LPU

ASIC для инференса LLM: сравнение пяти архитектур чипов в 2026 году

Инженерная команда Fanshi Semiconductor · Опубликовано

Железо для инференса LLM сегодня делится на пять архитектур: универсальные GPU, процессоры размером с пластину, языковые процессоры, ASIC только для трансформеров и решения model-on-chip, фиксирующие одну модель в кремнии. Они различаются тем, сколько гибкости отдано ради скорости. Заявленные скорости для одной и той же модели 8B лежат в диапазоне от примерно 230 токенов в секунду на пользователя на NVIDIA H200 до примерно 17 000 на Taalas HC1 с зашитой моделью. Но в этих цифрах смешаны заявления производителей и независимые измерения, и напрямую сравнивать их нельзя. Все пять — продукты для дата-центров; устройствам нужен другой класс чипов.

Почему у инференса появляется собственный кремний

GPU может обучать модель, исполнять любую модель и рисовать графику. Инференсу нужно гораздо меньше: одна и та же фиксированная последовательность матричных операций, повторяемая для каждого токена. Каждый сгенерированный токен требует прочитать все веса модели, поэтому предел обычно определяется тем, как быстро веса доходят до вычислительных блоков, а не скоростью арифметики.

По мере того как расходы на инференс обгоняют расходы на обучение, производители меняют универсальность на скорость и эффективность. Пять архитектур ниже лежат на этой линии: чем ниже в таблице, тем меньше чип умеет и тем быстрее это делает.

Пять архитектур вкратце

АрхитектураПубличный примерОсновная идеяПублично заявленная скоростьГибкость
Универсальный GPUNVIDIA H200Программируемые параллельные вычисления, веса в быстрой памяти рядомОколо 230 токенов/с на пользователя на Llama 3.1 8B (эталон Nvidia, цитирует heise)Любая модель; обучение и инференс
Процессор размером с пластинуCerebras WSE-3Один чип размером с пластину, память на том же кремнииОколо 1 900 токенов/с на Llama 3.1 8B (Artificial Analysis, цитирует heise)Любая поддерживаемая модель
Языковой процессорGroq LPUПроцессор только для инференса, порядок исполнения задаёт компиляторОколо 600 токенов/с на Llama 3.1 8B (Artificial Analysis, цитирует heise)Любая поддерживаемая модель
ASIC только для трансформеровEtched SohuТракт данных трансформера зафиксирован в кремнии; веса остаются в памяти, поэтому модель можно менятьЗаявление производителя: более 500 000 токенов/с суммарно на Llama 70B для сервера из 8 чипов; на середину 2026 года независимых тестов не опубликованоТолько модели-трансформеры
Model-on-chipTaalas HC1Веса одной модели зашиты в чип, во время работы ничего не подгружаетсяОколо 17 000 токенов/с на пользователя на Llama 3.1 8B (данные производителя)Одна модель на чип; адаптеры и размер контекста настраиваются

Цифры приведены по заявлениям производителей или публикациям прессы за 2026 год; модели, размеры пакета и условия тестов различаются. Скорость на пользователя и суммарная пропускная способность сервера — разные метрики. Источники указаны в конце.

О чём цифры умалчивают

Скорость на пользователя и суммарная пропускная способность — не одно и то же. Значение вроде 17 000 токенов в секунду на пользователя описывает, как быстро идёт один диалог. Значение вроде 500 000 токенов в секунду для сервера складывает множество одновременных диалогов. Не зная размера пакета, одно в другое не пересчитать.

Размер модели и точность меняют всё. Модель 8B и модель 70B — разные нагрузки, а чип, хранящий веса в 3 или 4 битах, делает не ту же работу, что чип с 8-битными или 16-битными весами. В Taalas сообщили, что первый кремний сочетает 3-битные и 6-битные параметры с некоторой потерей качества относительно эталонов на GPU.

Наконец, проверьте, кто измерял. Часть цифр в таблице взята у независимого сервиса сравнения, часть из анонса производителя, а одна не подтверждена третьей стороной вовсе. Потребление, цена и доступность в анонсах часто отсутствуют совсем.

Все пять — ответы для дата-центра

Каждый чип из таблицы стоит в стойке. Система размером с пластину рассеивает киловатты; Taalas HC1 рассчитан на серверы мощностью около 2,5 кВт; остальные работают в стандартных серверах с ускорителями. Ни один не поместится в переводчик, автомобиль, робота или промышленную камеру.

Устройствам нужна та же идея — веса, которые не перемещаются, — но при мощности от одного ватта до нескольких десятков ватт и на цепочке поставок, способной отгружать серийные объёмы. Это шестой класс: чипы для инференса на устройстве, построенные на вычислениях в памяти и вычислениях рядом с памятью.

Fanshi Semiconductor работает в этом классе на зрелом техпроцессе SMIC 28 нм. Forge использует вычисления в памяти на MaskROM для устройств ваттного класса с Qwen 3.5 0.8B. Trident использует вычисления рядом с памятью для моделей до Qwen 3.5 35B при системном бюджете 70 Вт, причём веса можно обновлять. Argus использует вычисления в памяти на SRAM для машинного зрения в реальном времени. Все цифры Fanshi — проектные цели.

Как выбирать

  • Модель меняется каждые несколько недель, или вы ещё и обучаете: оставайтесь на GPU.
  • Вы обслуживаете из дата-центра много пользователей несколькими популярными моделями: сервисы на процессорах размером с пластину, LPU и ASIC для трансформеров стоит протестировать на собственных запросах.
  • Основную часть трафика несёт одна устоявшаяся модель: ускоритель model-on-chip меняет гибкость на самую высокую скорость на пользователя.
  • Модель должна работать внутри устройства, без сети, при фиксированном бюджете мощности: смотрите на встраиваемые чипы с вычислениями в памяти или рядом с памятью.

Частые вопросы

Что такое ASIC для инференса LLM?

ASIC для инференса LLM — это чип, спроектированный только для исполнения больших языковых моделей, но не для их обучения. Отказываясь от универсальности GPU, он убирает накладные расходы, главным образом на перенос весов из памяти к вычислительным блокам, и даёт больше токенов в секунду на ватт.

Какой чип для инференса LLM самый быстрый?

По скорости на пользователя для небольшой модели наибольшее публичное значение у Taalas HC1: около 17 000 токенов в секунду на Llama 3.1 8B, по заявлению компании. Etched заявляет наибольшую суммарную пропускную способность сервера. Эти цифры получены на разных моделях и по разным метрикам, и не все подтверждены независимо.

Заменяют ли ASIC для инференса графические процессоры?

Нет. Обучению, исследованиям и редко используемым моделям по-прежнему нужно универсальное железо. ASIC для инференса уместны там, где модель определена, а объём очень велик или бюджет мощности очень жёсткий.

Может ли ASIC для инференса LLM работать внутри устройства?

Решения для дата-центров не могут: они потребляют от сотен ватт до киловатт. Чипы для инференса на устройстве, построенные на вычислениях в памяти или рядом с памятью, рассчитаны на мощность от одного ватта до нескольких десятков ватт и сделаны для устройств.

Источники

  1. heise online: AI inference cast in silicon: Taalas announces HC1 chip
  2. CNX Software: Taalas HC1 hardwired Llama-3.1 8B AI accelerator delivers up to 17,000 tokens/s
  3. Fast.io: Etched AI Review 2026: Sohu Chip Specs, Benchmarks, and What Actually Ships

Примените этот вопрос к своему проекту

Пришлите целевую модель и цели по производительности и потреблению. Мы ответим с предложением маршрута и планом оценки.

Запросить оценочный комплект