Перейти к содержимому

model-on-chip · чип с зашитой LLM · ASIC под конкретную модель · Taalas HC1 · чип для LLM на устройстве

Model-on-chip: ASIC с «зашитой» LLM, облако и устройства

Инженерная команда Fanshi Semiconductor · Опубликовано

ASIC под конкретную модель, который ещё называют чипом с «зашитой» LLM, фиксирует веса одной большой языковой модели в кремнии при изготовлении. При инференсе веса больше не нужно доставать из памяти, поэтому скорость декодирования и энергоэффективность могут быть на порядки выше, чем у универсального GPU. Плата за это: модель нельзя свободно заменить. Таких чипов два вида. Облачные нацелены на токены в секунду на стойку и стоимость токена, встраиваемые — на потребление в единицы ватт, работу без сети и стоимость устройства.

Что на самом деле значит «зашитая»

Универсальный GPU — машина, способная исполнять любую модель: веса лежат в памяти и считываются один раз на каждый сгенерированный токен. ASIC под конкретную модель устроен наоборот. Модель выбирают на этапе проектирования, а её веса записывают в масочное ПЗУ или в слои металлизации, и они становятся частью чипа. Когда чип выходит с фабрики, модель уже внутри.

Так исчезает самый дорогой шаг инференса — перемещение весов. Вычислительные блоки перестают ждать данные, пропускная способность перестаёт быть потолком, а основная часть энергии больше не уходит на пересылку.

Почему это происходит сейчас

Идею превратили в продукты два обстоятельства. Во-первых, семейства моделей стали структурно стабильными: новая версия часто сохраняет устройство слоёв предыдущей, поэтому архитектуру чипа, созданную под одну модель, можно перенести на следующую. Во-вторых, счета за инференс продолжают расти. Цена токена и стоимость электроэнергии подталкивают отрасль к специализированному железу для тех немногих моделей, которые используются чаще всего.

GPU это не заменяет. Обучению, исследованиям и редко используемым моделям по-прежнему нужно универсальное железо. ASIC под конкретную модель уместен там, где модель определена, а объём очень велик или бюджет мощности очень жёсткий.

У облака и устройств разные цели

Облачный чип такого рода стоит в дата-центре, и сравнивают его с GPU-серверами: по токенам в секунду на стойку и долларам за миллион токенов. Обычно он использует более передовой техпроцесс и потребляет сотни ватт.

Встраиваемый чип находится внутри устройства: переводчика, автомобиля, робота, промышленной камеры. Здесь важно, укладывается ли он в диапазон от одного ватта до нескольких десятков ватт, работает ли без сети и насколько увеличивает стоимость комплектующих. Данные не покидают устройство, а в изолированных контурах и там, где важна конфиденциальность, это жёсткое требование.

Fanshi Semiconductor делает встраиваемый вариант. На зрелой цепочке поставок SMIC 28 нм компания предлагает три пути: вычисления в памяти на MaskROM, вычисления в памяти на SRAM и вычисления рядом с памятью, от носимых устройств ваттного класса до высоконагруженных узлов для моделей 35B. Все цифры на сайте — проектные цели.

Публичный ориентир: Taalas HC1

Самый наглядный публичный пример — Taalas HC1, анонсированный в феврале 2026 года. По данным компании и прессы, в нём Llama 3.1 8B зашита в один ASIC примерно из 53 миллиардов транзисторов, изготовленный по техпроцессу TSMC 6 нм на кристалле 815 мм², и он генерирует почти 17 000 токенов в секунду на пользователя. Для той же модели публикации приводят около 230 токенов в секунду на NVIDIA H200 и около 1 900 у Cerebras в независимых тестах.

Для оценки подхода важны две детали. По словам самой компании, первый кремний агрессивно квантован: в нём сочетаются 3-битные и 6-битные параметры, что несколько снижает качество ответов относительно эталона на GPU. И это продукт для дата-центра, рассчитанный на серверы мощностью около 2,5 кВт, а не то, что помещается в устройство.

Встраиваемый вариант применяет ту же идею — веса, которые не перемещаются, — на зрелом техпроцессе и к моделям, рассчитанным на мощность от одного ватта до нескольких десятков ватт.

О чём спросить поставщика

Первое: что происходит при смене модели — новые маски, перезагрузка или обновление внешней памяти? Может ли более новая модель того же семейства использовать существующую архитектуру? Второе: опубликованные цифры измерены или это проектные цели, и для какой модели, точности и условий теста они приведены? Третье: можно ли до tape-out получить оценочную плату и запустить на ней свою модель на своих данных? Четвёртое: насколько предсказуемы техпроцесс и цепочка поставок и что определяет срок поставки?

Если вы оцениваете такой чип для устройства, страница описания проекта на сайте Fanshi займёт две минуты: укажите модель, устройство, бюджет мощности и объём, и инженерная команда ответит по вашему проекту.

Частые вопросы

Можно ли обновить модель в чипе с зашитой LLM?

Зависит от того, где находятся веса. В масочном ПЗУ веса входят в комплект масок, поэтому новая модель означает новые маски; при этом некоторые конструкции допускают настройку через адаптеры и изменяемое окно контекста. При вычислениях в памяти на SRAM веса загружаются при включении и могут быть заменены. При вычислениях рядом с памятью они лежат во внешней памяти и обновляются как прошивка.

Model-on-chip и вычисления в памяти — одно и то же?

Понятия пересекаются, но не совпадают. Model-on-chip описывает продуктовое решение: одна модель зафиксирована в кремнии. Вычисления в памяти описывают схемотехнику: арифметика выполняется внутри массива памяти. Чип на масочном ПЗУ, считающий в массиве, относится к обоим; чип с вычислениями в памяти на SRAM — это вычисления в памяти без фиксированной модели.

Насколько быстр чип с зашитой LLM?

Публичный ориентир — Taalas HC1: по заявлению компании, почти 17 000 токенов в секунду на пользователя на Llama 3.1 8B. Это цифра производителя для одной модели при определённом квантовании. Для любого чипа уточняйте, измерено значение или это проектная цель, и для какой модели и точности оно указано.

Связана ли Fanshi с Taalas?

Нет. Fanshi Semiconductor не аффилирована с Taalas и не является её партнёром. У компаний общее техническое направление в широком смысле; Taalas делает ускорители для дата-центров, Fanshi — чипы и IP для конечных устройств.

Источники

  1. heise online: AI inference cast in silicon: Taalas announces HC1 chip
  2. CNX Software: Taalas HC1 hardwired Llama-3.1 8B AI accelerator delivers up to 17,000 tokens/s

Примените этот вопрос к своему проекту

Пришлите целевую модель и цели по производительности и потреблению. Мы ответим с предложением маршрута и планом оценки.

Запросить оценочный комплект