model-on-chip · чип с зашитой LLM · ASIC под конкретную модель · Taalas HC1 · чип для LLM на устройстве
Model-on-chip: ASIC с «зашитой» LLM, облако и устройства
Инженерная команда Fanshi Semiconductor · Опубликовано

ASIC под конкретную модель, который ещё называют чипом с «зашитой» LLM, фиксирует веса одной большой языковой модели в кремнии при изготовлении. При инференсе веса больше не нужно доставать из памяти, поэтому скорость декодирования и энергоэффективность могут быть на порядки выше, чем у универсального GPU. Плата за это: модель нельзя свободно заменить. Таких чипов два вида. Облачные нацелены на токены в секунду на стойку и стоимость токена, встраиваемые — на потребление в единицы ватт, работу без сети и стоимость устройства.
Что на самом деле значит «зашитая»
Универсальный GPU — машина, способная исполнять любую модель: веса лежат в памяти и считываются один раз на каждый сгенерированный токен. ASIC под конкретную модель устроен наоборот. Модель выбирают на этапе проектирования, а её веса записывают в масочное ПЗУ или в слои металлизации, и они становятся частью чипа. Когда чип выходит с фабрики, модель уже внутри.
Так исчезает самый дорогой шаг инференса — перемещение весов. Вычислительные блоки перестают ждать данные, пропускная способность перестаёт быть потолком, а основная часть энергии больше не уходит на пересылку.
Почему это происходит сейчас
Идею превратили в продукты два обстоятельства. Во-первых, семейства моделей стали структурно стабильными: новая версия часто сохраняет устройство слоёв предыдущей, поэтому архитектуру чипа, созданную под одну модель, можно перенести на следующую. Во-вторых, счета за инференс продолжают расти. Цена токена и стоимость электроэнергии подталкивают отрасль к специализированному железу для тех немногих моделей, которые используются чаще всего.
GPU это не заменяет. Обучению, исследованиям и редко используемым моделям по-прежнему нужно универсальное железо. ASIC под конкретную модель уместен там, где модель определена, а объём очень велик или бюджет мощности очень жёсткий.
У облака и устройств разные цели
Облачный чип такого рода стоит в дата-центре, и сравнивают его с GPU-серверами: по токенам в секунду на стойку и долларам за миллион токенов. Обычно он использует более передовой техпроцесс и потребляет сотни ватт.
Встраиваемый чип находится внутри устройства: переводчика, автомобиля, робота, промышленной камеры. Здесь важно, укладывается ли он в диапазон от одного ватта до нескольких десятков ватт, работает ли без сети и насколько увеличивает стоимость комплектующих. Данные не покидают устройство, а в изолированных контурах и там, где важна конфиденциальность, это жёсткое требование.
Fanshi Semiconductor делает встраиваемый вариант. На зрелой цепочке поставок SMIC 28 нм компания предлагает три пути: вычисления в памяти на MaskROM, вычисления в памяти на SRAM и вычисления рядом с памятью, от носимых устройств ваттного класса до высоконагруженных узлов для моделей 35B. Все цифры на сайте — проектные цели.
Публичный ориентир: Taalas HC1
Самый наглядный публичный пример — Taalas HC1, анонсированный в феврале 2026 года. По данным компании и прессы, в нём Llama 3.1 8B зашита в один ASIC примерно из 53 миллиардов транзисторов, изготовленный по техпроцессу TSMC 6 нм на кристалле 815 мм², и он генерирует почти 17 000 токенов в секунду на пользователя. Для той же модели публикации приводят около 230 токенов в секунду на NVIDIA H200 и около 1 900 у Cerebras в независимых тестах.
Для оценки подхода важны две детали. По словам самой компании, первый кремний агрессивно квантован: в нём сочетаются 3-битные и 6-битные параметры, что несколько снижает качество ответов относительно эталона на GPU. И это продукт для дата-центра, рассчитанный на серверы мощностью около 2,5 кВт, а не то, что помещается в устройство.
Встраиваемый вариант применяет ту же идею — веса, которые не перемещаются, — на зрелом техпроцессе и к моделям, рассчитанным на мощность от одного ватта до нескольких десятков ватт.
О чём спросить поставщика
Первое: что происходит при смене модели — новые маски, перезагрузка или обновление внешней памяти? Может ли более новая модель того же семейства использовать существующую архитектуру? Второе: опубликованные цифры измерены или это проектные цели, и для какой модели, точности и условий теста они приведены? Третье: можно ли до tape-out получить оценочную плату и запустить на ней свою модель на своих данных? Четвёртое: насколько предсказуемы техпроцесс и цепочка поставок и что определяет срок поставки?
Если вы оцениваете такой чип для устройства, страница описания проекта на сайте Fanshi займёт две минуты: укажите модель, устройство, бюджет мощности и объём, и инженерная команда ответит по вашему проекту.
Частые вопросы
Можно ли обновить модель в чипе с зашитой LLM?
Зависит от того, где находятся веса. В масочном ПЗУ веса входят в комплект масок, поэтому новая модель означает новые маски; при этом некоторые конструкции допускают настройку через адаптеры и изменяемое окно контекста. При вычислениях в памяти на SRAM веса загружаются при включении и могут быть заменены. При вычислениях рядом с памятью они лежат во внешней памяти и обновляются как прошивка.
Model-on-chip и вычисления в памяти — одно и то же?
Понятия пересекаются, но не совпадают. Model-on-chip описывает продуктовое решение: одна модель зафиксирована в кремнии. Вычисления в памяти описывают схемотехнику: арифметика выполняется внутри массива памяти. Чип на масочном ПЗУ, считающий в массиве, относится к обоим; чип с вычислениями в памяти на SRAM — это вычисления в памяти без фиксированной модели.
Насколько быстр чип с зашитой LLM?
Публичный ориентир — Taalas HC1: по заявлению компании, почти 17 000 токенов в секунду на пользователя на Llama 3.1 8B. Это цифра производителя для одной модели при определённом квантовании. Для любого чипа уточняйте, измерено значение или это проектная цель, и для какой модели и точности оно указано.
Связана ли Fanshi с Taalas?
Нет. Fanshi Semiconductor не аффилирована с Taalas и не является её партнёром. У компаний общее техническое направление в широком смысле; Taalas делает ускорители для дата-центров, Fanshi — чипы и IP для конечных устройств.



