Перейти к содержимому

Taalas HC1 · характеристики Taalas HC1 · зашитая Llama 3.1 8B · model-on-chip · ASIC для инференса LLM

Taalas HC1: характеристики, скорость, ограничения и что это значит для устройств

Инженерная команда Fanshi Semiconductor · Опубликовано

Taalas HC1 — чип для инференса в дата-центрах, анонсированный в феврале 2026 года; в его кремнии зашита одна модель, Llama 3.1 8B. Компания заявляет почти 17 000 токенов в секунду на пользователя против примерно 230 на NVIDIA H200 для той же модели. Среди опубликованных данных — техпроцесс TSMC 6 нм, кристалл 815 мм² и около 53 миллиардов транзисторов. Плата за это: одна модель на чип, агрессивное 3- и 6-битное квантование в первом кремнии и серверы мощностью около 2,5 кВт. Это облачный продукт; устройствам нужна та же идея при мощности от одного ватта до нескольких десятков ватт.

Что такое HC1

HC1 — первый чип компании Taalas, анонсированный в феврале 2026 года. Вместо того чтобы загружать модель в память и исполнять её на универсальном железе, в нём одна модель, Llama 3.1 8B, встроена в сам чип. Такой подход называют model-on-chip или «зашитой» LLM.

Fanshi Semiconductor не связана с Taalas. На этой странице собрано то, что было опубликовано, источники приведены в конце: HC1 — самый наглядный публичный ориентир для этого подхода.

Опубликованные цифры

ПараметрОпубликованное значениеИсточник
МодельLlama 3.1 8B, зашита в чипTaalas, по данным CNX Software и heise
СкоростьПочти 17 000 токенов/с на пользователяДанные производителя
ТехпроцессTSMC 6 nmCNX Software, heise
Площадь кристалла815 mm²CNX Software, heise
ТранзисторыОколо 53 миллиардовCNX Software, heise
Точность3- и 6-битные параметры в первом кремнииTaalas, по данным heise
ГибкостьАдаптеры LoRA и настраиваемый размер контекстаCNX Software
РазвёртываниеСерверы мощностью около 2,5 кВтCNX Software
Та же модель на NVIDIA H200Около 230 токенов/с на пользователяЭталон Nvidia, цитирует heise
Та же модель у CerebrasОколо 1 900 токенов/сArtificial Analysis, цитирует heise
Та же модель у GroqОколо 600 токенов/сArtificial Analysis, цитирует heise

Цифры приведены в том виде, в каком опубликованы в 2026 году. Скорость HC1 — данные производителя; значения для Cerebras и Groq получены независимым сервисом сравнения.

Откуда берётся скорость

Чтобы сгенерировать один токен, нужны все веса модели. На GPU веса лежат в памяти, и их приходится доставать для каждого токена, поэтому предел задаётся скоростью, с которой память их отдаёт. HC1 убирает этот шаг: веса являются частью схемы, перемещать нечего.

Поэтому выигрыш так велик для небольшой модели. Модель 8B на современном железе ограничена не вычислениями, а перемещением данных. Уберите перемещение, и та же арифметика выполняется в десятки раз быстрее.

Ограничения

  • Одна модель на чип. Другая модель означает другой чип. Адаптеры и размер контекста настраиваются, базовые веса нет.
  • Квантование. По словам самой компании, первый кремний использует 3- и 6-битные параметры, что несколько снижает качество относительно эталона на GPU.
  • Данные производителя. Главную цифру скорости сообщила сама компания. Прежде чем на неё опираться, проверьте, есть ли независимые измерения.
  • Это деталь для дата-центра. Серверы мощностью около 2,5 кВт не помещаются ни в одно изделие.

Что это значит для устройств

HC1 показывает, что фиксация весов на месте работает в большом масштабе. Проблему устройств он не решает: у переводчика, автомобильного модуля или робота есть от одного ватта до нескольких десятков ватт, а не киловатты, и стоимость комплектующих не выдержит чипа такого размера на передовом техпроцессе.

Встраиваемые чипы применяют тот же принцип при других ограничениях: модели меньше, техпроцессы зрелые, а веса можно хранить тремя способами. Вычисления в памяти на MaskROM фиксируют их при изготовлении, вычисления в памяти на SRAM загружают их при включении, а вычисления рядом с памятью держат их во внешней памяти, где их можно обновлять.

Fanshi делает такие чипы на SMIC 28 нм. Опубликованные цифры — проектные цели, а не измерения: Forge нацелен на 17 000 token/s на Qwen 3.5 0.8B в устройстве ваттного класса, а Trident — на 15 000 token/s на моделях до Qwen 3.5 35B при системном бюджете 70 Вт.

Частые вопросы

Что такое Taalas HC1?

Чип для инференса в дата-центрах, анонсированный в феврале 2026 года, в кремнии которого зашита модель Llama 3.1 8B. Компания заявляет почти 17 000 токенов в секунду на пользователя.

Насколько Taalas HC1 быстрее GPU?

Taalas заявляет почти 17 000 токенов в секунду на пользователя на Llama 3.1 8B. Пресса приводит около 230 токенов в секунду на пользователя для той же модели на NVIDIA H200. Значение для HC1 — данные производителя.

Может ли Taalas HC1 исполнять другие модели?

Нет. Базовая модель зафиксирована в чипе. По сообщениям прессы, он поддерживает адаптеры LoRA и настраиваемый размер контекста, но для другой базовой модели нужен другой чип.

Можно ли использовать Taalas HC1 в конечном устройстве?

Нет. Он рассчитан на серверы мощностью около 2,5 кВт. В устройствах используют чипы для инференса с вычислениями в памяти или рядом с памятью, рассчитанные на мощность от одного ватта до нескольких десятков ватт.

Связана ли Fanshi с Taalas?

Нет. Fanshi Semiconductor не аффилирована с Taalas и не является её партнёром. Taalas делает ускорители для дата-центров, Fanshi — чипы и IP для конечных устройств.

Источники

  1. heise online: AI inference cast in silicon: Taalas announces HC1 chip
  2. CNX Software: Taalas HC1 hardwired Llama-3.1 8B AI accelerator delivers up to 17,000 tokens/s

Примените этот вопрос к своему проекту

Пришлите целевую модель и цели по производительности и потреблению. Мы ответим с предложением маршрута и планом оценки.

Запросить оценочный комплект