Aller au contenu

ASIC d'inférence LLM · comparatif puces d'inférence IA · Taalas HC1 · Etched Sohu · Cerebras · Groq LPU

ASIC d'inférence LLM : cinq architectures de puces comparées en 2026

Équipe d'ingénierie Fanshi Semiconductor · Publié le

Le matériel d'inférence LLM se répartit aujourd'hui en cinq architectures : les GPU généralistes, les moteurs à l'échelle de la tranche, les unités de traitement du langage, les ASIC réservés aux transformers et les conceptions model-on-chip, qui figent un modèle dans le silicium. Elles diffèrent par la part de flexibilité sacrifiée à la vitesse. Pour un même modèle 8B, les vitesses annoncées vont d'environ 230 tokens par seconde par utilisateur sur un NVIDIA H200 à environ 17 000 sur un Taalas HC1 câblé, mais ces chiffres mêlent annonces de fabricants et mesures indépendantes et ne sont pas directement comparables. Toutes les cinq sont des produits de centre de données ; les appareils demandent une autre classe de puce.

Pourquoi l'inférence obtient son propre silicium

Un GPU peut entraîner un modèle, exécuter n'importe quel modèle et calculer des images. L'inférence demande bien moins : la même suite fixe d'opérations matricielles, répétée pour chaque token. Chaque token généré impose de lire tous les poids du modèle ; la limite est donc en général la vitesse à laquelle les poids atteignent les unités de calcul, pas celle de l'arithmétique.

À mesure que la facture d'inférence dépasse celle de l'entraînement, les fabricants échangent de la généralité contre de la vitesse et de l'efficacité. Les cinq architectures ci-dessous s'alignent sur cet axe : plus on descend dans le tableau, moins la puce sait faire de choses et plus elle les fait vite.

Les cinq architectures en un coup d'œil

ArchitectureExemple publicIdée centraleVitesse annoncée publiquementFlexibilité
GPU généralisteNVIDIA H200Calcul parallèle programmable, poids dans une mémoire à haut débit placée à côtéEnviron 230 tokens/s par utilisateur sur Llama 3.1 8B (référence Nvidia, citée par heise)Tout modèle ; entraînement et inférence
Moteur à l'échelle de la trancheCerebras WSE-3Une puce de la taille d'une tranche, la mémoire sur le même siliciumEnviron 1 900 tokens/s sur Llama 3.1 8B (Artificial Analysis, cité par heise)Tout modèle pris en charge
Unité de traitement du langageGroq LPUProcesseur réservé à l'inférence, dont l'exécution est ordonnancée par le compilateurEnviron 600 tokens/s sur Llama 3.1 8B (Artificial Analysis, cité par heise)Tout modèle pris en charge
ASIC réservé aux transformersEtched SohuLe chemin de données du transformer est figé dans le silicium ; les poids restent en mémoire, le modèle peut donc changerAnnonce du fabricant : plus de 500 000 tokens/s au total sur Llama 70B pour un serveur à 8 puces ; aucun benchmark indépendant publié à la mi-2026Modèles transformer uniquement
Model-on-chipTaalas HC1Les poids d'un modèle sont câblés dans la puce, rien n'est chargé à l'exécutionEnviron 17 000 tokens/s par utilisateur sur Llama 3.1 8B (chiffre du fabricant)Un modèle par puce ; adaptateurs et taille de contexte configurables

Chiffres tels qu'annoncés par les fabricants ou cités par la presse en 2026, avec des modèles, des tailles de lot et des conditions d'essai différents. La vitesse par utilisateur et le débit total d'un serveur sont deux mesures distinctes. Les sources figurent en fin d'article.

Ce que les chiffres ne disent pas

La vitesse par utilisateur et le débit total ne sont pas la même chose. Un chiffre comme 17 000 tokens par seconde par utilisateur décrit la rapidité d'une seule conversation. Un chiffre comme 500 000 tokens par seconde pour un serveur additionne de nombreuses conversations simultanées. Sans connaître la taille du lot, on ne peut convertir l'un en l'autre.

La taille du modèle et la précision changent tout. Un modèle 8B et un modèle 70B sont des charges différentes, et une puce qui stocke les poids sur 3 ou 4 bits ne fait pas le même travail qu'une puce utilisant des poids sur 8 ou 16 bits. Taalas a indiqué que son premier silicium combine des paramètres sur 3 bits et sur 6 bits, avec une certaine perte de qualité face aux références GPU.

Enfin, vérifiez qui a mesuré. Certains chiffres du tableau viennent d'un comparateur indépendant, d'autres de l'annonce du fabricant, et l'un n'a aucune confirmation par un tiers. La consommation, le prix et la disponibilité sont souvent absents des annonces.

Toutes les cinq répondent au centre de données

Chaque puce du tableau vit dans une baie. Un système à l'échelle de la tranche dissipe des kilowatts ; le Taalas HC1 est conçu pour des serveurs d'environ 2,5 kW ; les autres prennent place dans des serveurs d'accélération standards. Aucune ne tient dans un traducteur, une voiture, un robot ou une caméra industrielle.

Les appareils ont besoin de la même idée, des poids qui ne bougent pas, entre un watt et quelques dizaines de watts, et sur une chaîne d'approvisionnement capable de livrer en volume. C'est une sixième classe : les puces d'inférence embarquées fondées sur le calcul en mémoire et le calcul proche de la mémoire.

Fanshi Semiconductor travaille dans cette classe sur un procédé SMIC 28 nm mature. Forge utilise le calcul en mémoire MaskROM pour des appareils de la classe du watt exécutant Qwen 3.5 0.8B. Trident utilise le calcul proche de la mémoire pour des modèles allant jusqu'à Qwen 3.5 35B dans un budget système de 70 W, avec des poids qui restent modifiables. Argus utilise le calcul en mémoire SRAM pour la vision en temps réel. Tous les chiffres de Fanshi sont des objectifs de conception.

Comment choisir

  • Le modèle change toutes les quelques semaines, ou vous entraînez aussi : restez sur des GPU.
  • Vous servez quelques modèles populaires à de nombreux utilisateurs depuis un centre de données : les services à l'échelle de la tranche, LPU et ASIC pour transformers méritent un benchmark sur vos propres prompts.
  • Un modèle arrêté porte l'essentiel de votre trafic : un accélérateur model-on-chip échange de la flexibilité contre la vitesse par utilisateur la plus élevée.
  • Le modèle doit tourner dans un appareil, hors ligne, avec un budget de puissance fixe : regardez les puces embarquées à calcul en mémoire ou proche de la mémoire.

Questions fréquentes

Qu'est-ce qu'un ASIC d'inférence LLM ?

Un ASIC d'inférence LLM est une puce conçue uniquement pour exécuter de grands modèles de langage, pas pour les entraîner. En renonçant à la généralité d'un GPU, elle supprime des surcoûts, surtout le transport des poids de la mémoire vers les unités de calcul, et fournit plus de tokens par seconde par watt.

Quelle puce d'inférence LLM est la plus rapide ?

En vitesse par utilisateur sur un petit modèle, le chiffre public le plus élevé est celui du Taalas HC1, environ 17 000 tokens par seconde sur Llama 3.1 8B, annoncé par l'entreprise. Etched revendique le débit total par serveur le plus élevé. Ces chiffres reposent sur des modèles et des mesures différents, et tous ne sont pas vérifiés de façon indépendante.

Les ASIC d'inférence remplacent-ils les GPU ?

Non. L'entraînement, la recherche et les modèles de longue traîne ont toujours besoin de matériel généraliste. Les ASIC d'inférence conviennent là où le modèle est arrêté et où le volume est très grand ou le budget de puissance très serré.

Un ASIC d'inférence LLM peut-il fonctionner dans un appareil ?

Pas les conceptions pour centre de données : elles consomment de quelques centaines de watts à plusieurs kilowatts. Les puces d'inférence embarquées à calcul en mémoire ou proche de la mémoire visent un watt à quelques dizaines de watts et sont faites pour les appareils.

Sources

  1. heise online : AI inference cast in silicon: Taalas announces HC1 chip
  2. CNX Software : Taalas HC1 hardwired Llama-3.1 8B AI accelerator delivers up to 17,000 tokens/s
  3. Fast.io : Etched AI Review 2026: Sohu Chip Specs, Benchmarks, and What Actually Ships

Appliquez la question à votre projet

Envoyez le modèle cible et les objectifs de performance et de consommation. Nous répondons avec une voie et un plan d'évaluation.

Demander un kit d'évaluation