Aller au contenu

model-on-chip · puce LLM câblée · ASIC spécifique à un modèle · Taalas HC1 · puce LLM embarquée

Le model-on-chip expliqué : ASIC LLM câblés, cloud et embarqué

Équipe d'ingénierie Fanshi Semiconductor · Publié le

Un ASIC spécifique à un modèle, parfois appelé puce LLM câblée, fige les poids d'un seul grand modèle de langage dans le silicium à la fabrication. L'inférence n'a plus à sortir les poids de la mémoire : la vitesse de décodage et l'efficacité énergétique peuvent dépasser de plusieurs ordres de grandeur celles d'un GPU généraliste. En contrepartie, le modèle ne se remplace pas librement. Il en existe deux sortes : les puces cloud visent les tokens par seconde par baie et le coût par token, les puces embarquées visent une consommation de l'ordre du watt, le fonctionnement hors ligne et le coût de l'appareil.

Ce que « câblé » veut vraiment dire

Un GPU généraliste est une machine capable d'exécuter n'importe quel modèle : les poids sont en mémoire et sont lus une fois pour chaque token généré. Un ASIC spécifique à un modèle fait l'inverse. Le modèle est choisi à la conception et ses poids sont écrits dans une ROM à masque ou dans les couches de métal ; ils font alors partie de la puce. Quand la puce sort de l'usine, le modèle est déjà dedans.

Ce qui disparaît, c'est l'étape la plus coûteuse de l'inférence : le déplacement des poids. Les unités de calcul n'attendent plus les données, la bande passante cesse d'être le plafond, et l'essentiel de l'énergie n'est plus dépensé en transport.

Pourquoi maintenant

Deux évolutions ont transformé l'idée en produits. D'abord, les familles de modèles sont devenues stables dans leur structure : une nouvelle version conserve souvent l'organisation en couches de la précédente, si bien qu'une architecture de puce conçue pour un modèle se transpose au suivant. Ensuite, la facture d'inférence ne cesse de croître. Le prix au token et le coût de l'électricité poussent le secteur à construire du matériel dédié pour les quelques modèles les plus utilisés.

Cela ne remplace pas le GPU. L'entraînement, la recherche et les modèles de longue traîne ont toujours besoin de matériel généraliste. Un ASIC spécifique à un modèle convient là où le modèle est arrêté et où le volume est très grand, ou le budget de puissance très serré.

Le cloud et l'embarqué n'ont pas les mêmes objectifs

Une puce cloud de ce type vit dans un centre de données et se mesure aux serveurs GPU : tokens par seconde par baie et dollars par million de tokens. Elle utilise en général un procédé de gravure plus avancé et consomme des centaines de watts.

Une puce embarquée vit dans un appareil : un traducteur, une voiture, un robot, une caméra industrielle. Les questions sont de savoir si elle tient entre un watt et quelques dizaines de watts, si elle fonctionne sans réseau et de combien elle alourdit la nomenclature. Les données ne quittent jamais l'appareil, ce qui est une exigence stricte dans les environnements isolés ou sensibles en matière de confidentialité.

Fanshi Semiconductor construit la variante embarquée. Sur une chaîne d'approvisionnement SMIC 28 nm mature, l'entreprise propose trois voies, le calcul en mémoire MaskROM, le calcul en mémoire SRAM et le calcul proche de la mémoire, de l'appareil portable de la classe du watt jusqu'aux nœuds à forte charge exécutant des modèles 35B. Tous les chiffres du site sont des objectifs de conception.

La référence publique : le Taalas HC1

L'exemple public le plus net est le Taalas HC1, annoncé en février 2026. Selon l'entreprise et la presse spécialisée, il câble Llama 3.1 8B dans un seul ASIC d'environ 53 milliards de transistors, fabriqué en TSMC 6 nm sur une puce de 815 mm², et génère près de 17 000 tokens par seconde par utilisateur. Pour le même modèle, les articles citent environ 230 tokens par seconde sur un NVIDIA H200 et environ 1 900 chez Cerebras dans des benchmarks indépendants.

Deux détails comptent pour qui évalue l'approche. De l'aveu même de l'entreprise, le premier silicium est quantifié de façon agressive, en combinant des paramètres sur 3 bits et sur 6 bits, ce qui coûte un peu de qualité de réponse face à une référence GPU. Et c'est un produit de centre de données, conçu pour des serveurs d'environ 2,5 kW, pas quelque chose qui tient dans un appareil.

La variante embarquée applique la même idée, des poids qui ne bougent pas, sur un procédé mature et pour des modèles dimensionnés entre un watt et quelques dizaines de watts.

Les questions à poser à un fournisseur

Premièrement, que se passe-t-il quand le modèle change : de nouveaux masques, un rechargement ou une mise à jour de la mémoire externe ? Un modèle plus récent de la même famille peut-il réutiliser l'architecture existante ? Deuxièmement, les chiffres publiés sont-ils mesurés ou sont-ils des objectifs de conception, et pour quel modèle, quelle précision et quelles conditions d'essai ? Troisièmement, peut-on obtenir une carte d'évaluation avant le tape-out et y faire tourner son propre modèle avec ses propres données ? Quatrièmement, le procédé et la chaîne d'approvisionnement sont-ils prévisibles, et de quoi dépend le calendrier de livraison ?

Si vous évaluez ce type de puce pour un appareil, la fiche projet du site Fanshi prend deux minutes : décrivez le modèle, l'appareil, le budget de puissance et le volume, et l'équipe d'ingénierie vous répond sur votre projet.

Questions fréquentes

Peut-on mettre à jour le modèle d'une puce câblée ?

Cela dépend de l'endroit où se trouvent les poids. Avec une ROM à masque, les poids font partie du jeu de masques : un nouveau modèle suppose de nouveaux masques, même si certaines conceptions autorisent des ajustements par adaptateurs et une fenêtre de contexte configurable. Avec le calcul en mémoire SRAM, les poids sont chargés à la mise sous tension et peuvent être remplacés. Avec le calcul proche de la mémoire, ils résident en mémoire externe et se mettent à jour comme un firmware.

Le model-on-chip est-il la même chose que le calcul en mémoire ?

Les deux notions se recoupent sans se confondre. Le model-on-chip décrit le choix de produit : un modèle est figé dans le silicium. Le calcul en mémoire décrit la technique de circuit : l'arithmétique se fait dans la matrice mémoire. Une puce à ROM à masque qui calcule dans la matrice est les deux à la fois ; une puce à calcul en mémoire SRAM fait du calcul en mémoire sans modèle figé.

Quelle est la vitesse d'une puce LLM câblée ?

La référence publique est le Taalas HC1, annoncé par l'entreprise à près de 17 000 tokens par seconde par utilisateur sur Llama 3.1 8B. C'est un chiffre du fabricant pour un modèle à une quantification donnée. Pour toute puce, demandez si un chiffre est mesuré ou s'il s'agit d'un objectif de conception, et pour quel modèle et quelle précision.

Fanshi a-t-elle un lien avec Taalas ?

Non. Fanshi Semiconductor n'a ni affiliation ni partenariat avec Taalas. Les deux entreprises partagent une orientation technique générale ; Taalas construit des accélérateurs pour centres de données, Fanshi des puces et de l'IP pour les appareils.

Sources

  1. heise online : AI inference cast in silicon: Taalas announces HC1 chip
  2. CNX Software : Taalas HC1 hardwired Llama-3.1 8B AI accelerator delivers up to 17,000 tokens/s

Appliquez la question à votre projet

Envoyez le modèle cible et les objectifs de performance et de consommation. Nous répondons avec une voie et un plan d'évaluation.

Demander un kit d'évaluation