Aller au contenu
Token
L'unité de texte qu'un modèle de langage lit et écrit : un mot court, une partie d'un mot plus long ou un signe de ponctuation. En anglais, un token vaut environ trois quarts de mot. En savoir plus →
Tokens par seconde token/s, TPS
Le rythme auquel un modèle génère sa sortie. Annoncé soit par utilisateur, pour une requête exécutée seule, soit au total sur toutes les requêtes qu'un serveur traite en même temps. En savoir plus →
Temps jusqu'au premier token TTFT
L'attente entre l'envoi d'un prompt et l'apparition du premier token de la réponse. Il compte plus que la vitesse de décodage pour la voix et les autres usages interactifs. En savoir plus →
Inférence LLM
L'exécution d'un modèle de langage entraîné pour produire une sortie, par opposition à son entraînement. L'inférence répète la même suite fixe d'opérations matricielles pour chaque token.
ASIC d'inférence LLM
Une puce conçue uniquement pour exécuter de grands modèles de langage. Elle renonce à la généralité d'un GPU pour fournir plus de tokens par seconde par watt. En savoir plus →
Model-on-chip LLM câblé, ASIC spécifique à un modèle
Une puce dont le silicium contient, dès la fabrication, les poids d'un modèle précis, si bien qu'aucun poids n'est chargé à l'exécution. Très rapide et efficace, au prix de la flexibilité. En savoir plus →
Mur de la mémoire memory wall
L'écart entre la vitesse de calcul des processeurs et la vitesse à laquelle la mémoire fournit les données. Pour les LLM, c'est la limite principale, car chaque token impose de lire tous les poids. En savoir plus →
Bande passante mémoire
Le nombre de gigaoctets par seconde que l'on peut lire en mémoire. Quand les poids résident en mémoire ordinaire, la vitesse de décodage ne peut dépasser la bande passante mémoire divisée par la taille du modèle. En savoir plus →
Calcul en mémoire CIM, compute-in-memory
Une technique de circuit dans laquelle les opérations de multiplication-accumulation se font dans la matrice mémoire ; les poids ne quittent jamais les cellules de stockage. En savoir plus →
Calcul en mémoire MaskROM
Un calcul en mémoire dans lequel les poids sont coulés dans une matrice de vias en lecture seule à l'étape des masques. Consommation et coût marginal les plus bas ; le modèle est figé. En savoir plus →
Calcul en mémoire SRAM SRAM CIM
Un calcul en mémoire construit sur des cellules SRAM. Les poids sont chargés à la mise sous tension ; le modèle peut donc être remplacé sur le terrain. En savoir plus →
Calcul proche de la mémoire NMC
Des unités de calcul placées juste à côté d'une mémoire à haut débit, avec un flux sur la puce pour raccourcir les trajets de données. Convient aux grands modèles qui évoluent encore. En savoir plus →
Inférence embarquée inférence en périphérie
L'exécution d'un modèle sur l'appareil où les données sont produites plutôt que dans un centre de données. Elle fonctionne hors ligne et garde les données dans l'appareil. En savoir plus →
NPU unité de traitement neuronal
Un accélérateur de réseaux de neurones intégré à une puce de téléphone ou de PC. Il partage la mémoire système et se heurte donc, pour les LLM, à la même limite de bande passante que le CPU. En savoir plus →
TOPS
Milliers de milliards d'opérations par seconde, une mesure du débit arithmétique brut. Elle ne dit rien de la mémoire et prédit donc mal la vitesse de décodage d'un LLM. En savoir plus →
Quantification
Le stockage des poids avec une précision réduite, par exemple en entiers 8 bits ou 4 bits au lieu de flottants 16 bits. Elle réduit le modèle et accélère l'inférence, avec une perte de qualité aux très basses précisions.
Tape-out
Le moment où une conception de puce terminée part en fabrication chez le fondeur. C'est un coût fixe, d'où le besoin de volume pour les puces dédiées. En savoir plus →
Jeu de masques
L'ensemble des photomasques qui définissent chaque couche d'une puce. Dans une conception MaskROM, les poids du modèle font partie du jeu de masques. En savoir plus →
Prototypage FPGA
L'exécution d'une conception de puce sur de la logique reprogrammable avant le tape-out, pour vérifier fonction et performances avec de vrais modèles et de vraies données. En savoir plus →
Cœur IP d'inférence
Un bloc de conception de puce sous licence qui exécute une classe d'architectures de modèles, intégré par le client dans son propre ASIC, SoC ou FPGA. En savoir plus →
Attention hybride
Une architecture de modèle qui mêle des couches à attention linéaire et des couches à attention complète, comme dans Qwen3.5 et les versions suivantes. Elle limite le coût des longs contextes tout en préservant la précision. En savoir plus →
Attention linéaire
Un mécanisme d'attention dont le coût croît linéairement avec la longueur de la séquence et qui conserve un état de taille fixe, adapté au flux continu et aux longs contextes. En savoir plus →
Mélange d'experts MoE, mixture of experts
Un modèle dans lequel seule une partie des poids, les experts sélectionnés, est active pour chaque token. Il permet à un grand modèle de tourner dans une bande passante limitée. En savoir plus →
Nœud de gravure
La génération de fabrication d'une puce, par exemple 28 nm ou 6 nm. Les nœuds plus fins logent plus de transistors ; les nœuds matures offrent un coût plus bas et un approvisionnement plus prévisible.

Un projet précis à discuter ?

Envoyez le modèle cible et les objectifs de performance et de consommation. Nous répondons avec une voie et un plan d'évaluation.

Demander un kit d'évaluation