tokens par seconde · vitesse d'inférence LLM · temps jusqu'au premier token · bande passante mémoire · LLM embarqué
Tokens par seconde : à quelle vitesse un LLM doit-il aller ?
Équipe d'ingénierie Fanshi Semiconductor · Publié le

Les tokens par seconde mesurent le rythme auquel un modèle de langage génère sa sortie. Une personne lit à environ 5 à 7 tokens par seconde ; une réponse de chat paraît donc fluide entre 10 et 30. Les modèles de raisonnement, les agents et les boucles de commande en demandent des centaines à des milliers, car la plupart des tokens qu'ils produisent ne sont jamais lus par quelqu'un. Dans un appareil, le plafond est fixé par la bande passante mémoire divisée par la taille du modèle, d'où l'intérêt des puces embarquées qui cessent de déplacer les poids.
Ce qu'est un token, et ce que mesure le chiffre
Un token est un fragment de texte que le modèle traite comme une unité : un mot court, une partie d'un mot plus long ou un signe de ponctuation. Une règle empirique courante pour l'anglais veut qu'un token vaille environ trois quarts de mot ; en français, les mots se découpent souvent en un peu plus de tokens.
Les tokens par seconde désignent en général la vitesse de décodage : le rythme auquel le modèle produit sa sortie une fois lancé. Deux autres chiffres l'accompagnent. Le temps jusqu'au premier token est l'attente avant que quoi que ce soit n'apparaisse, et la vitesse de traitement du prompt indique à quel rythme le modèle lit son entrée. Un système peut être rapide sur l'un et lent sur l'autre.
Quelle vitesse suffit ?
| Usage | Ce qui fixe la barre | Vitesse utile |
|---|---|---|
| Lire une réponse de chat | On lit environ 200 à 300 mots par minute, soit 5 à 7 tokens par seconde | 10 à 30 tokens/s paraissent fluides |
| Assistant vocal | La parole tourne autour de 150 mots par minute, 3 à 4 tokens par seconde ; l'attente avant le premier mot compte davantage | Quelques dizaines de tokens/s, avec un temps jusqu'au premier token court |
| Modèles de raisonnement et agents | Les étapes de raisonnement cachées et les appels d'outils multiplient les tokens derrière chaque réponse visible | Des centaines à des milliers de tokens/s |
| Robots et commande en temps réel | Le modèle est dans une boucle de commande au budget de temps fixe par décision | Ce qu'exige la boucle, de façon régulière |
| Traitement de documents par lots | Le travail total accompli, pas l'expérience d'un utilisateur | Tokens/s au total par watt et par dollar |
Le schéma est simple. Quand une personne lit la sortie, tout ce qui dépasse nettement la vitesse de lecture est perdu. Quand un logiciel consomme la sortie, la vitesse se traduit directement en tâches plus courtes, et des milliers de tokens par seconde deviennent utiles.
Vitesse par utilisateur et débit total
Un fabricant peut annoncer des tokens par seconde par utilisateur, c'est-à-dire pour une requête exécutée seule, ou le total de toutes les requêtes qu'un serveur traite en même temps. Le second chiffre est toujours plus grand et dit peu de chose de la réactivité d'une conversation.
Quand vous comparez des puces, assurez-vous que les deux chiffres reposent sur la même définition, le même modèle et la même précision. Un petit modèle en basse précision affichera un chiffre très différent de celui d'un grand modèle en haute précision sur le même matériel.
Dans un appareil, la bande passante mémoire fixe le plafond
Générer un token impose de lire chaque poids du modèle. Si les poids résident en mémoire ordinaire, la vitesse de décodage ne peut dépasser la bande passante mémoire divisée par la taille du modèle, quelle que soit la rapidité du processeur.
Prenons un appareil disposant de 50 Go/s de bande passante mémoire. Un modèle de 8 milliards de paramètres en précision 8 bits pèse environ 8 Go ; le plafond se situe donc vers 6 tokens par seconde. Un modèle 0.8B, d'environ 0,8 Go, plafonne près de 60. Les systèmes réels restent en dessous, car la même mémoire sert aussi à tout le reste.
C'est le mur de la mémoire, et c'est pourquoi les puces d'inférence embarquées recourent au calcul en mémoire ou au calcul proche de la mémoire. Si les poids ne traversent jamais un bus, la limite de bande passante cesse de s'appliquer.
Lire une fiche technique
- Quel modèle, et à quelle précision ?
- Par utilisateur ou au total, et avec quelle taille de lot ?
- Mesuré sur silicium, ou objectif de conception ?
- Avec quelle longueur de prompt et de contexte ?
- À quelle puissance, pour le système entier et pas seulement pour la puce ?
Fanshi publie ses propres chiffres selon ces règles : Forge vise 17 000 token/s sur Qwen 3.5 0.8B dans un appareil de la classe du watt, et Trident vise 15 000 token/s sur des modèles allant jusqu'à Qwen 3.5 35B dans un budget système de 70 W. Ce sont deux objectifs de conception ; les spécifications finales sont confirmées projet par projet.
Questions fréquentes
Combien de tokens par seconde une personne peut-elle lire ?
Environ 5 à 7. Un adulte lit à peu près 200 à 300 mots par minute, et un token vaut environ trois quarts de mot en anglais.
Quel débit en tokens par seconde est bon pour un LLM local ?
Pour le chat, 10 à 30 tokens par seconde paraissent fluides. Pour les agents, les modèles de raisonnement et les chaînes automatisées, où un logiciel consomme la sortie, plus c'est mieux, et des centaines à des milliers sont utiles.
Les tokens par seconde sont-ils la même chose que les TOPS ?
Non. Les TOPS comptent des opérations arithmétiques par seconde et ne disent rien de la mémoire. La vitesse de décodage d'un LLM est en général limitée par la rapidité de lecture des poids ; une puce aux TOPS élevés peut donc générer des tokens lentement.
Pourquoi les petits modèles sont-ils tellement plus rapides ?
Chaque token impose de lire tous les poids ; un modèle dix fois plus petit peut donc être lu environ dix fois plus souvent avec la même bande passante mémoire.



