Aller au contenu

Combien de tokens par seconde votre appareil peut-il atteindre ?

Quand les poids résident en mémoire ordinaire, chaque token généré impose de les lire tous. La vitesse de décodage a donc un plafond calculable : la bande passante mémoire divisée par la taille du modèle.

Taille du modèle
8.0 GB
Plafond de décodage
6.3 token/s

Fluide pour le chat

C'est un plafond théorique. Les systèmes réels restent en dessous, car la même mémoire sert à tout le reste et la bande passante indiquée est une valeur crête de spécification.

Comparaison d'appareils courants (poids sur 8 bits)

Appareil (bande passante crête théorique)0.8B · 0.8 GB4B · 4 GB8B · 8 GB27B · 27 GB70B · 70 GB
Raspberry Pi 5 · LPDDR4X-426717 GB/s214.32.10.60.2
PC · DDR5-5600 ×289.6 GB/s11222113.31.3
Apple M2100 GB/s12525133.71.4
NVIDIA Jetson AGX Orin204.8 GB/s25651267.62.9
Apple M2 Max400 GB/s50010050155.7

La bande passante est la valeur crête théorique des spécifications mémoire publiées. Valeurs en tokens par seconde, pour comparer des ordres de grandeur uniquement.

Pourquoi ce plafond existe

Un processeur plus rapide n'aide pas : le calcul attend les poids. C'est le mur de la mémoire. La seule façon de le franchir est de ne plus déplacer les poids, ce que font le calcul en mémoire et le calcul proche de la mémoire en plaçant l'arithmétique là où se trouvent les poids.

Questions fréquentes

Comment le plafond est-il calculé ?

La taille du modèle en Go vaut le nombre de paramètres en milliards multiplié par les bits par poids, divisé par 8. Le plafond de décodage en tokens par seconde vaut la bande passante mémoire en Go/s divisée par la taille du modèle en Go. Chaque token impose de lire tous les poids une fois ; la vitesse ne peut pas dépasser cette valeur.

Pourquoi les vitesses mesurées sont-elles inférieures au plafond ?

La bande passante mémoire est partagée avec le système et d'autres tâches, la valeur de spécification est une crête théorique, et les caches d'attention doivent aussi être lus et écrits. La vitesse mesurée n'est en général qu'une fraction du plafond.

Comment une puce dédiée peut-elle dépasser ce plafond ?

Une puce à calcul en mémoire effectue l'arithmétique dans la matrice mémoire. Les poids ne traversent aucun bus ; le plafond de bande passante ne s'applique plus.

Un projet précis à discuter ?

Envoyez le modèle cible et les objectifs de performance et de consommation. Nous répondons avec une voie et un plan d'évaluation.

Demander un kit d'évaluation