mur de la mémoire · LLM embarqué · bande passante d'inférence LLM · calcul en mémoire · calcul proche mémoire
Le mur de la mémoire : pourquoi les LLM embarqués calent, et comment le contourner
Équipe d'ingénierie Fanshi Semiconductor · Publié le

Le mur de la mémoire est l'écart entre une puissance de calcul qui croît vite et une bande passante mémoire qui croît lentement : les unités de calcul passent le plus clair de leur temps à attendre les données. Au décodage d'un LLM, chaque token lit tous les poids ; le plafond de débit est donc égal à la bande passante mémoire divisée par la taille du modèle. Les appareils embarqués n'ont que quelques dizaines de Go/s de bande passante : les architectures classiques ne peuvent pas y faire tourner un LLM capable. Le calcul en mémoire et le calcul proche mémoire contournent le mur en déplaçant moins les poids, voire plus du tout.
Une division
Le plafond de débit au décodage s'estime par une seule division : tokens par seconde = bande passante mémoire ÷ octets de poids lus par token. Un modèle de 1B paramètres en INT8 lit environ 1 Go par token. Sur un appareil embarqué doté de 50 Go/s de bande passante, le plafond est de 50 tokens par seconde, et c'est un maximum théorique, avant les pertes du monde réel.
Passez à un modèle 7B et le même appareil produit environ 7 tokens par seconde ; à 35B, à peine plus d'un. Ce n'est pas un manque de calcul, mais un manque de bande passante. Ajouter des TOPS ne change rien, car les unités de calcul passent l'essentiel de leur temps à attendre l'arrivée des poids.
Comment les centres de données s'en sortent, et pourquoi l'embarqué ne le peut pas
La réponse des centres de données est la HBM : plusieurs To/s de bande passante, qui agrandissent le numérateur. Le prix : des centaines de watts, des milliers de dollars par accélérateur et un boîtier complexe. Rien de tout cela ne fonctionne en périphérie : les appareils de poche ont quelques watts, les véhicules et les robots quelques dizaines, et le budget silicium se compte en dizaines ou centaines de dollars.
Sur les architectures classiques, un LLM embarqué n'a donc que deux options : réduire drastiquement le modèle, ou accepter qu'il soit lent. Aucune n'est séduisante.
Le contourner : cesser de déplacer les poids
Le calcul en mémoire intègre la multiplication-accumulation à la matrice mémoire : les poids participent au calcul là où ils se trouvent, et seules les activations circulent sur le bus. Les activations sont plus petites que les poids de plusieurs ordres de grandeur ; la bande passante cesse d'être le goulot d'étranglement. Le calcul en mémoire MaskROM va le plus loin : les poids sont gravés dans le silicium au tape-out, et même la lecture disparaît.
Le calcul proche mémoire place les unités de calcul tout contre une mémoire à large bande passante et orchestre un flux sur la puce, de sorte que chaque lecture de poids soit pleinement réutilisée, ce qui réduit à la fois le nombre et la distance des transferts. Il garde le modèle modifiable, ce qui convient aux grands modèles encore en évolution.
Les deux voies réduisent le dénominateur de cette division, ou le suppriment, au lieu de forcer un numérateur plus grand. C'est pourquoi elles peuvent faire tourner des LLM embarqués sur un procédé 28 nm mature.
Ce que cela change pour les produits
La vitesse de décodage passe de quelques tokens par seconde à plus de dix mille (objectifs de conception) : l'interaction vocale ne cale plus et les charges multi-flux deviennent possibles. La consommation du système descend de plus de dix watts à moins d'un watt : les appareils de poche peuvent fonctionner hors ligne toute la journée. Et sans DRAM ni HBM, la nomenclature comme la conception thermique se simplifient.
Les puces de Fanshi Semiconductor se répartissent sur les voies MaskROM, SRAM à calcul en mémoire et proche mémoire. Pour déterminer celle dont votre produit a besoin, commencez par « Comment choisir une puce d'inférence LLM embarquée ».



