Aller au contenu

puce IA à calcul en mémoire · CIM · SRAM CIM · calcul proche mémoire · MaskROM

Qu'est-ce qu'une puce IA à calcul en mémoire ? Trois voies expliquées

Équipe d'ingénierie Fanshi Semiconductor · Publié le

Une puce à calcul en mémoire (compute-in-memory, CIM) effectue les opérations de multiplication-accumulation dans la matrice mémoire : les poids du modèle ne quittent jamais les cellules de stockage. Elle s'attaque au poste le plus coûteux de l'inférence LLM : le transfert des poids de la mémoire vers les unités de calcul. Selon l'endroit où résident les poids, on distingue trois grandes voies : le calcul en mémoire MaskROM, le calcul en mémoire SRAM et le calcul proche mémoire.

Le problème, ce sont les transferts de données, pas le calcul

Chaque token généré par un LLM exige de lire tous les poids du modèle. Pour un modèle de 0.8B paramètres en INT8, cela représente au moins 0,8 Go lus en mémoire par token. Dans une architecture classique, ces données traversent un bus vers les unités de calcul, puis les résultats sont réécrits. L'arithmétique elle-même ne pèse qu'une petite part de l'énergie ; l'essentiel de la puissance et du temps part dans le déplacement des données.

C'est le mur de la mémoire. Les centres de données le franchissent en force, avec de la HBM et des budgets énergétiques généreux. Les appareils embarqués ne le peuvent pas : leur bande passante mémoire se compte en dizaines de Go/s et leur budget énergétique en quelques watts. Tant que les poids doivent se déplacer, un appareil embarqué ne peut pas faire tourner un LLM digne de ce nom.

Le calcul en mémoire prend le problème à l'envers. Si le déplacement des poids est le goulot d'étranglement, cessons de les déplacer. Les poids restent dans la matrice mémoire, les circuits de multiplication-accumulation sont placés dedans ou tout contre, les activations entrent et les résultats sortent.

Trois voies, définies par l'emplacement des poids

Calcul en mémoire MaskROM : les poids sont gravés physiquement dans une matrice de vias du silicium à l'étape du masque, lors du tape-out. La matrice est en lecture seule et il n'y a aucun transfert externe de poids à l'exécution, ce qui donne la consommation et le coût marginal par inférence les plus bas. La contrepartie est un modèle figé : le changer impose de nouveaux masques. Cette voie convient aux modèles stables livrés en volume, comme les traducteurs de poche et les assistants vocaux hors ligne.

Calcul en mémoire SRAM (SRAM CIM) : la multiplication-accumulation a lieu dans la matrice SRAM, et les poids sont chargés à la mise sous tension : ils peuvent donc être mis à jour. Le calcul ne quitte toujours pas les cellules de stockage, mais le modèle peut être remplacé sur le terrain. Cette voie convient aux modèles de taille moyenne et aux produits qui continuent d'itérer.

Calcul proche mémoire : les poids résident dans une mémoire externe à large bande passante, les unités de calcul sont placées tout contre, et un flux orchestré sur la puce réduit les transferts au minimum. Ce n'est pas du calcul en mémoire au sens strict, mais pour les grands modèles qui évoluent encore vite, c'est le choix le plus pragmatique.

Comment choisir : d'abord, à quelle fréquence le modèle change-t-il ?

La première question ne porte pas sur le calcul mais sur le rythme de mise à jour. Si le modèle ne change pas pendant un an et que vous livrez des centaines de milliers d'unités, rien ne bat MaskROM en coût et en consommation. Si le modèle est révisé chaque trimestre, le calcul proche mémoire ou le SRAM CIM est le choix le plus sûr.

La deuxième question est le nombre de paramètres. Un budget énergétique inférieur au watt correspond à des modèles d'environ 1B paramètres ou moins. Faire tourner un modèle de la classe 30B en périphérie exige la voie proche mémoire et un budget système de plusieurs dizaines de watts.

Les puces de première génération de Fanshi Semiconductor se répartissent sur les trois voies. Forge utilise MaskROM pour des appareils de moins d'un watt exécutant Qwen 3.5 0.8B. Trident utilise le calcul proche mémoire et prend en charge jusqu'à Qwen 3.5 35B. Argus utilise le calcul en mémoire SRAM pour de la vision en temps réel à 120 FPS. Tous ces chiffres sont des objectifs de conception.

Idées reçues

« Le calcul en mémoire exige un nœud de gravure avancé. » Non. Le gain vient de l'architecture, pas de la densité de transistors. Fanshi s'appuie sur une chaîne d'approvisionnement SMIC 28 nm mature, ce qui rend aussi les coûts et l'approvisionnement prévisibles.

« Le calcul en mémoire ne fait tourner que de petits modèles. » La voie MaskROM favorise en effet les modèles figés de petite et moyenne taille, mais la voie proche mémoire porte des dizaines de milliards de paramètres. La vraie limite est le budget énergétique, pas l'architecture.

« La précision en souffre. » Le calcul en mémoire numérique, à la différence des premiers calculs en mémoire analogiques, effectue dans la matrice une multiplication-accumulation entière exacte. La précision dépend du schéma de quantification, exactement comme pour une inférence INT8 sur GPU.

Appliquez la question à votre projet

Envoyez le modèle cible et les objectifs de performance et de consommation. Nous répondons avec une voie et un plan d'évaluation.

Demander un kit d'évaluation