Aller au contenu

calcul en mémoire MaskROM · LLM câblé · modèle dans le silicium · CIM sur ROM · poids dans le silicium

Calcul en mémoire MaskROM : ce que signifie graver les poids dans le silicium

Équipe d'ingénierie Fanshi Semiconductor · Publié le

Le calcul en mémoire MaskROM grave les poids du modèle dans une matrice de vias du silicium, au moyen des motifs de masque utilisés au tape-out : les poids deviennent une partie de la structure de la puce. À l'exécution, rien n'a besoin d'être lu ni déplacé : la multiplication-accumulation se fait sur place dans la matrice, ce qui donne la consommation et le coût marginal par inférence les plus bas de toutes les voies. La contrepartie est un modèle figé ; le changer exige de nouveaux masques.

Les poids deviennent une partie du silicium

Dans une puce ordinaire, les cellules mémoire sont livrées vides et les poids sont chargés de l'extérieur à la mise sous tension. MaskROM est différent. À la conception, la valeur de chaque poids est traduite en présence ou absence de vias et de connexions, dessinée sur le photomasque et fabriquée dans le silicium avec tout le reste. Quand la puce sort de l'usine, le modèle est déjà à l'intérieur.

Les poids étant de la structure de circuit, il n'y a pas d'étape de lecture. Lorsque les activations traversent la matrice, la multiplication-accumulation s'effectue sur place dans les circuits voisins de la matrice de vias, et ce qui en sort, ce sont des résultats, pas des poids. C'est ce que signifie littéralement graver un modèle dans une puce.

Pourquoi la consommation et le coût sont les plus bas

Pendant le décodage d'un LLM, le premier poste énergétique est le déplacement des poids, et MaskROM le supprime entièrement. Il n'a pas non plus besoin de DRAM ni de HBM, ce qui retire de la nomenclature une puce mémoire coûteuse, avec sa consommation et sa surface de carte.

Une cellule MaskROM est minuscule : elle n'exige pas six transistors par bit comme la SRAM. La même surface de silicium contient bien plus de poids, ce qui lui permet de porter un modèle de langage complet sur un nœud de gravure mature.

Les masques sont un coût unique. Ensuite, chaque puce ne coûte que sa surface de silicium et son boîtier : plus le volume est élevé, plus le coût des masques par unité est faible.

La limite : un modèle figé

Une fois gravés dans le silicium, les poids ne peuvent plus changer. Un autre modèle signifie de nouveaux masques et un nouveau tape-out ; la voie MaskROM suppose donc un modèle figé et validé à fond sur le terrain.

Une approche d'ingénierie courante consiste à placer en MaskROM le gros stable du modèle, par exemple l'ossature du modèle de langage, et à garder en mémoire inscriptible les parties à ajuster, comme un petit ensemble de couches d'adaptation ou de prompts. La répartition exacte est évaluée par projet selon la structure du modèle.

Les produits auxquels cette voie convient

Les traducteurs de poche, les dictaphones intelligents et les assistants vocaux embarqués hors ligne partagent un même profil : une tâche de modèle claire, de gros volumes, une sensibilité extrême à la consommation et aucun besoin de connexion réseau. Forge, de Fanshi, est définie exactement pour ces appareils : la voie MaskROM avec Qwen 3.5 0.8B comme modèle de référence, et des objectifs de conception d'une consommation système sous le watt et d'un décodage à 17 000 token/s.

Si votre modèle n'est pas encore figé, faites-le d'abord tourner sur une carte d'évaluation FPGA avec une IP d'inférence, puis passez à un tape-out MaskROM une fois le modèle verrouillé.

Appliquez la question à votre projet

Envoyez le modèle cible et les objectifs de performance et de consommation. Nous répondons avec une voie et un plan d'évaluation.

Demander un kit d'évaluation