Aller au contenu

puce d'inférence LLM embarquée · puce IA edge · LLM sur appareil · choix d'un accélérateur IA · NPU ou ASIC

Comment choisir une puce d'inférence LLM embarquée : 7 questions

Équipe d'ingénierie Fanshi Semiconductor · Publié le

Pour choisir une puce d'inférence embarquée, répondez d'abord à sept questions : quel modèle, combien de paramètres, à quelle fréquence il change, quel budget énergétique, quelle vitesse de décodage, si les données peuvent quitter l'appareil, et combien d'unités vous livrerez. Ces réponses départagent en grande partie un GPU ou un NPU généraliste et un ASIC dédié à calcul en mémoire ou proche mémoire.

1. Quel modèle, et combien de paramètres

C'est la première contrainte, et la plus dure. Pour les modèles de langage, regardez le nombre de paramètres et la longueur de contexte ; pour les modèles de vision, la résolution d'entrée et la cadence d'images. Un modèle de langage de 0.5B à 1B peut tourner sous le watt sur une puce MaskROM à calcul en mémoire. Un modèle de 7B à 35B demande du calcul proche mémoire et un budget système de plusieurs dizaines de watts. La segmentation en temps réel se mesure en pixels traités par seconde, pas en TOPS.

Ne vous laissez pas guider par les TOPS. Les TOPS d'un NPU généraliste indiquent son débit de crête en multiplication-accumulation, mais le décodage d'un LLM est limité par la bande passante, et l'utilisation réelle n'atteint souvent que quelques pour cent. La bonne question est : combien de fois par seconde cette puce peut-elle lire la totalité des poids ?

2. À quelle fréquence le modèle change

C'est ce qui décide si MaskROM est envisageable. Si le produit est bien défini, le modèle validé à fond et qu'il ne changera pas d'ici un an, MaskROM grave les poids dans le silicium pour la consommation et le coût les plus bas. Si le modèle change encore chaque trimestre, choisissez le calcul en mémoire SRAM ou le calcul proche mémoire, afin que les poids puissent être chargés à la mise sous tension ou conservés en mémoire externe.

Une approche pragmatique consiste à procéder par étapes : faire d'abord tourner le modèle sur une carte d'évaluation FPGA avec une IP d'inférence, puis décider d'un tape-out MaskROM une fois le modèle figé.

3. Le budget énergétique

Les appareils de poche disposent généralement de 1 à 3 W pour tout le système. Les systèmes embarqués en véhicule et les robots ont 10 à 70 W, et les nœuds edge industriels peuvent atteindre environ 100 W. Le budget énergétique écarte à lui seul la plupart des options : les modules GPU démarrent typiquement à 15 W, avant même de compter le refroidissement.

Le calcul en mémoire tire son avantage énergétique du fait de ne pas déplacer les poids. L'effet est maximal au décodage, qui est purement limité par la bande passante.

4. La vitesse nécessaire

L'interaction vocale demande un délai avant le premier token de quelques centaines de millisecondes, et un décodage plus rapide que la lecture humaine (environ 10 à 20 token/s) suffit. Le traitement par lots et les charges multi-flux veulent le plus de débit possible : ce sont des milliers à des dizaines de milliers de token/s qui font baisser le coût par token. En vision, la cadence commande : l'inspection de défauts doit suivre la ligne de production, et l'inspection par drone la vitesse de vol.

5. Les données peuvent-elles quitter l'appareil

Les réseaux isolés, les terminaux restreints, la santé et les sites industriels interdisent souvent par principe d'envoyer des données dans le cloud. L'inférence sur l'appareil n'y est pas une question de coût, mais la condition d'existence du produit. Une inférence entièrement locale signifie que l'appareil peut fonctionner totalement hors ligne, et cette garantie vient de l'architecture, pas d'une politique.

6. Le volume de production

Pour quelques milliers d'unités, un module généraliste et de l'optimisation logicielle constituent la voie la plus simple. À des centaines de milliers d'unités, l'avantage d'un ASIC dédié en coût unitaire et en consommation peut déplacer la nomenclature du système d'un ordre de grandeur. C'est particulièrement vrai pour MaskROM : les masques sont un coût unique, et plus le volume est élevé, meilleure est l'équation économique.

7. Qui fait le logiciel

Sur une plateforme généraliste, vous gérez vous-même la conversion du modèle, la quantification et la prise en charge des opérateurs ; avec un ASIC dédié, le fournisseur de la puce assure en général le mappage du modèle. Posez les questions directement : le modèle cible est-il pris en charge nativement, quel est le schéma de quantification, pouvez-vous obtenir une carte d'évaluation, et sous quel délai disposerez-vous d'un échantillon d'ingénierie ?

Une liste de contrôle en une page

Renseignez les sept réponses et la voie en découle. Modèle de 1B ou moins, inchangé pendant un an, 3 W ou moins, gros volume : calcul en mémoire MaskROM. Modèle en évolution rapide à remplacer sur le terrain : calcul en mémoire SRAM. Modèle de 7B ou plus avec un budget de dizaines de watts : calcul proche mémoire. Modèle pas encore figé : faites-le d'abord tourner sur une carte d'évaluation FPGA sous licence IP.

Appliquez la question à votre projet

Envoyez le modèle cible et les objectifs de performance et de consommation. Nous répondons avec une voie et un plan d'évaluation.

Demander un kit d'évaluation