Aller au contenu

LLM sans GPU · matériel pour LLM embarqué · LLM local · NPU ou GPU · ASIC LLM

Faire tourner un LLM sans GPU : cinq options matérielles pour un appareil

Équipe d'ingénierie Fanshi Semiconductor · Publié le

Un modèle de langage peut tourner sans GPU de centre de données sur cinq types de matériel : un CPU avec un modèle quantifié, le NPU d'une puce de téléphone ou de PC, un module GPU embarqué, un FPGA ou une puce LLM dédiée. Les trois premiers partagent un même goulet, la bande passante mémoire, car chaque token impose de lire tous les poids. Une puce dédiée supprime ce goulet, mais ne devient rentable que si le modèle est arrêté et le produit livré en volume.

Pourquoi regarder au-delà du GPU

Un GPU de centre de données est le moyen simple d'exécuter un modèle et le mauvais composant pour la plupart des appareils. Il consomme des centaines de watts, coûte plus cher que le produit qui l'accueillerait et demande un refroidissement qu'un appareil portable, un module automobile ou une caméra industrielle n'ont pas.

Il existe aussi des raisons sans rapport avec le matériel. Beaucoup de produits doivent fonctionner sans réseau, et beaucoup de déploiements n'ont pas le droit d'envoyer des données hors de l'appareil. Les deux ramènent l'inférence dans l'appareil lui-même.

Cinq options comparées

OptionCe qui limite la vitesseChanger de modèleUsage typique
CPU avec modèle quantifiéBande passante mémoire et nombre de cœursCharger un autre fichierPrototypes, petits volumes, petits modèles
NPU d'une puce de téléphone ou de PCMémoire système partagée et opérations prises en charge par la chaîne d'outils du fabricantTout modèle que la chaîne d'outils sait compilerProduits déjà construits sur cette puce
Module GPU embarquéBande passante mémoire et budget de puissance du moduleTout modèle qui tient en mémoireRobots et passerelles disposant de quelques dizaines de watts
FPGACapacité logique et interfaces mémoire ; coût unitaire élevéReprogrammableValider une conception d'accélérateur ; petits volumes
Puce LLM dédiée (calcul en mémoire ou model-on-chip)Fixé à la conception ; les poids ne bougent pasSelon la voie : figé au tape-out, rechargé à la mise sous tension ou mis à jour en mémoire externeAppareils de série avec un modèle arrêté et un budget de puissance serré

Les trois premières partagent un même goulet

Sur un CPU, un NPU ou un GPU embarqué, les poids résident en mémoire ordinaire et sont lus une fois par token. La vitesse de décodage est plafonnée par la bande passante mémoire divisée par la taille du modèle. Ajouter du calcul n'aide plus une fois ce plafond atteint, et c'est pourquoi une puce au nombre de TOPS impressionnant peut quand même générer du texte lentement.

Des modèles plus petits et une précision moindre relèvent le plafond, et c'est là que va aujourd'hui l'essentiel du travail embarqué : quantifier davantage, choisir un modèle plus petit, accepter la qualité qui en résulte.

Quand une puce dédiée se justifie

Une puce dédiée garde les poids là où se fait l'arithmétique ; le plafond de bande passante ne s'applique donc plus. Le prix à payer est un tape-out, qui est une dépense fixe, et un modèle décidé à l'avance, en tout ou en partie.

Elle devient rentable quand trois conditions sont réunies : le modèle est arrêté pour la durée de vie du produit ou n'évolue qu'au sein d'une même famille, le produit est livré en volume suffisant pour amortir le coût fixe, et le budget de puissance est trop serré pour un composant généraliste. S'il en manque une, un module ou un NPU est le meilleur choix.

Un parcours pratique

  • Prototyper sur un CPU ou un module GPU et mesurer les tokens par seconde dont le produit a réellement besoin.
  • Arrêter la famille de modèles et la précision acceptable.
  • Faire tourner le modèle cible sur une carte d'évaluation FPGA pour confirmer vitesse et comportement avant de s'engager.
  • Passer à une puce dédiée, standard ou sur mesure, quand le volume et le budget de puissance le justifient.

Fanshi accompagne les deux dernières étapes : cartes d'évaluation FPGA avec une chaîne d'outils de portage de modèle, trois puces embarquées standards, puces sur mesure construites autour du modèle du client, et IP d'inférence sous licence pour les équipes qui conçoivent leur propre SoC.

Questions fréquentes

Peut-on faire tourner un LLM sur un CPU ?

Oui. De petits modèles quantifiés tournent sur des CPU ordinaires. La vitesse est limitée par la bande passante mémoire et chute vite quand le modèle grossit.

Faut-il un NPU pour faire tourner un LLM dans un appareil ?

Non. Un NPU aide quand sa chaîne d'outils prend en charge votre modèle, mais il partage la mémoire système avec tout le reste et se heurte à la même limite de bande passante qu'un CPU.

Quelle est la façon la plus sobre de faire tourner un LLM ?

Une puce qui ne déplace pas du tout les poids. Les conceptions à calcul en mémoire effectuent l'arithmétique dans la matrice mémoire, ce qui supprime la plus grande part de l'énergie d'inférence.

Quand une puce LLM sur mesure a-t-elle du sens ?

Quand le modèle est arrêté, que le produit est livré en volume et que le budget de puissance exclut les composants généralistes. Sinon, un module ou un NPU est le meilleur choix.

Appliquez la question à votre projet

Envoyez le modèle cible et les objectifs de performance et de consommation. Nous répondons avec une voie et un plan d'évaluation.

Demander un kit d'évaluation