Aller au contenu

coût d'inférence LLM · coût par token · API ou GPU auto-hébergé · coût d'une puce IA embarquée · inférence sur l'appareil

Coût d'inférence LLM : API, GPU cloud ou puce embarquée sur 3 ans

Équipe d'ingénierie Fanshi Semiconductor · Publié le

Le coût d'inférence d'un LLM prend trois formes. L'usage d'une API est facturé au million de tokens et constitue une dépense continue ; un GPU cloud auto-hébergé amortit la location ou la dépréciation à environ 0,70 $ par million de tokens ; une puce embarquée dédiée s'achète une fois, après quoi le coût marginal de chaque inférence tend vers zéro. À 10 millions de tokens par jour, trois ans d'API d'un modèle de pointe coûtent environ 192 000 $, soit près de mille fois une puce à 210 $ prise à titre d'illustration.

Trois façons de payer l'inférence

API : les tokens d'entrée et de sortie sont facturés séparément. Aux tarifs publics 2026, avec un mélange d'environ 1:1 entre entrée et sortie, les modèles de pointe coûtent 6,9 à 17,5 $ par million de tokens et les modèles à bas coût 0,07 à 2,2 $. Aucun investissement initial et une élasticité illimitée, mais la dépense croît linéairement avec l'usage et ne s'arrête jamais.

GPU cloud auto-hébergé : facturé à l'heure de GPU louée ou par dépréciation à l'achat. En répartissant le loyer médian d'un H100 en 2026 sur son débit, on obtient un coût d'inférence d'environ 0,70 $ par million de tokens. C'est un ordre de grandeur de moins qu'une API de pointe, mais cela demande une équipe d'exploitation, comporte un risque de taux d'utilisation et ne convient pas aux appareils embarqués : les données doivent toujours partir dans le cloud.

Puce embarquée dédiée : un achat unique. Ensuite, chaque inférence ne consomme que de l'électricité et son coût marginal tend vers zéro. Les contraintes : la puce détermine la taille du modèle, et l'intégration à l'appareil se fait en amont.

Un exemple chiffré que vous pouvez vérifier

Supposons qu'un appareil traite 10 millions de tokens par jour. À 17,5 $ par million de tokens (GPT-5.5, prix mélangé), cela fait 10 × 17,5 $ = 175 $ par jour, soit 175 $ × 365 × 3 ≈ 191 600 $ sur trois ans. Un GPU auto-hébergé à 0,70 $ par million de tokens revient à 10 × 0,70 $ × 1 095 jours ≈ 7 700 $. Une puce embarquée au coût unique indicatif de 210 $ reste à 210 $ sur les mêmes trois ans, électricité en sus.

Le même volume avec d'autres modèles sur trois ans : Claude Opus 4.8 à 15 $ revient à 10 × 15 $ × 1 095 ≈ 164 000 $ ; Gemini 3 Pro à 6,9 $ à environ 75 600 $ ; Qwen Max à 2,2 $ à environ 24 100 $ ; DeepSeek V3 à 0,07 $ à environ 770 $. Même l'API la moins chère coûte plus sur trois ans que la puce.

Le retour sur investissement tient en une division : coût de la puce ÷ dépense mensuelle d'API. Dans le cas de GPT-5.5, la dépense mensuelle est de 175 $ × 30,4 ≈ 5 320 $ ; la puce est donc amortie en un jour environ (210 $ ÷ 175 $ par jour ≈ 1,2 jour). Ramenez l'usage à 100 000 tokens par jour et la dépense mensuelle d'API tombe à environ 53 $ ; l'amortissement intervient encore en moins de quatre mois (210 $ ÷ 53 $ ≈ 3,95).

Le calculateur de coûts de la page d'accueil de Fanshi applique exactement cette méthode. Il permet de faire varier le coût de la puce entre 70 $ et 420 $ et de faire glisser le volume quotidien pour voir le résultat sur votre propre charge.

Trois variables au-delà de la facture

La latence : une API ajoute un aller-retour réseau ; une puce embarquée, non. Pour l'interaction vocale et le contrôle en temps réel, cette différence relève de l'expérience plutôt que du coût.

Les données : une API a besoin des données dans le cloud ; l'inférence embarquée, non. Pour les déploiements isolés et restreints, c'est ce qui décide si la solution est seulement autorisée.

Le modèle : une API peut basculer à tout moment vers le modèle le plus récent, alors que le modèle d'une puce MaskROM est figé. Si l'activité dépend d'une amélioration régulière des capacités du modèle, choisissez la voie proche mémoire ou SRAM à calcul en mémoire, ou adoptez une conception hybride où l'appareil exécute un modèle stable et confie les tâches complexes au cloud.

Quand déplacer l'inférence vers l'appareil

Surveillez trois signaux : la facture mensuelle d'API dépasse déjà le prix d'une puce ; le parc d'appareils est assez grand pour qu'exploiter une grappe d'inférence dans le cloud ne soit plus rentable ; ou l'activité ne peut tout simplement pas laisser les données quitter l'appareil. Un seul suffit pour inscrire une option embarquée à votre évaluation.

Appliquez la question à votre projet

Envoyez le modèle cible et les objectifs de performance et de consommation. Nous répondons avec une voie et un plan d'évaluation.

Demander un kit d'évaluation