Zum Inhalt springen

LLM-Inferenzkosten · Kosten pro Token · API oder eigene GPU · Kosten eines Edge-KI-Chips · Inferenz im Endgerät

LLM-Inferenzkosten: API, Cloud-GPU oder Edge-Chip über 3 Jahre

Entwicklungsteam von Fanshi Semiconductor · Veröffentlicht

LLM-Inferenzkosten treten in drei Formen auf. API-Nutzung wird pro Million Token berechnet und ist eine laufende Ausgabe; eine selbst betriebene Cloud-GPU legt Miete oder Abschreibung auf etwa 0,70 $ pro Million Token um; ein dedizierter Edge-Chip wird einmal gekauft, danach gehen die Grenzkosten jeder Inferenz gegen null. Bei 10 Millionen Token pro Tag kosten drei Jahre API eines Spitzenmodells rund 192.000 $, fast das Tausendfache eines beispielhaften Chips für 210 $.

Drei Arten, für Inferenz zu bezahlen

API: Eingabe- und Ausgabe-Token werden getrennt bepreist. Zu Listenpreisen von 2026, gemittelt bei etwa 1:1 zwischen Eingabe und Ausgabe, kosten Spitzenmodelle 6,9 bis 17,5 $ pro Million Token und günstige Modelle 0,07 bis 2,2 $. Es gibt keine Anfangsinvestition und unbegrenzte Elastizität, aber die Ausgaben wachsen linear mit der Nutzung und enden nie.

Selbst betriebene Cloud-GPU: Abgerechnet wird nach gemieteter GPU-Stunde oder nach Abschreibung beim Kauf. Legt man eine mittlere H100-Miete von 2026 auf den Durchsatz um, ergeben sich Inferenzkosten von rund 0,70 $ pro Million Token. Das ist eine Größenordnung günstiger als eine Spitzen-API, erfordert aber ein Betriebsteam, birgt ein Auslastungsrisiko und passt nicht zu Endgeräten: Die Daten müssen weiterhin in die Cloud.

Dedizierter Edge-Chip: ein einmaliger Kauf. Danach verbraucht jede Inferenz nur Strom, und ihre Grenzkosten gehen gegen null. Die Einschränkungen: Der Chip bestimmt die Modellgröße, und die Geräteintegration geschieht im Voraus.

Ein Rechenbeispiel zum Nachprüfen

Angenommen, ein Gerät verarbeitet 10 Millionen Token pro Tag. Bei 17,5 $ pro Million Token (GPT-5.5, gemittelt) sind das 10 × 17,5 $ = 175 $ pro Tag oder 175 $ × 365 × 3 ≈ 191.600 $ über drei Jahre. Eine selbst betriebene GPU zu 0,70 $ pro Million Token kommt auf 10 × 0,70 $ × 1.095 Tage ≈ 7.700 $. Ein Edge-Chip mit beispielhaften einmaligen Kosten von 210 $ bleibt in denselben drei Jahren bei 210 $, zuzüglich Strom.

Dasselbe Volumen mit anderen Modellen über drei Jahre: Claude Opus 4.8 zu 15 $ ergibt 10 × 15 $ × 1.095 ≈ 164.000 $; Gemini 3 Pro zu 6,9 $ etwa 75.600 $; Qwen Max zu 2,2 $ etwa 24.100 $; DeepSeek V3 zu 0,07 $ etwa 770 $. Selbst die günstigste API kostet über drei Jahre mehr als der Chip.

Die Amortisation ist eine einzige Division: Chipkosten ÷ monatliche API-Ausgaben. Im Fall von GPT-5.5 liegen die Monatsausgaben bei 175 $ × 30,4 ≈ 5.320 $, der Chip hat sich also nach etwa einem Tag bezahlt gemacht (210 $ ÷ 175 $ pro Tag ≈ 1,2 Tage). Senkt man die Nutzung auf 100.000 Token pro Tag, fallen die monatlichen API-Ausgaben auf etwa 53 $; die Amortisation tritt trotzdem innerhalb von vier Monaten ein (210 $ ÷ 53 $ ≈ 3,95).

Der Kostenrechner auf der Startseite von Fanshi verwendet genau diese Methode. Dort können Sie die Chipkosten zwischen 70 $ und 420 $ variieren und das Tagesvolumen ziehen, um das Ergebnis für Ihre eigene Last zu sehen.

Drei Variablen jenseits der Rechnung

Latenz: Eine API fügt einen Netzwerkumweg hinzu, ein Edge-Chip nicht. Bei Sprachinteraktion und Echtzeitsteuerung geht es bei diesem Unterschied um das Nutzungserlebnis, nicht um Kosten.

Daten: Eine API braucht die Daten in der Cloud, Edge-Inferenz nicht. Bei abgeschotteten und eingeschränkten Einsätzen entscheidet das darüber, ob die Lösung überhaupt zulässig ist.

Modell: Eine API kann jederzeit auf das neueste Modell wechseln, während das Modell eines MaskROM-Chips feststeht. Hängt das Geschäft von stetig wachsender Modellfähigkeit ab, wählen Sie den Near-Memory-Pfad oder SRAM-Compute-in-Memory, oder setzen Sie auf ein hybrides Design, bei dem das Gerät ein stabiles Modell ausführt und komplexe Aufgaben an die Cloud weitergibt.

Wann die Inferenz ins Endgerät gehört

Achten Sie auf drei Signale: Die monatliche API-Rechnung übersteigt bereits den Preis eines Chips; die Geräteflotte ist so groß, dass sich der Betrieb eines Inferenz-Clusters in der Cloud nicht mehr rechnet; oder das Geschäft kann schlicht keine Daten aus dem Gerät lassen. Jedes einzelne ist Grund genug, eine Edge-Option in die Bewertung aufzunehmen.

Bringen Sie die Frage in Ihr Projekt

Senden Sie uns Zielmodell sowie Leistungs- und Verbrauchsziele. Wir antworten mit einem Pfad und einem Evaluierungsplan.

Evaluierungskit anfragen