Omkostningsberegning og gennemregnet eksempel
På denne side
Formlen
Dimensionering af provisioneret throughput handler om simpel addition. De daglige omkostninger ser således ud:
Daily cost = (Input units + Output units) x $10
Dernæst skal du beregne, hvor mange enheder du har brug for, baseret på dine TPM-krav og modellens specifikke tildeling:
Input units = Desired input TPM / TPM per model unit (round up)
Output units = Desired output TPM / TPM per model unit (round up)
At runde op er ikke bare bogholderi-trivia. Du kan ikke købe en tredjedel af en enhed: Hvis dit behov overstiger et multiplum af tildelingen med blot ét token per minut, betaler du for hele enheden. Følgende eksempel viser, hvordan dette ser ud på en rigtig regning.
Et komplet eksempel: grok-4.3
Overvej en kundesupport-applikation, der kræver 100.000 input-TPM og 50.000 output-TPM på modellen grok-4.3. Lad os gennemgå beregningen trin for trin.
Denne model tilbyder 31.500 input-TPM per enhed, hvilket giver os antallet af input-enheder:
100,000 / 31,500 = 3.17 → 4 units (round up)
Faktisk opnået kapacitet: 4 x 31.500 = 126.000 input-TPM. Bemærk effekten af afrundingen: Du betaler for 126.000 TPM, selvom du kun havde brug for 100.000. De ekstra 26.000 TPM er ikke spildt – de udgør din buffer til trafikspidsbelastninger – men de optræder på regningen.
På output-siden er tildelingen 12.500 TPM per enhed:
50,000 / 12,500 = 4.00 → 4 units
Faktisk opnået kapacitet: 4 x 12.500 = 50.000 output-TPM. Her rammer kravet præcist et multiplum af tildelingen, så ingen kapacitet går ubrugt hen. Dette er blot et aritmetisk sammentræf, men det illustrerer en nyttig vane: Tjek om en lille justering af dit angivne behov krydser en enhedstærskel.
Nu skal du bare lægge det sammen:
Daily cost = (4 + 4) x $10 = $80/day
30-day cost = $80 x 30 = $2,400
Sammenligning med pay-as-you-go
Dette tal betyder ingenting, før du sammenligner det med omkostningen ved samme volumen under forbrugsbaseret fakturering. Antag, at du faktisk forbruger 100.000 input-TPM i 8 timer om dagen, 22 arbejdsdage om måneden:
Monthly input tokens = 100,000 x 60 x 8 x 22 = 10.56 billion tokens
Den tilsvarende omkostning afhænger derefter af modellens pris per token anvendt på dette volumen. Hvis provisioneret throughput viser sig at være billigere, er beslutningen truffet. Pris er dog ikke den eneste faktor: Reserveret kapacitet giver også mening, når du bruger det bæredygtigt (mere end 6 til 8 timer om dagen), når garanterede svartider er afgørende for brugeroplevelsen, når platformens trafikspidsbelastninger synligt påvirker din applikation, eller når en SLA på 99,9 % er et eksplicit forretningskrav. Hver enkelt af disse grunde alene retfærdiggør merprisen.
Omkostningen ved den forkerte model
Lad os tage præcis samme krav, denne gang på grok-4.20-0309-reasoning, en premium-model:
Input: 100,000 / 3,000 = 34 units
Output: 50,000 / 700 = 72 units
Daily cost = 106 x $10 = $1,060/day
30-day cost = $31,800
Samme applikation, samme volumen, og en regning, der springer fra $2.400 til $31.800 over tredive dage. Til en kundesupport-chatbot er den hurtige model med stor sandsynlighed tilstrækkelig og koster 13 gange mindre end premium-modellen. Husk denne ratio: Ingen prompt-optimering, ingen kommerciel forhandling vil nogensinde kunne indhente en faktor 13, der er vundet eller tabt på valget af model.
Korrekt dimensionering
Start beskedent ved din første provisionering. Begynd med et lavt estimat og skalér op: Det er lettere at tilføje enheder end at forklare et budgetoverskridelse. Overvåg derefter det faktiske forbrug ved hjælp af de detaljerede forbrugsmetrics, som Management API leverer; de vil fortælle dig inden for få dage, om dit oprindelige estimat holdt vand. Planlæg alligevel for en kapacitetsmargin på 20 til 30 % for at absorbere spidsbelastninger, ellers er en enkelt usædvanlig dag nok til at mætte tildelingen.
Vid, at der findes et sikkerhedsnet: Anmodninger, der overstiger din tildeling, falder automatisk tilbage til pay-as-you-go. En overskridelse forårsager ikke serviceafbrydelse; den producerer blot en ekstra linje på regningen – hvilket i de fleste sammenhænge forbliver det ønskværdige kompromis.
Vigtige pointer
- Formlen er simpel: (input-enheder + output-enheder) x $10/dag
- Rund altid antallet af nødvendige enheder op
- Valg af model har stor indflydelse på omkostningerne: En faktor 13 mellem hurtige og premium-modeller
- Provisioneret throughput er omkostningseffektivt ved vedvarende brug (6+ timer/dag)
- Pay-as-you-go-fallback absorberer automatisk overskridelser