Kostnadsberäkning och genomgående exempel
På denna sida
Formeln
Dimensionering av provisionerad genomströmning handlar om enkel addition. Den dagliga kostnaden ser ut så här:
Daily cost = (Input units + Output units) x $10
Bestäm därefter hur många enheter du behöver baserat på dina TPM-krav och modellens specifika tilldelning:
Input units = Desired input TPM / TPM per model unit (round up)
Output units = Desired output TPM / TPM per model unit (round up)
Att avrunda uppåt är inte bara en bokföringsdetalj. Du kan inte köpa en tredjedel av en enhet: om ditt behov överstiger en multipel av tilldelningen med ens en enda token per minut, betalar du för hela enheten. Följande exempel visar hur detta ser ut på en riktig faktura.
Ett komplett exempel: grok-4.3
Tänk dig ett kundtjänstprogram som kräver 100 000 input-TPM och 50 000 output-TPM på modellen grok-4.3. Låt oss gå igenom beräkningen steg för steg.
Denna modell erbjuder 31 500 input-TPM per enhet, vilket ger oss antalet input-enheter:
100,000 / 31,500 = 3.17 → 4 units (round up)
Faktisk kapacitet erhållen: 4 x 31 500 = 126 000 input-TPM. Lägg märke till avrundningseffekten: du betalar för 126 000 TPM även om du bara behövde 100 000. De där extra 26 000 TPM slösas inte bort – de utgör din buffert för trafiktoppars – men de syns ändå på fakturan.
På output-sidan är tilldelningen 12 500 TPM per enhet:
50,000 / 12,500 = 4.00 → 4 units
Faktisk kapacitet erhållen: 4 x 12 500 = 50 000 output-TPM. Här landar kravet exakt på en multipel av tilldelningen, så ingen kapacitet går förlorad. Detta är bara en aritmetisk slump, men det illustrerar en nyttig vana: kontrollera om en liten justering av ditt angivna behov korsar tröskeln för en ny enhet.
Nu summerar vi bara:
Daily cost = (4 + 4) x $10 = $80/day
30-day cost = $80 x 30 = $2,400
Jämförelse med pay-as-you-go
Denna siffra betyder ingenting förrän du jämför den med kostnaden för samma volym vid användningsbaserad fakturering. Anta att du faktiskt konsumerar 100 000 input-TPM i 8 timmar per dag, 22 arbetsdagar per månad:
Monthly input tokens = 100,000 x 60 x 8 x 22 = 10.56 billion tokens
Den motsvarande kostnaden beror sedan på modellens pris per token tillämpat på denna volym. Om provisionerad genomströmning visar sig vara billigare är beslutet fattat. Pris är dock inte den enda faktorn: reserverad kapacitet är också förnuftigt när du använder den hållbart, mer än 6 till 8 timmar per dag, när garanterade svarstider är avgörande för användarupplevelsen, när trafiktoppars på plattformen synbart påverkar ditt program, eller när en SLA på 99,9 % är ett uttryckligt affärskrav. Varje enskilt av dessa skäl motiverar premien i sig.
Kostnaden för fel modell
Låt oss ta exakt samma krav, denna gång på grok-4.20-0309-reasoning, en premiummodell:
Input: 100,000 / 3,000 = 34 units
Output: 50,000 / 700 = 72 units
Daily cost = 106 x $10 = $1,060/day
30-day cost = $31,800
Samma program, samma volym, och en faktura som hoppar från 2 400 USD till 31 800 USD över trettio dagar. För en chattbot inom kundtjänst är den snabba modellen mycket sannolikt tillräcklig och kostar 13 gånger mindre än premiummodellen. Kom ihåg denna kvot: ingen prompt-optimering, ingen kommersiell förhandling kommer någonsin att återvinna en faktor 13 som vinns eller förloras vid valet av modell.
Rätt dimensionering
Börja blygsamt med din första provisionering. Starta med en låg uppskattning och skala upp: det är lättare att lägga till enheter än att förklara ett budgetöverskridande. Övervaka sedan den faktiska användningen med hjälp av de detaljerade förbrukningsmåtten som tillhandahålls av Management API, vilket inom några dagar kommer att berätta för dig om din första uppskattning höll. Planera ändå för en kapacitetsmarginal på 20 till 30 % för att absorbera toppar, annars räcker en enda ovanlig dag för att mätta tilldelningen.
Vet att det finns ett säkerhetsnät: begäranden som överstiger din tilldelning faller automatiskt tillbaka till pay-as-you-go. Ett överskridande orsakar inte serviceavbrott; det producerar en extra rad på fakturan – vilket i de flesta sammanhang fortfarande är den önskvärda kompromissen.
Viktiga punkter
- Formeln är enkel: (input-enheter + output-enheter) x 10 USD/dag
- Avrunda alltid uppåt antalet erforderliga enheter
- Modellvalet har stor inverkan på kostnaden: en faktor 13 mellan snabb och premium
- Provisionerad genomströmning är kostnadseffektivt vid hållbar användning (6+ timmar/dag)
- Fallback till pay-as-you-go absorberar automatiskt överskridanden