Izračun stroškov in delovni primer
Na tej strani
Formula
Določanje velikosti rezervirane prepustnosti (provisioned throughput) se свede na preprosto seštevanje. Dnevni strošek izgleda takole:
Daily cost = (Input units + Output units) x $10
Nato določi, koliko enot potrebuješ, na podlagi svojih zahtev glede TPM (tokenov na minuto) in specifične dodelitve za model:
Input units = Desired input TPM / TPM per model unit (round up)
Output units = Desired output TPM / TPM per model unit (round up)
Zaokroževanje navzgor ni le računovodska malenkost. Enote ne moreš kupiti v tretjinah: če tvoje potrebe le za en sam token na minuto presežejo večkratnik dodelitve, plačaš za celo enoto. Naslednji primer prikazuje, kako to izgleda na stvarnem računu.
Celoten primer: grok-4.3
Predstavljaj si aplikacijo za podporo strankam, ki zahteva 100.000 vhodnih TPM in 50.000 izhodnih TPM na modelu grok-4.3. Poglejmo si izračun korak za korakom.
Ta model ponuja 31.500 vhodnih TPM na enoto, kar nam da število vhodnih enot:
100,000 / 31,500 = 3.17 → 4 units (round up)
Dejanska pridobljena zmogljivost: 4 x 31.500 = 126.000 vhodnih TPM. Opazi učinek zaokroževanja: plačaš za 126.000 TPM, čeprav si potreboval le 100.000. Tih dodatnih 26.000 TPM ni zapravljenih – tvorijo tvoj medpomnilnik za prometne konice – vendar se pojavijo na računu.
Na strani izhoda je dodelitev 12.500 TPM na enoto:
50,000 / 12,500 = 4.00 → 4 units
Dejanska pridobljena zmogljivost: 4 x 12.500 = 50.000 izhodnih TPM. Tu zahteva točno ustreza večkratniku dodelitve, zato nobena zmogljivost ne ostane neizkoriščena. To je zgolj aritmetično naključje, vendar ponazarja koristno navado: preveri, ali rahla prilagoditev tvoje navedene potrebe prekorači prag enote.
Zdaj jih samo seštej:
Daily cost = (4 + 4) x $10 = $80/day
30-day cost = $80 x 30 = $2,400
Primerjava s plačilom po porabi
Ta številka sama po sebi nič ne pomeni, dokler je ne primerjaš s stroškom enakega obsega pri obračunu glede na uporabo. Predpostavimo, da dejansko porabiš 100.000 vhodnih TPM 8 ur na dan, 22 delovnih dni na mesec:
Monthly input tokens = 100,000 x 60 x 8 x 22 = 10.56 billion tokens
Ustrezni strošek je nato odvisen od cene na token za ta model, uporabljene na ta obseg. Če se rezervirana prepustnost izkaže za cenejšo, je odločitev jasna. Vendar cena ni edini dejavnik: rezervirana zmogljivost ima smisel tudi, ko jo uporabljaš trajnostno, več kot 6 do 8 ur na dan, ko zagotovljeni odzivni časi pogojujejo uporabniško izkušnjo, ko konice prometa na platformi vidno vplivajo na tvojo aplikacijo ali ko je 99,9-odstotna SLA izrecna poslovna zahteva. Že katerikoli od teh razlogov sam po sebi upravičuje višjo ceno.
Cena napačnega modela
Vzemimo popolnoma enako zahtevo, tokrat na modelu grok-4.20-0309-reasoning, ki je premijski model:
Input: 100,000 / 3,000 = 34 units
Output: 50,000 / 700 = 72 units
Daily cost = 106 x $10 = $1,060/day
30-day cost = $31,800
Ista aplikacija, isti obseg in račun skoči z 2.400 $ na 31.800 $ v tridesetih dneh. Za klepetalnega bota za podporo strankam je hiter model zelo verjetno zadosten in stane 13-krat manj kot premijski model. Zapomni si to razmerje: nobena optimizacija pozivov, nobeno komercialno pogajanje nikoli ne bo povrnilo faktorja 13, dobljenega ali izgubljenega že na stopnji izbire modela.
Pravilno določanje velikosti
Za svojo prvo rezervacijo začni skromno. Začni z nizko oceno in stopnjuj navzgor: lažje je dodajati enote, kot pa razlagati presežek proračuna. Nato spremljaj dejansko uporabo s pomočjo podrobnih metrik porabe, ki jih zagotavlja Management API; te ti bodo v nekaj dneh povedale, ali je tvoja začetna ocena držala. Kljub temu načrtuj 20- do 30-odstotno rezervo zmogljivosti za absorpcijo konic, sicer je dovolj že en sam nenavaden dan, da zapolniš dodelitev.
Vedi, da obstaja varnostna mreža: zahteve, ki presegajo tvojo dodelitev, samodejno preidejo na plačilo po porabi. Prekoračitev ne povzroči prekinitve storitve; proizvede le dodatno postavko na računu – kar v večini kontekstov ostaja zaželena kompromisna rešitev.
Ključne ugotovitve
- Formula je preprosta: (vhodne enote + izhodne enote) x 10 $/dan
- Število potrebnih enot vedno zaokroži navzgor
- Izbira modela močno vpliva na stroške: faktor 13x med hitrim in premijskim modelom
- Rezervirana prepustnost je stroškovno učinkovita pri trajni uporabi (6+ ur/dan)
- Nadomestno plačilo po porabi samodejno absorbira prekoračitve