Izračun troškova i praktični primjer
Na ovoj stranici
Formula
Odabir veličine rezervirane propusnosti svodi se na jednostavno zbrajanje. Dnevni trošak izgleda ovako:
Daily cost = (Input units + Output units) x $10
Zatim odredi koliko jedinica trebaš na temelju svojih TPM zahtjeva i specifične raspodjele modela:
Input units = Desired input TPM / TPM per model unit (round up)
Output units = Desired output TPM / TPM per model unit (round up)
Zaokruživanje na viši cijeli broj nije samo računovodstvena sitnica. Ne možeš kupiti trećinu jedinice: ako tvoje potrebe premašuju višekratnik raspodjele čak i za jedan token u minuti, plaćaš cijelu jedinicu. Sljedeći primjer pokazuje kako to izgleda na stvarnom računu.
Potpuni primjer: grok-4.3
Zamisli aplikaciju za korisničku podršku koja zahtijeva 100.000 ulaznih TPM i 50.000 izlaznih TPM na modelu grok-4.3. Prođimo kroz izračun korak po korak.
Ovaj model nudi 31.500 ulaznih TPM po jedinici, što nam daje broj ulaznih jedinica:
100,000 / 31,500 = 3.17 → 4 units (round up)
Stvarni dobiveni kapacitet: 4 x 31.500 = 126.000 ulaznih TPM. Primijeti učinak zaokruživanja: plaćaš 126.000 TPM iako ti je trebalo samo 100.000. Tih dodatnih 26.000 TPM nije bačeno – oni čine tvoj tampon za skokove prometa – ali se pojavljuju na računu.
Na strani izlaza, raspodjela iznosi 12.500 TPM po jedinici:
50,000 / 12,500 = 4.00 → 4 units
Stvarni dobiveni kapacitet: 4 x 12.500 = 50.000 izlaznih TPM. Ovdje zahtjev točno pada na višekratnik raspodjele, pa nema neiskorištenog kapaciteta. To je samo aritmetička slučajnost, ali ilustrira korisnu naviku: provjeri prelazi li blago prilagođavanje tvoje navedene potrebe prag jedinice.
Sada ih samo zbroji:
Daily cost = (4 + 4) x $10 = $80/day
30-day cost = $80 x 30 = $2,400
Usporedba s plaćanjem po korištenju
Ova brojka nema smisla dok je ne usporediš s troškom istog volumena prema naplati temeljenoj na korištenju. Pretpostavimo da stvarno trošiš 100.000 ulaznih TPM tijekom 8 sati dnevno, 22 radna dana u mjesecu:
Monthly input tokens = 100,000 x 60 x 8 x 22 = 10.56 billion tokens
Odgovarajući trošak tada ovisi o cijeni po tokenu za taj model primijenjenoj na ovaj volumen. Ako se rezervirana propusnost pokaže jeftinijom, odluka je donesena. Međutim, cijena nije jedini faktor: rezervirani kapacitet ima smisla i kada ga koristiš održivo, više od 6 do 8 sati dnevno, kada zajamčena vremena odziva uvjetuju korisničko iskustvo, kada skokovi prometa na platformi vidljivo utječu na tvoju aplikaciju ili kada je SLA od 99,9 % izričit poslovni zahtjev. Bilo koji od ovih razloga sam po sebi opravdava višu cijenu.
Cijena pogrešnog modela
Uzmimo točno isti zahtjev, ovaj put na modelu grok-4.20-0309-reasoning, koji je premium model:
Input: 100,000 / 3,000 = 34 units
Output: 50,000 / 700 = 72 units
Daily cost = 106 x $10 = $1,060/day
30-day cost = $31,800
Ista aplikacija, isti volumen, a račun skače s 2.400 $ na 31.800 $ u trideset dana. Za chatbota korisničke podrške, brzi model je vrlo vjerojatno dovoljan i košta 13 puta manje od premium modela. Zapamti ovaj omjer: nikakva optimizacija prompta, nikakvi komercijalni pregovori nikada neće nadoknaditi faktor od 13 dobiven ili izgubljen u fazi odabira modela.
Ispravno dimenzioniranje
Za svoju prvu rezervaciju kreni skromno. Počni s niskom procjenom i povećavaj kapacitet: lakše je dodati jedinice nego objašnjavati prekoračenje proračuna. Zatim prati stvarnu uporabu pomoću detaljnih metrika potrošnje koje nudi Management API, koje će ti u roku od nekoliko dana reći je li tvoja početna procjena bila točna. Ipak, planiraj marginu kapaciteta od 20 do 30 % za apsorpciju skokova, inače je dovoljan samo jedan neuobičajen dan da se raspodjela zasiti.
Znaj da postoji sigurnosna mreža: zahtjevi koji premašuju tvoju raspodjelu automatski se prebacuju na plaćanje po korištenju. Prekoračenje ne uzrokuje prekid usluge; ono proizvodi dodatnu stavku na računu – što u većini konteksta ostaje poželjan kompromis.
Ključne točke
- Formula je jednostavna: (ulazne jedinice + izlazne jedinice) x 10 $/dan
- Uvijek zaokruži broj potrebnih jedinica na viši cijeli broj
- Izbor modela ima velik utjecaj na trošak: faktor 13x između brzog i premium modela
- Rezervirana propusnost isplativa je za održivo korištenje (6+ sati/dan)
- Sigurnosno prebacivanje na plaćanje po korištenju automatski apsorbira prekoračenja