Kalkolu tal-ispejjeż u eżempju prattiku
F'din il-paġna
Il-formula
Id-dimensjonament tat-traffiku provviżjonat (provisioned throughput) jinżel għal somma sempliċi. L-ispiża ta’ kuljum tidher hekk:
Daily cost = (Input units + Output units) x $10
Sussegwentement, iddetermina kemm-il unità teħtieġ ibbażat fuq ir-rekwiżiti tal-TPM tiegħek u l-allokazzjoni speċifika tal-mudell:
Input units = Desired input TPM / TPM per model unit (round up)
Output units = Desired output TPM / TPM per model unit (round up)
Li tħarraq ‘il fuq (round up) mhix sempliċiment trivia kontabilistika. Ma tistax tixtri terz ta’ unità: jekk il-ħtiġijiet tiegħek jaqbżu multiplu tal-allokazzjoni anki b’token wieħed biss kull minuta, tħallas għall-unità sħiħa. L-eżempju li ġej juri kif tidher din il-fattura reali.
Eżempju sħiħ: grok-4.3
Ejja nikkunsidraw applikazzjoni tas-servizz tal-klijenti li teħtieġ 100,000 input TPM u 50,000 output TPM fuq il-mudell grok-4.3. Ejja ngħaddu mill-kalkolu pass pass.
Dan il-mudell joffri 31,500 input TPM għal kull unità, li jagħtina n-numru ta’ unitajiet tal-input:
100,000 / 31,500 = 3.17 → 4 units (round up)
Kapaċità reali miksuba: 4 x 31,500 = 126,000 input TPM. Innota l-effett tal-ħarqien ‘il fuq: tħallas għal 126,000 TPM għalkemm kont teħtieġ biss 100,000. Dawk it-26,000 TPM żejda ma jintlewx—jiffurmaw il-buffer tiegħek għal picchi fit-traffiku—imma jidhru fil-fattura.
Fuq in-naħa tal-output, l-allokazzjoni hija ta’ 12,500 TPM għal kull unità:
50,000 / 12,500 = 4.00 → 4 units
Kapaċità reali miksuba: 4 x 12,500 = 50,000 output TPM. Hawnhekk, ir-rekwiżit jaqa’ eżattament fuq multiplu tal-allokazzjoni, allura l-ebda kapaċità ma tibqa’ mhux użata. Din hija sempliċiment koinċidenza aritmetika, iżda turi drawwa utli: iċċekkja jekk aġġustament żgħir fil-ħtieġa ddikjarata tiegħek jaqbiżx il-limitu ta’ unità.
Issa sempliċiment żidhom flimkien:
Daily cost = (4 + 4) x $10 = $80/day
30-day cost = $80 x 30 = $2,400
Tqabbil mal-pay-as-you-go
Din iċ-ċifura ma tfisser xejn sakemm tqabblha mal-ispiża tal-istess volum taħt fatturazzjoni bbażata fuq l-użu. Ejja ngħidu li attwalment tikkonsma 100,000 input TPM għal 8 sigħat kuljum, 22 jum ta’ xogħol fix-xahar:
Monthly input tokens = 100,000 x 60 x 8 x 22 = 10.56 billion tokens
L-ispiża korrispondenti tiddependi mbagħad mir-rata għal kull token tal-mudell applikata għal dan il-volum. Jekk it-traffiku provviżjonat joħroġ irħas, id-deċiżjoni tittieħdet. Madankollu, il-prezz mhux l-uniku fattur: il-kapaċità riżervata tagħmel sens ukoll meta tużaha b’mod sostenibbli, aktar minn 6 sa 8 sigħat kuljum, meta ħinijiet ta’ rispons garantiti jkondizzjonaw l-esperjenza tal-utent, meta picchi fit-traffiku tal-pjattaforma jaffettwaw b’mod viżibbli l-applikazzjoni tiegħek, jew meta SLA ta’ 99.9% ikun rekwiżit tan-negozju espliċitu. kwalunkwe waħda minn dawn ir-raġunijiet waħedha tiġġustifika l-premium.
L-ispiża tal-mudell żbaljat
Ejja nieħdu l-istess rekwiżit eżatt, din id-darba fuq grok-4.20-0309-reasoning, mudell premium:
Input: 100,000 / 3,000 = 34 units
Output: 50,000 / 700 = 72 units
Daily cost = 106 x $10 = $1,060/day
30-day cost = $31,800
L-istess applikazzjoni, l-istess volum, u fattura li tiġġebbed minn $2,400 għal $31,800 fuq tletin jum. Għal chatbot tas-servizz tal-klijenti, il-mudell veloċi x’aktarx huwa biżżejjed u jiswa 13-il darba inqas mill-mudell premium. Ftakar f’dan ir-rapport: l-ebda ottimizzazzjoni tal-prompt, l-ebda negozjazzjoni kummerċjali qatt ma tkun tista’ tirkupera fattur ta’ 13 miksub jew mitluf fil-fażi tal-għażla tal-mudell.
Id-dimensjonament korrett
Għall-ewwel provviżjonament tiegħek, ibda b’mod modest. Ibda b’stima baxxa u żid il-kapaċità gradwalment: huwa aktar faċli li żżid unitajiet milli tispjega qbiż fil-baġit. Imbagħad immonitorja l-użu attwali bl-użu tal-metriċi dettaljati tal-konsum ipprovduti mill-Management API, li se jgħidulek fi ftit jiem jekk l-istima inizjali tiegħek kellhiex raġun. Madankollu, ippjana għal marġni ta’ kapaċità ta’ 20 sa 30% biex tassorbi l-picki, inkella jum wieħed mhux tas-soltu biżżejjed biex jissatura l-allokazzjoni.
Iaf li teżisti xibka ta’ sigurtà: it-talbiet li jaqbżu l-allokazzjoni tiegħek awtomatikament jerġgħu lura għall-pay-as-you-go. Qbiż ma jikkawżax interruzzjoni tas-servizz; jipproduċi linja ekstra fil-fattura—li tibqa’, fil-biċċa l-kbira tal-kuntesti, il-kompromess mixtieq.
Punti Ewlenin
- Il-formula hija sempliċi: (input units + output units) x $10/jum
- Dejjem ħarraq ‘il fuq in-numru ta’ unitajiet meħtieġa
- L-għażla tal-mudell għandha impatt kbir fuq l-ispiża: fattur ta’ 13x bejn mudell veloċi u premium
- It-traffiku provviżjonat huwa effiċjenti fl-ispejjeż għal użu sostnut (6+ sigħat/jum)
- Il-fall-back tal-pay-as-you-go jassorbi awtomatikament il-qbiż