Költségszámítás és kidolgozott példa
Ezen az oldalon
A képlet
A lefoglalt átviteli sebesség (provisioned throughput) méretezése egyszerű összeadásra vezethető vissza. A napi költség így néz ki:
Daily cost = (Input units + Output units) x $10
Ezután határozd meg, hány egységre van szükséged a TPM-követelményeid és a modell specifikus kiosztása alapján:
Input units = Desired input TPM / TPM per model unit (round up)
Output units = Desired output TPM / TPM per model unit (round up)
A felfelé kerekítés nem csupán elszámolási apróság. Nem vehetsz egy egység harmadát: ha az igényeid akár csak egyetlen tokennel per perc meghaladják a kiosztás többszörösét, akkor a teljes egységért kell fizetned. A következő példa megmutatja, hogyan fest ez a valós számlán.
Teljes példa: grok-4.3
Vegyünk egy ügyfélszolgálati alkalmazást, amelynek 100 000 bemeneti TPM-re és 50 000 kimeneti TPM-re van szüksége a grok-4.3 modellen. Végigvisszük a számítást lépésről lépésre.
Ez a modell egységenként 31 500 bemeneti TPM-et biztosít, ami megadja a bemeneti egységek számát:
100,000 / 31,500 = 3.17 → 4 units (round up)
A ténylegesen kapott kapacitás: 4 x 31 500 = 126 000 bemeneti TPM. Figyeld meg a kerekítés hatását: 126 000 TPM-ért fizetsz, pedig csak 100 000-re volt szükséged. Az a plusz 26 000 TPM nem vész kárba – ez alkotja a pufferedet a forgalmi csúcsok kezelésére –, de megjelenik a számlán.
A kimeneti oldalon a kiosztás egységenként 12 500 TPM:
50,000 / 12,500 = 4.00 → 4 units
A ténylegesen kapott kapacitás: 4 x 12 500 = 50 000 kimeneti TPM. Itt az igény pontosan a kiosztás többszörösére esik, így nincs kihasználatlan kapacitás. Ez csupán számtani véletlen, de szemléltet egy hasznos szokást: ellenőrizd, hogy az igényeid enyhe módosítása átlép-e egy egységküszöböt.
Most már csak össze kell adni őket:
Daily cost = (4 + 4) x $10 = $80/day
30-day cost = $80 x 30 = $2,400
Összehasonlítás a használatarányos fizetéssel
Ez az érték önmagában semmit sem jelent, amíg nem hasonlítod össze ugyanennek a mennyiségnek a használatarányos számlázás melletti költségével. Tegyük fel, hogy ténylegesen 100 000 bemeneti TPM-et fogyasztasz naponta 8 órán át, havi 22 munkanapon:
Monthly input tokens = 100,000 x 60 x 8 x 22 = 10.56 billion tokens
A megfelelő költség ezután a modell tokenenkénti díjának és ennek a mennyiségnek a szorzata. Ha a lefoglalt átviteli sebesség olcsóbbnak bizonyul, a döntés megszületett. Az ár azonban nem az egyetlen tényező: a fenntartott kapacitás akkor is értelmes választás, ha tartósan használod (napi 6–8 óránál többet), ha a garantált válaszidők feltételei a felhasználói élménynek, ha a platform forgalmi csúcsai láthatóan hatnak az alkalmazásodra, vagy ha a 99,9%-os SLA kifejezett üzleti követelmény. Ezen okok bármelyike önmagában is indokolja a felárat.
A rossz modell költsége
Vegyük ugyanazt az igényt, ezúttal a grok-4.20-0309-reasoning prémium modellen:
Input: 100,000 / 3,000 = 34 units
Output: 50,000 / 700 = 72 units
Daily cost = 106 x $10 = $1,060/day
30-day cost = $31,800
Ugyanaz az alkalmazás, ugyanaz a mennyiség, és a számla 2400 dollárról 31 800 dollárra ugrik harminc nap alatt. Egy ügyfélszolgálati chatbot esetén a gyors modell nagy valószínűséggel elegendő, és 13-szor kevesebbe kerül, mint a prémium modell. Jegyezd meg ezt az arányt: semmilyen prompt-optimalizálás, semmilyen kereskedelmi tárgyalás nem fogja soha behozni azt a 13-as szorzót, amit a modell kiválasztásakor nyertél vagy elvesztettél.
Helyes méretezés
Az első foglalásodnál kezdj szerényen. Indulj egy alacsony becsléssel, és skálázz felfelé: könnyebb egységeket hozzáadni, mint túllépett költségvetést magyarázni. Ezután figyeld a tényleges felhasználást a Management API által biztosított részletes fogyasztási metrikák segítségével, amelyek néhány napon belül megmondják, hogy az első becslésed megállta-e a helyét. Mindazonáltal számolj 20–30%-os kapacitástartalékkal a csúcsok elnyelésére, különben egyetlen szokatlan nap is elég a kiosztás telítődéséhez.
Tudd, hogy létezik biztonsági háló: a kiosztásodat meghaladó kérések automatikusan visszaesnek a használatarányos fizetésre. A túllépés nem okoz szolgáltatáskiesést; csupán egy extra tételt eredményez a számlán – ami a legtöbb kontextusban továbbra is a kívánatos kompromisszum.
Főbb megállapítások
- A képlet egyszerű: (bemeneti egységek + kimeneti egységek) x 10 USD/nap
- Mindig felfelé kerekítsd a szükséges egységek számát
- A modellválasztás jelentős hatással van a költségre: 13-szoros tényező a gyors és a prémium modellek között
- A lefoglalt átviteli sebesség költséghatékony a tartós használat esetén (napi 6+ óra)
- A használatarányos fizetésre való visszaesés automatikusan elnyeli a túllépéseket