Kustannuslaskenta ja käytännön esimerkki
Tällä sivulla
Kaava
Varatun läpivirtauksen mitoitus palautuu yksinkertaiseen yhteenlaskuun. Päivittäinen kustannus näyttää tältä:
Daily cost = (Input units + Output units) x $10
Määritä seuraavaksi tarvittavien yksiköiden määrä TPM-vaatimustesi ja mallin kohtaisen jakoperusteen pohjalta:
Input units = Desired input TPM / TPM per model unit (round up)
Output units = Desired output TPM / TPM per model unit (round up)
Ylöspäin pyöristäminen ei ole pelkkää kirjanpidollista hienosäätöä. Et voi ostaa kolmasosaa yksiköstä: jos tarpeesi ylittää jakoperusteen kerrannaisen edes yhdellä tokenilla minuutissa, maksat koko yksikön. Seuraava esimerkki havainnollistaa, miltä tämä näyttää todellisessa laskussa.
Täydellinen esimerkki: grok-4.3
Tarkastellaan asiakastukisovellusta, joka vaatii 100 000 syötteen TPM:iä ja 50 000 vastauksen TPM:iä grok-4.3-mallilla. Käydään laskenta vaiheittain läpi.
Tämä malli tarjoaa 31 500 syötteen TPM:iä yksikköä kohden, jolloin saamme syöteyksiköiden määräksi:
100,000 / 31,500 = 3.17 → 4 units (round up)
Todellinen kapasiteetti: 4 x 31 500 = 126 000 syötteen TPM. Huomaa pyöristyksen vaikutus: maksat 126 000 TPM:stä, vaikka tarvitsit vain 100 000. Nuo ylimääräiset 26 000 TPM:iä eivät mene hukkaan – ne muodostavat puskurin liikennehuippuja varten – mutta ne näkyvät laskulla.
Vastauspuolella jakoperuste on 12 500 TPM yksikköä kohden:
50,000 / 12,500 = 4.00 → 4 units
Todellinen kapasiteetti: 4 x 12 500 = 50 000 vastauksen TPM. Tässä vaatimus osuu täsmälleen jakoperusteen kerrannaiselle, joten kapasiteettia ei jää käyttämättä. Tämä on pelkkä aritmeettinen sattuma, mutta se havainnollistaa hyödyllistä tapaa: tarkista, ylittäisikö ilmoitetun tarpeen pieni säätäminen yksikkörajan.
Lasketaan nyt summa yhteen:
Daily cost = (4 + 4) x $10 = $80/day
30-day cost = $80 x 30 = $2,400
Vertailu maksa-käytön-mukaan -malliin
Tämä luku ei merkitse mitään, ennen kuin vertaat sitä samaan volyymiin käytön perusteella laskutettuna. Oletetaan, että kulutat todellisuudessa 100 000 syötteen TPM:iä 8 tuntia päivässä, 22 työpäivänä kuukaudessa:
Monthly input tokens = 100,000 x 60 x 8 x 22 = 10.56 billion tokens
Vastaava kustannus riippuu sitten mallin tokenikohtaisesta hinnasta sovellettuna tähän volyymiin. Jos varattu läpivirtaus osoittautuu edullisemmaksi, päätös on selvä. Hinta ei kuitenkaan ole ainoa tekijä: varattu kapasiteetti on järkevää myös silloin, kun käytät sitä kestävasti yli 6–8 tuntia päivässä, kun taatut vasteajat ovat ehdoton edellytys käyttäjäkokemukselle, kun alustan liikennehuiput vaikuttavat havaittavasti sovellukseesi tai kun 99,9 %:n palvelutasosopimus (SLA) on nimenomainen liiketoimintavaatimus. Mikä tahansa näistä syistä yksinään oikeuttaa lisähinnan.
Väärän mallin kustannus
Otetaan täsmälleen sama vaatimus, tällä kertaa grok-4.20-0309-reasoning-premiummallilla:
Input: 100,000 / 3,000 = 34 units
Output: 50,000 / 700 = 72 units
Daily cost = 106 x $10 = $1,060/day
30-day cost = $31,800
Sama sovellus, sama volyymi, ja lasku hyppää 2 400 dollarista 31 800 dollariin kolmenkymmenen päivän aikana. Asiakastukichatbotille nopea malli on erittäin todennäköisesti riittävä ja maksaa 13 kertaa vähemmän kuin premiummalli. Muista tämä suhdeluku: mikään kehotteiden optimointi tai kaupallinen neuvottelu ei koskaan kuori takaisin mallin valintavaiheessa voitettua tai menetettyä 13-kertaista kerrointa.
Oikea mitoitus
Aloita ensimmäinen varauksesi maltillisesti. Lähdä liikkeelle alhaisesta arviosta ja skaalaa ylöspäin: yksiköiden lisääminen on helpompaa kuin budjetin ylityksen selittely. Seuraa sen jälkeen todellista käyttöä Hallinta-API:n tarjoamien yksityiskohtaisten kulutusmittareiden avulla; ne kertovat muutamassa päivässä, pitikö alkuperäinen arviosi paikkansa. Suunnittele silti 20–30 %:n kapasiteettimarginaali huippujen absorboimiseksi, muuten yksi epätavallinen päivä riittää kyllästämään varauksen.
Tiedä, että turvaverkko on olemassa: varauksen ylittävät pyynnöt palautuvat automaattisesti maksa-käytön-mukaan -laskutukseen. Ylitys ei aiheuta palvelukatkoa; se tuottaa laskulle ylimääräisen rivin – mikä useimmissa konteksteissa pysyy toivottavana kompromissina.
Keskeiset asiat
- Kaava on yksinkertainen: (syöteyksiköt + vastausyksiköt) x 10 $/pv
- Pyöristä aina tarvittavien yksiköiden määrä ylöspäin
- Mallin valinnalla on valtava vaikutus kustannuksiin: nopean ja premiummallin välillä on 13-kertainen ero
- Varattu läpivirtaus on kustannustehokasta kestokäytössä (yli 6 tuntia/pv)
- Maksa-käytön-mukaan -varajärjestelmä absorboi automaattisesti ylitykset