Namjenski kapacitet i rezervirana propusnost
Na ovoj stranici
Rezerviraj kapacitet umjesto da ga dijeliš
Rezervirana propusnost (Provisioned Throughput) tehnička je okosnica xAI-jeve ponude za velika poduzeća. Načelo staje u jednu rečenicu: rezerviraš namjenski kapacitet obrade za svoje modele Grok, a tvoje performanse više ne ovise o globalnom opterećenju platforme. Sva vrijednost leži u toj neovisnosti, a njezino razumijevanje ključno je za odluku hoćeš li je aktivirati.
S čime se suočavaš bez rezerviranog kapaciteta
U načinu plaćanja prema potrošnji (pay-as-you-go) tvoji zahtjevi dijele infrastrukturu sa svakim drugim korisnikom API-ja. Većinu vremena to nećeš ni primijetiti. Problem izbija tijekom skokova potražnje, a tvoji operativni timovi odmah će prepoznati simptome. Vremena odgovora rastu, ali što je gore, postaju promjenjiva – što je daleko gore od stalne sporosti, jer sučelje dizajnirano za dvosekundni odgovor loše radi kada ponekad traje osam sekundi. Zatim se pojavljuju pogreške ograničenja stope (rate limiting) s kodom 429, pa tvoja aplikacija mora upravljati ponovnim pokušajima koji dodatno povećavaju kašnjenje koje korisnik osjeća. Povremena degradacija dostupnosti može naposljetku zahvatiti uslugu upravo kada je potražnja najveća.
Rezervirana propusnost uklanja tu izloženost. Tvoji se zahtjevi obrađuju na kapacitetu rezerviranom isključivo za tebe, sa zajamčenim prioritetom i znatno ujednačenijim vremenima odgovora. Ne pomičeš samo trošak; pomičeš rizik: rizik performansi prelazi s tvoje aplikacije na pružatelja usluge.
Razmišljanje u jedinicama
Kapacitet kupuješ u jedinicama, a taj će se koncept vraćati u svakoj sljedećoj lekciji. Svaka jedinica odgovara dodjeli tokena u minuti (TPM) za određeni model. Ključno za tvoje izračune: ulazne jedinice, koje obrađuju tvoje upite, i izlazne jedinice, koje proizvode odgovore, kupuju se odvojeno.
Cjenik je, međutim, jednostavan do krajnosti: $10 po jedinici dnevno, bez obzira na model. Cijena jedinice nikada ne varira od modela do modela, ali TPM koji ta jedinica osigurava – varira. Vrlo snažan model daje ti malo, lakši model puno više, a taj jaz stvara znatne razlike u troškovima koje ćemo kvantificirati za dvije lekcije.
Odluka trebaš li to
Produkcijska aplikacija pod strogim zahtjevima za kašnjenje točno odgovara problemu koji ovaj mehanizam rješava, pa ima malo razloga za oklijevanje. Automatizirana podrška nalazi se u istoj situaciji, s dodatnim argumentom: svaka sekunda čekanja prevodi se u odustajanje korisnika ili dolazni poziv koji ćeš morati riješiti na drugi način. Obrada velikih, predvidivih volumena u stvarnom vremenu također je dobar kandidat; predvidljivost ovdje čini dimenzioniranje pouzdanim. Općenito, svaka aplikacija u kojoj prekid nosi visok trošak, mjerljiv u dolarima ili reputaciji, opravdava rezerviranje kapaciteta za nju.
Obrnuto razmišljanje jednako je korisno. Noćni batch proces bez vremenskih ograničenja ne dobiva ništa rezerviranim kapacitetom: mijenja li se vrijeme završetka s 3:00 na 4:00 ujutro, ništa se ne mijenja, a plaćanje prema potrošnji ostaje iskreno isplativije. Isti zaključak vrijedi za prototipiranje i male volumene. Ako još uvijek oklijevaš, postavi si konkretno pitanje prije nego što se obvežeš na 30 dana: koliko je sati dnevno tijekom posljednjih 30 dana ova usluga zapravo radila pod punim opterećenjem? Iskren odgovor gotovo uvijek rješava raspravu.
Ključne točke
- Rezervirana propusnost rezervira namjenski kapacitet po cijeni od $10 po jedinici dnevno
- Minimalna obveza iznosi 30 dana
- SLA od 99,9 % ugovorno je zajamčen
- Performanse su stalne bez obzira na globalno opterećenje platforme
- Plaćanje prema potrošnji ostaje poželjnije za male volumene i prototipiranje