Vyhrazená kapacita a rezervovaná propustnost
Na této stránce
Rezervuj si kapacitu místo sdílení
Rezervovaná propustnost (Provisioned Throughput) je technickou páteří nabídky xAI pro velké podniky. Princip se vejde do jedné věty: rezervuješ si vyhrazenou zpracovatelskou kapacitu pro své modely Grok a tvůj výkon přestane záviset na globálním vytížení platformy. Celá hodnota spočívá v této nezávislosti a její pochopení je klíčové pro rozhodnutí, zda ji aktivovat.
Co tě čeká bez vyhrazené kapacity
V režimu platby podle skutečného použití (pay-as-you-go) sdílíš infrastrukturu se všemi ostatními uživateli API. Většinu času si toho nevšimneš. Problém se objeví při špičkách poptávky a tvé operační týmy okamžitě rozpoznají příznaky. Doby odezvy se zvyšují, ale co hůře, stávají se proměnlivými – což je mnohem horší než stálá pomalost, protože rozhraní navržené pro dvousekundovou odezvu funguje špatně, pokud někdy trvá osm sekund. Následně se objeví chyby omezování rychlosti (rate limiting) s kódem 429 a tvá aplikace musí řešit opakované pokusy, které dále zvyšují latenci vnímanou uživatelem. Občasné degradace dostupnosti mohou nakonec postihnout službu přesně v okamžiku, kdy je poptávka nejvyšší.
Rezervovaná propustnost toto riziko eliminuje. Tvé požadavky jsou zpracovávány na kapacitě vyhrazené pouze pro tebe, se zaručenou prioritou a mnohem konzistentnějšími dobami odezvy. Neposouváš jen náklady; posouváš riziko: riziko výkonu přechází z tvé aplikace na poskytovatele.
Myšlení v jednotkách
Kapacitu kupuješ v jednotkách a tento koncept se bude vracet v každé následující lekci. Každá jednotka odpovídá přidělení tokenů za minutu (TPM) pro daný model. Pro tvé výpočty je zásadní toto: vstupní jednotky, které zpracovávají tvé prompty, a výstupní jednotky, které generují odpovědi, se nakupují odděleně.
Ceník je však překvapivě jednoduchý: 10 USD za jednotku na den, bez ohledu na model. Cena jednotky se nikdy nemění z modelu na model, ale TPM, které tato jednotka poskytuje, ano. Velmi výkonný model ti dá málo, lehčí model mnohem více a tento rozdíl vytváří značné rozdíly v nákladech, které kvantifikujeme za dvě lekce.
Rozhodování, zda to potřebuješ
Produkční aplikace podléhající přísným požadavkům na latenci přesně odpovídá problému, který tento mechanismus řeší, takže není důvod váhat. Automatizovaná podpora se ocitá ve stejné situaci s dodatkem: každá sekunda čekání se promítá v opuštění hovoru nebo v příchozí hovor, který budeš muset řešit jiným způsobem. Zpracování velkých, předvídatelných objemů v reálném čase je také dobrým kandidátem; předvídatelnost zde činí plánování kapacity spolehlivým. Obecně platí, že jakákoli aplikace, kde přerušení nese vysoké náklady měřitelné v dolarech nebo reputaci, ospravedlňuje rezervaci kapacity.
Opačné uvažování je stejně užitečné. Noční dávkový proces bez časových omezení nezíská z vyhrazené kapacity nic: zda skončí ve 3:00, nebo ve 4:00 ráno, nic nemění a platba podle skutečného použití zůstává jednoznačně úspornější. Stejný závěr platí pro prototypování a nízké objemy. Pokud stále váháš, polož si před závazkem na 30 dní konkrétní otázku: kolik hodin denně běžel tento servis za posledních 30 dní na plný výkon? Upřímná odpověď téměř vždy vyřeší debatu.
Klíčové poznatky
- Rezervovaná propustnost vyhrazuje vyhrazenou kapacitu za 10 USD za jednotku na den
- Minimální závazek je 30 dní
- SLA 99,9 % je smluvně garantováno
- Výkon je konstantní bez ohledu na globální vytížení platformy
- Platba podle skutečného použití zůstává výhodnější pro nízké objemy a prototypování