Glave API in upravljanje preobremenitve
Na tej strani
Odloči se, katere zahteve porabijo tvojo zmogljivost
Rezerviranje zmogljivosti reši le polovico težave: še vedno moraš izbrati, katere zahteve bodo od tega dejansko imele korist. Predhodno dodeljena prepustnost (provisioned throughput) ni pavšalni nakup, ki ga opraviš enkrat na začetku meseca; gre za mehanizem, ki ga nadziraš klic za klicem. xAI za ta namen omogoča posebne glave HTTP, ki za vsako zahtevo posebej odločajo med tvojo namensko zmogljivostjo in skupnim bazenom. Fiksna dodelitev tako postane operativna vzvod, s katerim tvoje ekipe neposredno upravljajo iz programske kode aplikacije.
Prostovoljno obidi namensko zmogljivost
Prva glava služi izključitvi zahteve iz tvoje dodelitve:
curl https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-pt-disable: true" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.3",
"messages": [{"role": "user", "content": "Summarize this document."}]
}'
Opustitev lastne zmogljivosti se morda zdi nelogična. V vsakdanjem poslovanju to upravičujejo štirje scenariji. Prvič, nekritične naloge: serijska analiza, zagnana ob 22. uri, ali odloženo opravilo obdelave ne potrebuje garancije odzivnosti in škoda bi bilo, da porabi dodelitev, plačano za interaktivni promet. Drugič, ohranjanje zmogljivosti med konicami: z izklopom predhodno dodeljene prepustnosti pri sekundarni obdelavi sprostiš dodelitev točno takrat, ko v velikem obsegu prispejo prednostne zahteve. Glava je koristna tudi za testiranje A/B, ko želiš izmeriti dejansko razliko v zmogljivosti med namensko in skupno zmogljivostjo pri lastni obremenitvi, namesto da se zanašaš na obljube ponudnika. Nazadnje, dragocena je za odpravljanje napak: prisilitev zahteve skozi skupni bazen ti takoj pove, ali izvira opažena nepravilnost iz predhodno dodeljene zmogljivosti ali iz tvoje kode.
Usmeri zahtevo v določen bazen
Druga glava usmeri klic v identificiran bazen zmogljivosti:
curl https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-pt-id: pool-support-client" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.3",
"messages": [{"role": "user", "content": "How can I help you?"}]
}'
Ta glava postane nepogrešljiva, ko Grok kliče več aplikacij znotraj tvoje organizacije. Nato ustvariš ločene bazene – pool-support za klepetalnega bota za podporo strankam, pool-analysis za analizo dokumentov, pool-internal za poslovna orodja – in vsak deluje neodvisno. Segmentacija izolira zmogljivost: kampanja analize dokumentov, zagnana v ponedeljek zjutraj, ne poslabša več odzivnih časov podpore. Prav tako proizvede porabo, razčlenjeno po uporabi, kar predstavlja dejansko osnovo za interni obračun stroškov ali arbitraže, kjer si se prej zanašal na ugibanje. In samodejno prepreči, da bi ena sama aplikacija monopolizirala zmogljivost na škodo drugih.
Kaj se zgodi v primeru preobremenitve
Ko promet preseže predhodno dodeljeno zmogljivost, je povratni mehanizem samodejen in tih: zahteva preide v skupni bazen po modelu plačila po uporabi (pay-as-you-go), uporabijo se standardne cene modela in zanj veljajo običajne omejitve hitrosti. Napaka ni vrnjena; tvoja aplikacija ne opazi nobene spremembe.
Ta diskretnost ima dve plati. Kar zadeva razpoložljivost, so novice dobre: nikoli ne boš naletel na napako 429 zaradi presežene predhodno dodeljene zmogljivosti. Kar zadeva finance in kakovost storitve, pa je situacija manj ugodna. Zahteva se zaračuna po tarifi plačila po uporabi, ki je lahko višja; odzivni časi se lahko razlikujejo, saj poteka obdelava na skupni infrastrukturi; predvsem pa 99,9-odstotni SLA krije le zahteve, obdelane znotraj predhodno dodeljene prepustnosti. Preobremenitev torej ničesar ne pokvari, le tiho drsiš izven obsega, za katerega plačuješ. Upravljalni API razkriva delež zahtev, obdelanih v načinu predhodne dodelitve, v primerjavi s plačilom po uporabi: to razmerje preveri vsak mesec, prav tako kot račun. Naraščajoča stopnja preobremenitve je signal, da moraš povečati dodelitev.
Pretvori prioriteto v kodo aplikacije
Namesto množenja funkcij za klice najbolj trdna praksa sestoji iz določanja prioritete v trenutku izdaje zahteve:
import httpx
def query_grok(prompt: str, priority: str = "normal"):
headers = {
"Authorization": f"Bearer {API_KEY}",
"Content-Type": "application/json",
}
if priority == "low":
headers["x-pt-disable"] = "true"
elif priority == "high":
headers["x-pt-id"] = "pool-critical"
response = httpx.post(
"https://api.x.ai/v1/chat/completions",
headers=headers,
json={
"model": "grok-4.3",
"messages": [{"role": "user", "content": prompt}],
},
)
return response.json()
Parameter priority postane edina odločitev, izpostavljena poslovni logiki, pravilo usmerjanja pa ostane skoncentrirano v eni sami funkciji, ki jo razvijaš, ne da bi se dotikal preostanka kode. Preglej svojo lastno kodo za klice in vsako vstopno točko razvrsti v eno od treh kategorij: vaja redno pokaže, da dobra polovica prometa ni potrebovala namenske zmogljivosti.
Ključne ugotovitve
- Glava
x-pt-disable: trueobide predhodno dodeljeno zmogljivost za posamezno zahtevo - Glava
x-pt-idusmeri zahtevo v določen bazen zmogljivosti - Preobremenitve samodejno preidejo na plačilo po uporabi brez napake
- Segmentacija v bazene omogoča izolacijo zmogljivosti in sledenje porabi po aplikaciji
- Spremljaj stopnjo preobremenitve in po potrebi prilagodi svojo dodelitev