Hlavičky API a správa pretečenia kapacity
Na tejto strane
Rozhodni, ktoré požiadavky spotrebúvajú tvoju kapacitu
Rezervácia kapacity rieši len polovicu problému: stále si musíš vybrať, ktoré požiadavky z nej skutočne profitujú. Vyhradená priepustnosť (provisioned throughput) nie je jednorazový nákup na začiatku mesiaca; je to mechanizmus, ktorý ovládaš pri každom volaní osobitne. xAI na tento účel poskytuje špecializované HTTP hlavičky, ktoré rozhodujú požiadavku po požiadavke medzi tvojou vyhradenou kapacitou a zdieľaným poolom. Pevná alokácia sa tak stáva operačnou pákou, ktorú tvoje tímy priamo ovládajú z aplikačného kódu.
Dobrovoľné obídenie vyhradenej kapacity
Prvá hlavička slúži na vylúčenie požiadavky z tvojej alokácie:
curl https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-pt-disable: true" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.3",
"messages": [{"role": "user", "content": "Summarize this document."}]
}'
Vzdať sa vlastnej kapacity sa môže zdať nelogické. V každodennej prevádzke to však opodstatňujú štyri situácie. Po prvé, nekritické úlohy: dávková analýza spustená o 22:00 alebo odložená úloha spracovania nepotrebuje garanciu odozvy a bola by škoda, keby spotrebúvala alokáciu platenú pre interaktívnu premávku. Po druhé, zachovanie kapacity počas špičiek: vypnutím vyhradenej priepustnosti pre sekundárne spracovanie uvoľníš alokáciu presne v momente, keď prichádza veľký objem prioritných požiadaviek. Táto hlavička sa hodí aj pri A/B testovaní, keď chceš zmerať skutočný rozdiel vo výkone medzi vyhradenou a zdieľanou kapacitou pri tvojom vlastnom zaťažení, nie len na základe sľubov dodávateľa. Nakoniec je cenná pri ladení: vynútenie prechodu požiadavky cez zdieľaný pool ti okamžite povie, či pozorovaná anomália pochádza z vyhradenej kapacity, alebo z tvojho kódu.
Smerovanie požiadavky do konkrétneho poolu
Druhá hlavička smeruje volanie do identifikovaného poolu kapacity:
curl https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-pt-id: pool-support-client" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.3",
"messages": [{"role": "user", "content": "How can I help you?"}]
}'
Táto hlavička sa stáva nevyhnutnou hneď, ako Grok volá viacero aplikácií v rámci tvojej organizácie. Vtedy vytvoríš samostatné pooly – pool-support pre chatbota zákazníckej podpory, pool-analysis pre analýzu dokumentov, pool-internal pre business nástroje – a každý funguje nezávisle. Segmentácia izoluje výkon: kampaň analýzy dokumentov spustená v pondelok ráno už nezhoršuje časy odozvy podpory. Zároveň produkuje spotrebu rozdelenú podľa využitia, čo poskytuje faktický základ pre interné zúčtovanie alebo arbitráž, kde si sa doteraz spoliehal na odhady. A inherentne zabraňuje tomu, aby jedna aplikácia monopolizovala kapacitu na úkor ostatných.
Čo sa deje v prípade pretečenia
Keď premávka prekročí vyhradenú kapacitu, záložné riešenie je automatické a tiché: požiadavka prejde do zdieľaného poolu na báze „platíš podľa spotreby“ (pay-as-you-go), uplatnia sa štandardné sadzby modelu a podlieha bežným limitom rýchlosti. Nevráti sa žiadna chyba; tvoja aplikácia nezaznamená žiadnu zmenu.
Táto diskrétnosť má dve stránky. Z hľadiska dostupnosti sú správy dobré: nikdy sa nestretneš s chybou 429 spôsobenou prekročením vyhradenej kapacity. Z hľadiska financií a kvality služby je to však horšie. Požiadavka sa fakturuje podľa sadzby „platíš podľa spotreby“, ktorá môže byť vyššia; časy odozvy sa môžu líšiť, keďže spracovanie prebieha na zdieľanej infraštruktúre; a čo je najdôležitejšie, SLA 99,9 % pokrýva iba požiadavky spracované v rámci vyhradenej priepustnosti. Pretečenie teda nič nerozbije, len ťa potichu vyvedie z rozsahu, za ktorý platíš. Management API odhaľuje pomer požiadaviek spracovaných vo vyhradenom režime oproti režimu „platíš podľa spotreby“: tento pomer skúmaj každý mesiac rovnako ako faktúru. Rastúca miera pretečenia je signálom, že potrebuješ zvýšiť alokáciu.
Prelož prioritu do aplikačného kódu
Namiesto násobenia volacích funkcií spočíva najpevnejšia prax v kvalifikovaní priority v momente vydania požiadavky:
import httpx
def query_grok(prompt: str, priority: str = "normal"):
headers = {
"Authorization": f"Bearer {API_KEY}",
"Content-Type": "application/json",
}
if priority == "low":
headers["x-pt-disable"] = "true"
elif priority == "high":
headers["x-pt-id"] = "pool-critical"
response = httpx.post(
"https://api.x.ai/v1/chat/completions",
headers=headers,
json={
"model": "grok-4.3",
"messages": [{"role": "user", "content": prompt}],
},
)
return response.json()
Parameter priority sa stáva jediným rozhodnutím vystaveným business logike a politika smerovania zostáva sústredená v jednej funkcii, ktorú vyvíjaš bez zásahu do zvyšku kódu. Preštuduj svoj vlastný volací kód a zorad každý vstupný bod do jednej z troch kategórií: pravidelné cvičenie často ukazuje, že solidná polovica premávky nepotrebovala vyhradenú kapacitu.
Kľúčové poznatky
- Hlavička
x-pt-disable: trueobchádza vyhradenú kapacitu pre danú požiadavku - Hlavička
x-pt-idsmeruje požiadavku do konkrétneho poolu kapacity - Pretečenia automaticky prepadnú do režimu „platíš podľa spotreby“ bez chyby
- Segmentácia do poolov umožňuje izolovať výkon a sledovať spotrebu podľa aplikácie
- Monitoruj mieru pretečenia a podľa potreby uprav svoju alokáciu