API-headers og styring af overbelastning
På denne side
Beslut hvilke forespørgsler, der bruger din kapacitet
At reservere kapacitet løser kun halvdelen af problemet: du skal stadig vælge, hvilke forespørgsler der faktisk drager fordel af den. Provisioneret gennemstrømning er ikke et engangskøb ved månedens start; det er en mekanisme, du styrer kald for kald. xAI eksponerer dedikerede HTTP-headers til dette formål, som afgør fra forespørgsel til forespørgsel, om den skal bruge din dedikerede kapacitet eller den fælles pulje. En fast tildeling bliver dermed et operationelt løftestang, som dine teams manipulerer direkte fra applikationskoden.
Frivilligt omgå den dedikerede kapacitet
Den første header bruges til at ekskludere en forespørgsel fra din tildeling:
curl https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-pt-disable: true" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.3",
"messages": [{"role": "user", "content": "Summarize this document."}]
}'
At give afkald på sin egen kapacitet kan virke kontraintuitivt. Fire situationer berettiger dog dette i den daglige drift. For det første ikke-kritiske opgaver: en batch-analyse lanceret kl. 22 eller et udsat behandlingsjob behøver ingen latensgaranti, og det ville være ærgerligt, hvis det brugte den kapacitet, du betaler for interaktiv trafik. For det andet bevarelse af kapacitet i spidsbelastningsperioder: ved at deaktivere provisioneret gennemstrømning på sekundær behandling frigør du kapacitet præcis, når prioriterede forespørgsler ankommer i stort antal. Headeren bruges også til A/B-test, hvor du vil måle det faktiske præstationsgab mellem dedikeret og fælles kapacitet på din egen belastning frem for på en leverandørs løfte. Endelig er den værdifuld til fejlfinding: ved at tvinge forespørgslen gennem den fælles pulje ser du straks, om den observerede anomali stammer fra den provisionerede kapacitet eller din kode.
Rout en forespørgsel til en specifik pulje
Den anden header dirigerer kaldet til en identificeret kapacitetspulje:
curl https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-pt-id: pool-support-client" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.3",
"messages": [{"role": "user", "content": "How can I help you?"}]
}'
Denne header bliver uundværlig, så snart flere applikationer i din organisation kalder Grok. Du opretter derefter separate puljer – en pool-support til chatbotten for kundeservice, en pool-analysis til dokumentanalyse og en pool-internal til forretningsværktøjer – og hver fungerer uafhængigt. Segmentering isolerer ydeevnen: en dokumentanalysekampagne lanceret en mandag morgen forringer ikke længere svartiderne for supporten. Det producerer også et forbrug opdelt efter anvendelse, hvilket giver et faktuel grundlag for intern afregning eller prioritering, hvor du tidligere måtte gætte. Og det forhindrer i sig selv, at en enkelt applikation monopoliserer kapaciteten på bekostning af andre.
Hvad sker der ved overbelastning
Når trafikken overstiger den provisionerede kapacitet, er fallbacken automatisk og lydløs: forespørgslen sendes til den fælles pulje med betaling efter forbrug, standardpriser for modellen gælder, og den er underlagt de sædvanlige hastighedsbegrænsninger. Der returneres ingen fejl; din applikation ser ingenting ske.
Denne diskretion har to sider. På tilgængelighedssiden er nyheden god: du vil aldrig støde på en 429-fejl forårsaget af overskridelse af den provisionerede kapacitet. På finans- og servicekvalitetssiden er det mindre godt. Forespørgslen faktureres til prisen for betaling efter forbrug, som potentielt er højere; svartiderne kan variere, da behandlingen foregår på fælles infrastruktur; og vigtigst af alt dækker 99,9 % SLA’en kun forespørgsler behandlet inden for den provisionerede gennemstrømning. En overbelastning ødelægger derfor ingenting; den får dig blot til stille at glide ud af det omfang, du betaler for. Management API’en eksponerer andelen af forespørgsler behandlet i provisioneret tilstand kontra betaling efter forbrug: undersøg denne ratio hver måned ligesom en regning. En stigende overbelastningsrate er signalet om, at du skal øge tildelingen.
Oversæt prioritet til applikationskode
I stedet for at gange antallet af kaldefunktioner op, består den mest solide praksis i at kvalificere prioriteten i det øjeblik, forespørgslen udstedes:
import httpx
def query_grok(prompt: str, priority: str = "normal"):
headers = {
"Authorization": f"Bearer {API_KEY}",
"Content-Type": "application/json",
}
if priority == "low":
headers["x-pt-disable"] = "true"
elif priority == "high":
headers["x-pt-id"] = "pool-critical"
response = httpx.post(
"https://api.x.ai/v1/chat/completions",
headers=headers,
json={
"model": "grok-4.3",
"messages": [{"role": "user", "content": prompt}],
},
)
return response.json()
Parameteren priority bliver den eneste beslutning, der eksponeres for forretningslogikken, og routing-politikken forbliver koncentreret i en enkelt funktion, som du kan udvikle uden at røre resten. Gennemgå din egen kaldkode, og sortér hvert indgangspunkt i en af tre kategorier: øvelsen viser regelmæssigt, at en solid halvdel af trafikken slet ikke havde brug for dedikeret kapacitet.
Vigtige pointer
- Headeren
x-pt-disable: trueomgår den provisionerede kapacitet for en forespørgsel - Headeren
x-pt-idrouter til en specifik kapacitetspulje - Overbelastninger falder automatisk tilbage til betaling efter forbrug uden fejl
- Segmentering i puljer muliggør isolering af ydeevne og sporing af forbrug pr. applikation
- Overvåg overbelastningsraten for at justere din tildeling om nødvendigt