Intestaturi tal-API u Ġestjoni tal-Overflow
F'din il-paġna
Iddeċiedi liema talbiet jikkunsmaw il-kapaċità tiegħek
Ir-riżerva tal-kapaċità ssolvi biss nofs il-problema: għadek trid tagħżel liema talbiet jibbenefikaw minnha fil-fatt. Il-provisioned throughput mhuwiex xiri globali li tagħmel darba fil-bidu tax-xahar; huwa mekkaniżmu li tikkontrolla sejħa wara sejħa. xAI jesponi intestaturi HTTP dedikati għal dan l-iskop li jarbitraw, talba wara talba, bejn il-kapaċità dedikata tiegħek u l-pool kondiviż. Allokalzzjoni fissa ssir hekk leva operattiva li t-timijiet tiegħek jimmanipulaw direttament mill-kodiċi tal-applikazzjoni.
Evita volontarjament il-kapaċità dedikata
L-ewwel intestatur iservi biex jeskludi talba mill-allokazzjoni tiegħek:
curl https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-pt-disable: true" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.3",
"messages": [{"role": "user", "content": "Summarize this document."}]
}'
Li tirrinunzja għall-kapaċità tiegħek stess jidher kontra l-intuwizzjoni. Erba’ sitwazzjonijiet jiġġustifikawha fl-operazzjonijiet ta’ kuljum. L-ewwel, kompiti mhux kritiċi: analiżi bil-batch imnedija fis-10 ta’ filgħaxija jew xogħol ta’ ipproċessar differit ma għandux bżonn garanzija ta’ latenza, u tkun ħasra li jikkonsma l-allokazzjoni mħallsa għat-traffiku interattiv. It-tieni, il-preservazzjoni tal-kapaċità waqt il-quċċati: billi tiddiżattiva l-provisioned throughput fuq l-ipproċessar sekondarju, tiħalli l-allokazzjoni eżattament meta t-talbiet prijoritarji jaslu f’volum għoli. L-intestatur iservi wkoll għall-ittestjar A/B, meta trid tkejjel id-differenza reali fil-prestazzjoni bejn il-kapaċità dedikata u dik kondiviża fuq it-tagħbija tiegħek stess minflok fuq wegħda tal-fornitur. Fl-aħħar nett, huwa prezzjuż għad-debugging: li tifforza t-talba tgħaddi mill-pool kondiviż jgħidlek immedjatament jekk l-anomalija osservata tiġix mill-kapaċità provisioned jew mill-kodiċi tiegħek.
Irrota talba lejn pool speċifiku
It-tieni intestatur jidderieġi s-sejħa lejn pool ta’ kapaċità identifikat:
curl https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-pt-id: pool-support-client" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.3",
"messages": [{"role": "user", "content": "How can I help you?"}]
}'
Dan l-intestatur isir indispensabbli hekk kif applikazzjonijiet multipli fl-organizzazzjoni tiegħek isejjħu lil Grok. Imbagħad toħloq pools separati—pool-support għaċ-chatbot tas-servizz tal-klijenti, pool-analysis għall-analiżi tad-dokumenti, pool-internal għall-għodod tan-negozju—u kull wieħed jopera b’mod indipendenti. Is-segmentazzjoni tiżola l-prestazzjoni: il-kampanja ta’ analiżi tad-dokumenti mnedija nhar ta’ Tnejn fil-għodu ma tibgħatx ħsara lill-ħinijiet ta’ rispons tas-servizz. Hija tipproduċi wkoll konsum maqsum skont l-użu, u għalhekk bażi fattwali għall-addebiti interni jew l-arbitraġġ, fejn qabel kont tiddependi fuq is-suppożizzjonijiet. U inherentement tipprevjeni li applikazzjoni waħda timmonopolizza l-kapaċità fuq id-detriment tal-oħrajn.
X’jiġri fil-każ ta’ overflow
Meta t-traffiku jaqbeż il-kapaċità provisioned, il-fallback huwa awtomatiku u silenzjuż: it-talba tmur lejn il-pool kondiviż fuq bażi ta’ pay-as-you-go, japplikaw ir-rati standard tal-mudell, u tkun soġġetta għal-limiti tar-rata usuali. L-ebda żball ma jiġi rritornat; l-applikazzjoni tiegħek tara qisu ma ġara xejn.
Din id-diskrezzjoni għandha żewġ naħat. Fuq in-naħa tad-disponibbiltà, l-aħbar hija tajba: qatt ma se tiltaqa’ ma’ żball 429 ikkawżat milli taqbeż il-kapaċità provisioned. Fuq in-naħa finanzjarja u tal-kwalità tas-servizz, hija inqas tajba. It-talba tiġi fatturata bir-rata pay-as-you-go, potenzjalment ogħla; il-ħinijiet ta’ rispons jistgħu jvarjaw peress li l-ipproċessar isir fuq infrastruttura kondiviża; u l-aktar importanti, l-SLA ta’ 99.9% jkopri biss it-talbiet ipproċessati fi ħdan il-provisioned throughput. Għalhekk, overflow ma jkisser xejn, sempliċiment jagħmlek toħroġ bil-mod u bil-kalma mill-ambitu li tħallas għalih. L-API tal-Ġestjoni jesponi l-proporzjon ta’ talbiet ipproċessati f’mod provisioned kontra pay-as-you-go: eżamina din ir-raġuni kull xahar eżatt bħal kont. Rata ta’ overflow li qed titla’ hija s-sinjal li għandek bżonn tiżdied l-allokazzjoni.
Ittrasforma l-prijorità f’kodiċi tal-applikazzjoni
Minflok timmultiplika l-funzjonijiet tas-sejħa, l-aktar prattika soda tikkonsisti fil-kwalifika tal-prijorità fil-mument li tinħareġ it-talba:
import httpx
def query_grok(prompt: str, priority: str = "normal"):
headers = {
"Authorization": f"Bearer {API_KEY}",
"Content-Type": "application/json",
}
if priority == "low":
headers["x-pt-disable"] = "true"
elif priority == "high":
headers["x-pt-id"] = "pool-critical"
response = httpx.post(
"https://api.x.ai/v1/chat/completions",
headers=headers,
json={
"model": "grok-4.3",
"messages": [{"role": "user", "content": prompt}],
},
)
return response.json()
Il-parametru priority isir l-unika deċiżjoni esposta għal-loġika tan-negozju, u l-politika ta’ routing tibqa’ kkonċentrata f’funzjoni waħda li tevolvi mingħajr ma tmiss il-bqija. Irrevedi l-kodiċi tas-sejħa tiegħek stess u ssortja kull punt ta’ dħul f’waħda minn tliet kategoriji: l-eżerċizzju regolarment juri li nofs it-traffiku solidu ma kellu l-ebda ħtieġa għal kapaċità dedikata.
Punti Ewlenin
- L-intestatur
x-pt-disable: truejevita l-kapaċità provisioned għal talba - L-intestatur
x-pt-idjirrotta lejn pool ta’ kapaċità speċifiku - L-overflows jerġgħu lura awtomatikament għal pay-as-you-go mingħajr żball
- Is-segmentazzjoni f’pools tippermetti li tiżola l-prestazzjoni u ttraċċa l-konsum skont l-applikazzjoni
- Immonitorja r-rata ta’ overflow biex taġġusta l-allokazzjoni tiegħek jekk ikun meħtieġ