API-fejlécek és a túlcsordulás kezelése
Ezen az oldalon
Döntsd el, mely kérések消耗ják a kapacitásodat
A kapacitás lefoglalása csak a probléma felét oldja meg: továbbra is neked kell kiválasztanod, mely kérések profitálnak valójában belőle. A foglalt átviteli sebesség (provisioned throughput) nem egy egyszeri, hónap elején megkötött átalányvásárlás; hanem egy mechanizmus, amelyet kérésről kérésre irányítasz. Az xAI dedikált HTTP fejléceket tesz elérhetővé erre a célra, amelyek kérésről kérésre döntenek a dedikált kapacitásod és a megosztott készlet között. Egy rögzített allokáció így operatív emelővé válik, amelyet csapataid közvetlenül az alkalmazáskódból manipulálhatnak.
Önkéntes kihagyás a dedikált kapacitásból
Az első fejléc arra szolgál, hogy kizárjon egy kérést az allokációdból:
curl https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-pt-disable: true" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.3",
"messages": [{"role": "user", "content": "Summarize this document."}]
}'
Hogy lemondj a saját kapacitásodról, az első hallásra ellentmondásosnak tűnhet. Négy helyzet indokolja ezt a napi működés során. Először is, a nem kritikus feladatok: egy este 10 órakor indított kötegelt elemzésnek vagy egy késleltetett feldolgozási munkának nincs szüksége késleltetési garanciára, és kár lenne, ha ez emésztené fel az interaktív forgalomra fizetett allokációt. Másodszor, a kapacitás megőrzése csúcsidőben: a másodlagos feldolgozásnál letiltva a foglalt átviteli sebességet, pontosan akkor szabadítasz fel allokációt, amikor nagy mennyiségben érkeznek a prioritási kérések. A fejléc A/B tesztekhez is hasznos, amikor a saját terheléseden szeretnéd mérni a tényleges teljesítménykülönbséget a dedikált és a megosztott kapacitás között, nem pedig egy szállítói ígéret alapján. Végül, hibakereséshez is értékes: ha a kérést erőltetetten a megosztott készleten keresztül vezeted, azonnal kiderül, hogy a tapasztalt anomália a foglalt kapacitásból vagy a saját kódodból ered.
Kérés irányítása egy adott készletbe
A második fejléc egy azonosított kapacitáskészletbe irányítja a hívást:
curl https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-pt-id: pool-support-client" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.3",
"messages": [{"role": "user", "content": "How can I help you?"}]
}'
Ez a fejléc elengedhetetlenné válik, amint a szervezeteden belül több alkalmazás is hívja a Grok-ot. Ekkor különálló készleteket hozhatsz létre – egy pool-support-ot az ügyfélszolgálati chatbotnak, egy pool-analysis-t a dokumentumelemzéshez, egy pool-internal-t az üzleti eszközöknek –, és mindegyik függetlenül működik. A szegmentálás izolálja a teljesítményt: a hétfő reggel indított dokumentumelemző kampány már nem rontja le az ügyfélszolgálati válaszidőket. Emellett felhasználás szerinti lebontott fogyasztást is eredményez, ami tényalapú alapot biztosít a belső elszámoláshoz vagy döntéshozatalhoz, ahol korábban csak találgattál. És inherent módon megakadályozza, hogy egyetlen alkalmazás kisajátítsa a kapacitást mások kárára.
Mi történik túlcsordulás esetén?
Amikor a forgalom meghaladja a foglalt kapacitást, a tartalék megoldás automatikus és csendes: a kérés a megosztott készletbe kerül „fizess-használd“ (pay-as-you-go) alapon, a szokásos modellárak érvényesek, és a szokásos sebességkorlátozások vonatkoznak rá. Nem kapsz hibaüzenetet; az alkalmazásod semmit sem észlel a történtekből.
Ennek a diszkréciónak két oldala van. A rendelkezésre állás szempontjából a hír jó: sosem fogsz olyan 429-es hibával találkozni, amelyet a foglalt kapacitás túllépése okoz. Pénzügyi és szolgáltatásminőségi szempontból azonban kevésbé kedvező. A kérés terhelése a „fizess-használd“ díjszabás szerint történik, ami potenciálisan magasabb lehet; a válaszidők változhatnak, mivel a feldolgozás megosztott infrastruktúrán zajlik; és ami a legfontosabb, a 99,9%-os SLA csak a foglalt átviteli sebességen belül feldolgozott kérésekre vonatkozik. Egy túlcsordulás tehát nem tör össze semmit, csupán csendesen kicsúsztat a fizetett hatókörből. A Management API feltárja a foglalt módban versus „fizess-használd“ alapon feldolgozott kérések arányát: ezt az arányt havonta ugyanúgy vizsgáld meg, mint egy számlát. A növekvő túlcsordulási ráta azt jelzi, hogy növelned kell az allokációt.
A prioritás átültetése az alkalmazáskódba
Ahelyett, hogy megszaporítanád a hívó függvényeket, a legstabilabb gyakorlat az, ha a prioritást magának a kérésnek a kibocsátásakor minősíted:
import httpx
def query_grok(prompt: str, priority: str = "normal"):
headers = {
"Authorization": f"Bearer {API_KEY}",
"Content-Type": "application/json",
}
if priority == "low":
headers["x-pt-disable"] = "true"
elif priority == "high":
headers["x-pt-id"] = "pool-critical"
response = httpx.post(
"https://api.x.ai/v1/chat/completions",
headers=headers,
json={
"model": "grok-4.3",
"messages": [{"role": "user", "content": prompt}],
},
)
return response.json()
A priority paraméter válik az üzleti logika számára elérhető egyetlen döntési ponttá, míg az útválasztási politika egyetlen függvényben koncentrálódik, amelyet a többi rész érintése nélkül fejleszthetsz. Vizsgáld felül a saját hívókódodat, és sorold be minden belépési pontot a három kategória egyikébe: a gyakorlat rendszeresen azt mutatja, hogy a forgalom szilárd fele nem igényelt dedikált kapacitást.
Főbb megállapítások
- Az
x-pt-disable: truefejléc kihagyja a foglalt kapacitást egy adott kérésnél - Az
x-pt-idfejléc egy specifikus kapacitáskészletbe irányít - A túlcsordulások automatikusan „fizess-használd“ módra váltanak hiba nélkül
- A készletekre való szegmentálás lehetővé teszi a teljesítmény izolálását és a fogyasztás alkalmazásonkénti nyomon követését
- Figyeld a túlcsordulási rátát, hogy szükség esetén kiigazítsd az allokációdat