Заглавия на API и управление на претоварването
На тази страница
Решете кои заявки да използват Вашия капацитет
Заделянето на капацитет решава само половината от проблема: все още трябва да изберете кои заявки действително се възползват от него. Предварително заделяната пропускателна способност не е еднократна покупка в началото на месеца; това е механизъм, който контролирате при всяко извикване. xAI предоставя специализирани HTTP заглавия за тази цел, които арбитражно разпределят, заявка по заявка, трафика между Вашия dédiран капацитет и общия пул. Така фиксираното разпределение се превръща в оперативен лост, който Вашите екипи манипулират директно от кода на приложението.
Доброволно заобикаляне на dédiран капацитет
Първото заглавие служи за изключване на дадена заявка от Вашето разпределение:
curl https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-pt-disable: true" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.3",
"messages": [{"role": "user", "content": "Summarize this document."}]
}'
Отказът от собствен капацитет може да изглежда контраинтуитивен. Четири ситуации оправдават това в ежедневната работа. Първо, некритични задачи: пакетен анализ, стартиран в 22:00 ч., или задача за отложено обработване не се нуждаят от гаранция за латентност и би било жалко те да консумират разпределението, платено за интерактивен трафик. Второ, запазване на капацитета по време на пикови натоварвания: чрез деактивиране на предварително заделяната пропускателна способност за вторична обработка, Вие освобождавате разпределение точно когато приоритетните заявки пристигат в голям обем. Заглавието служи и за A/B тестване, когато искате да измерите действителната разлика в производителността между dédiран и споделен капацитет върху Вашето собствено натоварване, а не върху обещание на доставчика. Накрая, то е ценно за отстраняване на грешки: принуждаването на заявката да премине през споделения пул Ви показва веднага дали наблюдаваната аномалия идва от предварително заделяния капацитет или от Вашия код.
Насочване на заявка към конкретен пул
Второто заглавие насочва извикването към идентифициран пул с капацитет:
curl https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-pt-id: pool-support-client" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.3",
"messages": [{"role": "user", "content": "How can I help you?"}]
}'
Това заглавие става незаменимо, щом множество приложения във Вашата организация извикват Grok. Тогава създавате отделни пулове – pool-support за чатбота за поддръжка на клиенти, pool-analysis за анализ на документи, pool-internal за бизнес инструменти – и всеки работи независимо. Сегментацията изолира производителността: кампанията за анализ на документи, стартирана в понеделник сутрин, вече не влошава времето за реакция на поддръжката. Тя също така генерира разбивка на потреблението по вид употреба, осигурявайки фактическа основа за вътрешно таксуване или арбитраж, там където преди разчитахте на предположения. Освен това тя по същество предотвратява монополизирането на капацитета от едно единствено приложение в ущърб на другите.
Какво се случва при претоварване
Когато трафикът надхвърли предварително заделяния капацитет, резервният механизъм е автоматичен и тих: заявката отива в споделения пул на принцип „плащане според използването“, прилагат се стандартните тарифи за модела и тя подлежи на обичайните ограничения на честотата. Не се връща грешка; Вашето приложение не забелязва нищо необичайно.
Тази дискретност има две страни. От гледна точка на наличността новината е добра: никога няма да срещнете грешка 429, причинена от надхвърляне на предварително заделяния капацитет. От гледна точка на финансите и качеството на услугата обаче нещата не са толкова розови. Заявката се таксува по тарифата за „плащане според използването“, която потенциално е по-висока; времената за отговор могат да варират, тъй като обработката се извършва на споделена инфраструктура; и най-вече, SLA от 99,9% покрива само заявките, обработени в рамките на предварително заделяната пропускателна способност. Претоварването не прекъсва нищо, то просто Ви кара тихо да излезете от обхвата, за който плащате. Management API предоставя съотношението на заявките, обработени в предварително заделян режим спрямо тези в режим „плащане според използването“: проверявайте това съотношение всеки месец точно както проверявате фактура. Нарстващият процент на претоварване е сигнал, че трябва да увеличите разпределението.
Превод на приоритета в код на приложението
Вместо да умножавате функциите за извикване, най-устойчивата практика се състои в квалифициране на приоритета в момента на издаване на заявката:
import httpx
def query_grok(prompt: str, priority: str = "normal"):
headers = {
"Authorization": f"Bearer {API_KEY}",
"Content-Type": "application/json",
}
if priority == "low":
headers["x-pt-disable"] = "true"
elif priority == "high":
headers["x-pt-id"] = "pool-critical"
response = httpx.post(
"https://api.x.ai/v1/chat/completions",
headers=headers,
json={
"model": "grok-4.3",
"messages": [{"role": "user", "content": prompt}],
},
)
return response.json()
Параметърът priority става единственото решение, изложено на бизнес логиката, а политиката за маршрутизация остава концентрирана в една единствена функция, която можете да развивате, без да засягате останалата част. Прегледайте собствения си код за извиквания и сортирайте всяка входна точка в една от трите категории: упражнението редовно показва, че солидна половина от трафика няма нужда от dédiран капацитет.
Ключови изводи
- Заглавието
x-pt-disable: trueзаобикаля предварително заделяния капацитет за дадена заявка - Заглавието
x-pt-idнасочва към конкретен пул с капацитет - Претоварванията автоматично преминават в режим „плащане според използването“ без грешка
- Сегментацията на пулове позволява изолиране на производителността и проследяване на потреблението по приложение
- Следете процента на претоварване, за да коригирате разпределението си, ако е необходимо