Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

API-headers en overflow-beheer

Les 8 van 14 Bijgewerkt op 28 juli 2026 Gemiddeld
Op deze pagina
  1. Bepaal welke verzoeken uw capaciteit verbruiken
  2. Dedicated capaciteit vrijwillig omzeilen
  3. Een verzoek naar een specifieke pool routeren
  4. Wat er gebeurt bij overflow
  5. Vertaal prioriteit naar applicatiecode
  6. Belangrijkste punten

Bepaal welke verzoeken uw capaciteit verbruiken

Het reserveren van capaciteit lost slechts de helft van het probleem op: u moet nog steeds kiezen welke verzoeken er daadwerkelijk van profiteren. Provisioned throughput is geen eenmalige aankoop aan het begin van de maand; het is een mechanisme dat u per oproep beheert. xAI biedt specifieke HTTP-headers voor dit doel die per verzoek bemiddelen tussen uw toegewezen capaciteit en de gedeelde pool. Een vaste toewijzing wordt zo een operationele hefboom die uw teams direct vanuit de applicatiecode bedienen.

Dedicated capaciteit vrijwillig omzeilen

De eerste header dient om een verzoek uit te sluiten van uw toewijzing:

curl https://api.x.ai/v1/chat/completions \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "x-pt-disable: true" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.3",
    "messages": [{"role": "user", "content": "Summarize this document."}]
  }'

Het opgeven van uw eigen capaciteit lijkt contra-intuïtief. Vier situaties rechtvaardigen dit echter in de dagelijkse operatie. Ten eerste niet-kritieke taken: een batchanalyse die om 22.00 uur start of een uitgestelde verwerkingstaak heeft geen latentiegarantie nodig, en het zou zonde zijn als deze de voor interactief verkeer betaalde toewijzing verbruikt. Ten tweede het behouden van capaciteit tijdens pieken: door provisioned throughput voor secundaire verwerking uit te schakelen, maakt u toewijzing vrij precies op het moment dat prioritaire verzoeken in grote volumes binnenkomen. De header is ook nuttig voor A/B-testen, wanneer u het daadwerkelijke prestatieverschil tussen dedicated en gedeelde capaciteit wilt meten op basis van uw eigen belasting in plaats van op een belofte van de leverancier. Tot slot is het waardevol voor debugging: door het verzoek via de gedeelde pool te forceren, ziet u direct of de waargenomen anomalie voortkomt uit de provisioned capacity of uit uw code.

Een verzoek naar een specifieke pool routeren

De tweede header stuurt de oproep naar een geïdentificeerde capaciteitspool:

curl https://api.x.ai/v1/chat/completions \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "x-pt-id: pool-support-client" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.3",
    "messages": [{"role": "user", "content": "How can I help you?"}]
  }'

Deze header wordt onmisbaar zodra meerdere applicaties binnen uw organisatie Grok aanroepen. U creëert dan gescheiden pools: een pool-support voor de klantenservicechatbot, een pool-analysis voor documentanalyse en een pool-internal voor bedrijfshulpmiddelen, waarbij elk onafhankelijk opereert. Segmentatie isoleert prestaties: de documentanalysecampagne die op een maandagochtend start, verslechtert niet langer de responstijden van de ondersteuning. Het levert ook een verbruiksoverzicht op per gebruik, wat een feitelijke basis biedt voor chargebacks of afwegingen, terwijl u voorheen op giswerk aangewezen was. Bovendien voorkomt het inherent dat één applicatie de capaciteit monopoliseert ten koste van anderen.

Wat er gebeurt bij overflow

Wanneer het verkeer de provisioned capacity overschrijdt, is de fallback automatisch en stil: het verzoek gaat naar de gedeelde pool op basis van pay-as-you-go, de standaard modeltarieven zijn van toepassing en het onderhevig is aan de gebruikelijke rate limits. Er wordt geen fout geretourneerd; uw applicatie merkt niets.

Deze discretie heeft twee kanten. Wat beschikbaarheid betreft, is het nieuws goed: u zult nooit een 429-fout tegenkomen veroorzaakt door het overschrijden van de provisioned capacity. Wat financiën en servicekwaliteit betreft, is het minder goed. Het verzoek wordt gefactureerd tegen het pay-as-you-go-tarief, dat mogelijk hoger ligt; responstijden kunnen variëren omdat de verwerking plaatsvindt op gedeelde infrastructuur; en bovenal dekt de 99,9% SLA alleen verzoeken die binnen de provisioned throughput worden verwerkt. Een overflow breekt dus niets, het laat u slechts stilletjes uitglijden uit het bereik waarvoor u betaalt. De Management API toont het percentage verzoeken dat in provisioned modus versus pay-as-you-go is verwerkt: onderzoek deze verhouding elke maand net als een factuur. Een stijgend overflow-percentage is het signaal dat u de toewijzing moet verhogen.

Vertaal prioriteit naar applicatiecode

In plaats van het vermenigvuldigen van aanroepfuncties, bestaat de meest solide praktijk erin om prioriteit te kwalificeren op het moment dat het verzoek wordt gedaan:

import httpx

def query_grok(prompt: str, priority: str = "normal"):
    headers = {
        "Authorization": f"Bearer {API_KEY}",
        "Content-Type": "application/json",
    }

    if priority == "low":
        headers["x-pt-disable"] = "true"
    elif priority == "high":
        headers["x-pt-id"] = "pool-critical"

    response = httpx.post(
        "https://api.x.ai/v1/chat/completions",
        headers=headers,
        json={
            "model": "grok-4.3",
            "messages": [{"role": "user", "content": prompt}],
        },
    )
    return response.json()

De parameter priority wordt de enige beslissing die wordt blootgesteld aan de bedrijfslogica, en het routeringsbeleid blijft geconcentreerd in één functie die u evolueert zonder de rest aan te raken. Beoordeel uw eigen aanroepcode en sorteer elk entry point in een van de drie categorieën: deze oefening toont regelmatig aan dat een flink deel van het verkeer geen behoefte had aan dedicated capaciteit.

Belangrijkste punten

  • De header x-pt-disable: true omzeilt de provisioned capacity voor een verzoek
  • De header x-pt-id routeert naar een specifieke capaciteitspool
  • Overflows vallen automatisch terug op pay-as-you-go zonder foutmelding
  • Segmentatie in pools maakt het mogelijk prestaties te isoleren en verbruik per applicatie te volgen
  • Monitor het overflow-percentage om uw toewijzing indien nodig aan te passen