Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Lägga till förfrågningar i JSON

Lektion 5 av 12 Uppdaterad 2 november 2026 Utvecklare
På denna sida
  1. Lägga till via API:t
  2. Struktur för förfrågan
  3. cURL-förfrågan
  4. Lägga till med Python SDK
  5. Hastighetsbegränsningar vid tillägg
  6. När du ska använda API-tillägg
  7. Validering av förfrågan
  8. Viktiga punkter

Uppdaterat den 2 november 2026 baserat på xAI:s dokumentation: rabatten för batch-körningar är 20 % på berättigade textmodeller (inte 50 %), exemplen följer REST API:t och den officiella xai-sdk (client.batch.*; xAI Batch API använder inte OpenAI-formatet, och OpenAI SDK gäller inte), och Responses API har företräde framför Chat Completions, som är en föråldrad slutpunkt hos xAI. Källor: Batch API · REST-referens · Prissättning för batch.

Lägga till via API:t

När batchen har skapats lägger du till förfrågningar med POST /v1/batches/{batch_id}/requests. Varje anrop innehåller en lista med förfrågningar, och du kan anropa slutpunkten så många gånger som behövs så länge batchen inte har avbrutits. Denna metod fungerar för batchar som byggs upp stegvis.

Struktur för förfrågan

Anropets innehåll innehåller en array batch_requests. Varje element parar ihop en identifierare (batch_request_id) med själva förfrågan, lagrad under nyckeln för dess typ – responses för Responses API:

{
  "batch_requests": [
    {
      "batch_request_id": "avis-001",
      "batch_request": {
        "responses": {
          "model": "grok-4.3",
          "input": [
            {"role": "system", "content": "Classify the sentiment: positive, negative, or neutral."},
            {"role": "user", "content": "The product exceeded my expectations!"}
          ]
        }
      }
    }
  ]
}
  • batch_request_id: Din identifierare, unik inom batchen. Detta är nyckeln som kopplar förfrågan till dess resultat; om den saknas genererar xAI ett UUID.
  • batch_request: Förfrågan, under nyckeln för dess typ; API-referensen dokumenterar även chat_get_completion för formatet Chat Completions.

För bilder och videor använder du SDK:t (lektion 9) eller en JSONL-fil (nästa lektion).

cURL-förfrågan

curl -X POST "https://api.x.ai/v1/batches/$BATCH_ID/requests" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "batch_requests": [
      {
        "batch_request_id": "article-42",
        "batch_request": {
          "responses": {
            "model": "grok-4.3",
            "input": [
              {"role": "user", "content": "Classify this text: positive, neutral, or negative."}
            ]
          }
        }
      }
    ]
  }'

Lägga till med Python SDK

Med SDK:t byggs varje förfrågan som en vanlig konversation och tilldelas ett batch_request_id; därefter lägger du till dem i bitar:

from xai_sdk import Client
from xai_sdk.chat import system, user

client = Client()

documents = [
    {"id": "doc-1", "text": "First document to analyze..."},
    {"id": "doc-2", "text": "Second document to analyze..."},
    {"id": "doc-3", "text": "Third document to analyze..."},
]

batch_id = "batch_1934e8b5-f3dc-45f1-8329-9841b0aee9d8"

requests = []
for doc in documents:
    chat = client.chat.create(model="grok-4.3", batch_request_id=doc["id"])
    chat.append(system("Summarize the document in two sentences."))
    chat.append(user(doc["text"]))
    requests.append(chat)

# Lägg till i bitar om 100: ett API-anrop per bit
for i in range(0, len(requests), 100):
    client.batch.add(batch_id=batch_id, batch_requests=requests[i:i + 100])

Dokumentationen anger ingen maximal gräns för antalet förfrågningar per anrop; måttliga bitstorlekar begränsar helt enkelt mängden data som behöver skickas om vid ett nätverksfel.

Hastighetsbegränsningar vid tillägg

Ett team kan göra upp till 1 000 tilläggsanrop var 30:e sekund, inom ett glidande fönster som delas över alla dess batchar. Gränsen gäller anrop, inte förfrågningar: med bitar om 100 förfrågningar möjliggör detta redan mer än 3 000 förfrågningar per sekund. Två andra begränsningar är viktigare:

  • 25 MB maximum per enskild förfrågan, vilket främst berör bilder kodade i base64.
  • Vid fler än 100 000 förfrågningar i en batch kan xAI sänka bearbetningshastigheten för att bevara tjänstens stabilitet.

När du ska använda API-tillägg

API-tillägg fungerar när flexibilitet väger tyngre än förberedelser i förväg. Det blir det naturliga valet när batchen byggs upp stegvis: förfrågningar som anländer från en kö läggs till efter hand, medan en JSONL-fil skulle kräva att allt var känt i förväg – och skulle stänga batchen. Det är också vägen för prototyping, för att testa hela arbetsflödet med fem förfrågningar innan du skalar upp, och för heterogena batchar.

Validering av förfrågan

Kontrollera statuskoden för varje tilläggsanrop: ett fel vid detta steg innebär att biten inte sparades och att du måste skicka om den. En förfrågan kan också misslyckas senare, under bearbetningen; den visas då i resultaten med sitt felmeddelande. En modell som inte accepterar batchen avvisas med meddelandet not supported for batch processing: kontrollera berättigandet på modellsidan innan du startar en stor batch.

Viktiga punkter

  • Tillägg sker via POST /v1/batches/{id}/requests, med en lista batch_requests.
  • Varje förfrågan bär ett unikt batch_request_id och sitt innehåll under nyckeln för sin typ (responses, chat_get_completion).
  • SDK:t bygger förfrågningar med client.chat.create(..., batch_request_id=...) och lägger till dem med client.batch.add.
  • Gränsen är 1 000 tilläggsanrop per 30 sekunder för teamet; varje anrop kan bära många förfrågningar.
  • Till skillnad från JSONL-filen låter API-tillägg batchen vara öppen för nya tillägg.