Lähe põhisisu juurde
Eesti— Vali keel
Menüü

JSONL-vorming ja üleslaadimine Files API kaudu

Õppetund 6 / 12 Värskendatud 2. november 2026 Arendajatele
Sellel lehel
  1. Mahutöötlus JSONL-iga
  2. JSONL-faili struktuur
  3. JSONL-faili genereerimine Pythonis
  4. Üleslaadimine Files API kaudu
  5. Batch-töö loomine failist
  6. JSONL-vormingu piirangud
  7. JSONL-faili genereerimine JavaScriptis
  8. Valideerimine ja silumine
  9. Peamised punktid

Uuendatud 2. novembril 2026 xAI dokumentatsiooni põhjal: hulgihind on sobivate tekst mudelite puhul 20% (mitte 50%), näited järgivad REST API-t ja ametlikku xai-sdk-d (client.batch.*; xAI Batch API ei kasuta OpenAI vormingut, seega OpenAI SDK ei kehti) ning Responses API-l on vestluse lõpetamise (Chat Completions) ees prioriteet, mis on xAI-s iganenud lõpp-punkt. Allikad: Batch API · REST viide · Batch hinnakiri.

Mahutöötlus JSONL-iga

Suuremahuliste, eelnevalt ettevalmistatud päringute puhul on JSONL-fail lihtsaim lahendus. Kirjutad kõik oma päringud faili, laadid selle Files API kaudu üles ja lood seejärel sellest failist batch-töö. Ühte faili mahub kuni 50 000 päringut.

JSONL-faili struktuur

JSONL (JSON Lines) fail sisaldab ühel real ühte JSON-objekti. Iga rida tähistab terviklikku päringut nelja väljaga:

{"custom_id": "req-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "Summarize this text in one sentence: ..."}]}}
{"custom_id": "req-2", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "Classify this ticket: bug, feature, or question. ..."}]}}
{"custom_id": "req-3", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Translate into English: ..."}]}}
  • custom_id: kordumatu identifikaator faili sees; sellest saab tulemustes batch_request_id
  • method: alati "POST"
  • url: siht-lõpp-punkt, üks seitsmest aktsepteeritavast
  • body: päringu keha, mis vastab selle lõpp-punkti API viitele

Iga rida peab olema kehtiv ja iseseisev JSON: eraldavat koma ega sulgevat nurksulgudeta. Lõpp-punkte võib samas failis segada; iga päring suunatakse sõltumatult.

JSONL-faili genereerimine Pythonis

import json

documents = [
    {"id": "doc-001", "text": "First article to summarize..."},
    {"id": "doc-002", "text": "Second article to summarize..."},
    # ... kuni 50 000 dokumenti faili kohta
]

with open("batch_requests.jsonl", "w", encoding="utf-8") as f:
    for doc in documents:
        ligne = {
            "custom_id": doc["id"],
            "method": "POST",
            "url": "/v1/responses",
            "body": {
                "model": "grok-4.3",
                "input": [
                    {"role": "system", "content": "Summarize in three sentences."},
                    {"role": "user", "content": doc["text"]},
                ],
            },
        }
        f.write(json.dumps(ligne, ensure_ascii=False) + "\n")

Üleslaadimine Files API kaudu

Laadid faili üles lõpp-punkti /v1/files kaudu ilma muude parameetriteta:

curl -X POST https://api.x.ai/v1/files \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -F file="@batch_requests.jsonl"

Python SDK-ga:

from xai_sdk import Client

client = Client()

with open("batch_requests.jsonl", "rb") as f:
    fichier = client.files.upload(f, filename="batch_requests.jsonl")
print(f"Uploaded file: {fichier.id}")

Batch-töö loomine failist

Faili ei lisata olemasolevale batch-tööle: määrad selle loomise hetkel parameetriga input_file_id:

curl -X POST https://api.x.ai/v1/batches \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"name": "article_summaries", "input_file_id": "file-abc123"}'
batch = client.batch.create(batch_name="article_summaries", input_file_id=fichier.id)
print(f"Batch created: {batch.batch_id}")

Seejärel loetakse fail taustal. Kui isegi üks rida on vigane, tühistatakse kogu batch-töö veateatega. Jälgimine ja tulemuste toomine toimib täpselt samamoodi nagu API kaudu esitatud batch-töö puhul.

JSONL-vormingu piirangud

  • Maksimaalselt 50 000 päringut faili kohta
  • Maksimaalselt 200 MB faili kohta
  • Igal real peab olema kordumatu custom_id
  • Failist loodud batch-töö on suletud: seda ei saa hiljem API kaudu täiendada

Kui su batch-töö ületab neid piire, jaga see mitmeks failiks ja loo iga faili kohta üks batch-töö. Batch-tööde arv meeskonna kohta ei ole piiratud.

JSONL-faili genereerimine JavaScriptis

import fs from "fs";

const documents = [
  { id: "doc-001", text: "First article..." },
  { id: "doc-002", text: "Second article..." },
];

const lines = documents.map(doc => JSON.stringify({
  custom_id: doc.id,
  method: "POST",
  url: "/v1/responses",
  body: {
    model: "grok-4.3",
    input: [
      { role: "user", content: `Summarize: ${doc.text}` }
    ]
  }
}));

fs.writeFileSync("batch_requests.jsonl", lines.join("\n") + "\n");

Valideerimine ja silumine

Üks vigane rida tühistab kogu batch-töö: valideeri fail enne üleslaadimist. Lihtne skript katab põhitõed:

import json
import os

ENDPOINTS = {
    "/v1/responses", "/v1/chat/completions",
    "/v1/images/generations", "/v1/images/edits",
    "/v1/videos/generations", "/v1/videos", "/v1/videos/edits", "/v1/videos/extensions",
}

def valider_jsonl(chemin: str) -> list[str]:
    erreurs, ids = [], set()
    if os.path.getsize(chemin) > 200 * 1024 * 1024:
        erreurs.append("file larger than 200 MB")
    with open(chemin, encoding="utf-8") as f:
        for i, ligne in enumerate(f, 1):
            try:
                obj = json.loads(ligne)
            except json.JSONDecodeError as e:
                erreurs.append(f"line {i}: invalid JSON ({e})")
                continue
            cid = obj.get("custom_id")
            if not cid or cid in ids:
                erreurs.append(f"line {i}: missing or duplicate custom_id")
            ids.add(cid)
            if obj.get("method") != "POST" or obj.get("url") not in ENDPOINTS:
                erreurs.append(f"line {i}: invalid method or url")
            if not isinstance(obj.get("body"), dict):
                erreurs.append(f"line {i}: missing body")
    if len(ids) > 50_000:
        erreurs.append("more than 50,000 requests")
    return erreurs

print(valider_jsonl("batch_requests.jsonl") or "File is valid")

Peamised punktid

  • JSONL-vorming sisaldab ühel real ühte JSON-objekti: custom_id, method, url, body
  • Laadid faili üles aadressil /v1/files ja määrad selle batch-töö loomisel (input_file_id)
  • Maksimum on 50 000 päringut ja 200 MB faili kohta; sellest suurema mahuga loo iga faili kohta eraldi batch-töö
  • Failist loodud batch-töö on suletud ja üks vigane rida tühistab selle täielikult
  • Valideeri fail enne üleslaadimist