Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

JSONL-muoto ja lataus Files API:n kautta

Oppitunti 6 / 12 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Massakäsittely JSONL-muodolla
  2. JSONL-tiedoston rakenne
  3. JSONL-tiedoston generointi Pythonilla
  4. Lataus Files API:n kautta
  5. Eräajon luominen tiedostosta
  6. JSONL-muodon rajoitukset
  7. JSONL-tiedoston generointi JavaScriptillä
  8. Validointi ja vianetsintä
  9. Keskeiset asiat

Päivitetty 2. marraskuuta 2026 xAI:n dokumentaation perusteella: alennus eräajosta on 20 % tukikelpoisissa tekstimalleissa (ei 50 %), esimerkit noudattavat REST API:a ja virallista xai-sdk:ta (client.batch.*; xAI:n Batch API ei käytä OpenAI:n muotoa, joten OpenAI SDK ei sovellu), ja Responses API on ensisijainen Chat Completionsiin nähden, joka on xAI:lla vanhentunut päätepiste. Lähteet: Batch API · REST-viite · Eräajojen hinnoittelu.

Massakäsittely JSONL-muodolla

Kun käsiteltävänä on suuria etukäteen valmisteltuja aineistoja, JSONL-tiedosto on yksinkertaisin ratkaisu. Kirjoitat kaikki pyyntösi tiedostoon, lataat sen Files API:n kautta ja luot eräajon tämän tiedoston pohjalta. Yksi tiedosto voi sisältää jopa 50 000 pyyntöä.

JSONL-tiedoston rakenne

JSONL (JSON Lines) -tiedosto sisältää yhden JSON-objektin riviä kohden. Jokainen rivi edustaa täydellistä pyyntöä, jossa on neljä kenttää:

{"custom_id": "req-1", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "Summarize this text in one sentence: ..."}]}}
{"custom_id": "req-2", "method": "POST", "url": "/v1/responses", "body": {"model": "grok-4.3", "input": [{"role": "user", "content": "Classify this ticket: bug, feature, or question. ..."}]}}
{"custom_id": "req-3", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "grok-4.3", "messages": [{"role": "user", "content": "Translate into English: ..."}]}}
  • custom_id: yksilöllinen tunniste tiedoston sisällä; siitä tulee batch_request_id tuloksissa
  • method: aina "POST"
  • url: kohdepäätepiste, yksi seitsemästä hyväksytystä
  • body: pyynnön sisältö, joka vastaa kyseisen päätepisteen API-viitettä

Jokaisen rivin on oltava kelvollinen, itsenäinen JSON: ei pilkkua erottimena, ei sulkevia hakasulkeita. Päätepisteitä voi sekoittaa samassa tiedostossa; jokainen pyyntö reititetään itsenäisesti.

JSONL-tiedoston generointi Pythonilla

import json

documents = [
    {"id": "doc-001", "text": "First article to summarize..."},
    {"id": "doc-002", "text": "Second article to summarize..."},
    # ... jopa 50 000 dokumenttia tiedostoa kohden
]

with open("batch_requests.jsonl", "w", encoding="utf-8") as f:
    for doc in documents:
        ligne = {
            "custom_id": doc["id"],
            "method": "POST",
            "url": "/v1/responses",
            "body": {
                "model": "grok-4.3",
                "input": [
                    {"role": "system", "content": "Summarize in three sentences."},
                    {"role": "user", "content": doc["text"]},
                ],
            },
        }
        f.write(json.dumps(ligne, ensure_ascii=False) + "\n")

Lataus Files API:n kautta

Lataat tiedoston /v1/files-päätepisteen kautta ilman muita parametreja:

curl -X POST https://api.x.ai/v1/files \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -F file="@batch_requests.jsonl"

Python SDK:n avulla:

from xai_sdk import Client

client = Client()

with open("batch_requests.jsonl", "rb") as f:
    fichier = client.files.upload(f, filename="batch_requests.jsonl")
print(f"Uploaded file: {fichier.id}")

Eräajon luominen tiedostosta

Tiedostoa ei lisätä olemassa olevaan eräajoon: määrität sen luontivaiheessa käyttämällä input_file_id:tä:

curl -X POST https://api.x.ai/v1/batches \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"name": "article_summaries", "input_file_id": "file-abc123"}'
batch = client.batch.create(batch_name="article_summaries", input_file_id=fichier.id)
print(f"Batch created: {batch.batch_id}")

Tiedosto luetaan tämän jälkeen taustalla. Jos edes yksi rivi on virheellinen, eräajo peruutetaan virheilmoituksella. Seuranta ja tulosten hakeminen toimivat täsmälleen samoin kuin API:n kautta lähetetyssä eräajossa.

JSONL-muodon rajoitukset

  • Enintään 50 000 pyyntöä tiedostoa kohden
  • Enintään 200 Mt tiedostoa kohden
  • Yksilöllinen custom_id jokaista riviä kohden
  • Tiedostosta luotu eräajo on suljettu: et voi lisätä siihen myöhemmin API:n kautta

Jos eräajosi ylittää nämä rajat, jaa se useampaan tiedostoon ja luo yksi eräajo per tiedosto. Eräajojen määrälle tiimiä kohden ei ole ylärajaa.

JSONL-tiedoston generointi JavaScriptillä

import fs from "fs";

const documents = [
  { id: "doc-001", text: "First article..." },
  { id: "doc-002", text: "Second article..." },
];

const lines = documents.map(doc => JSON.stringify({
  custom_id: doc.id,
  method: "POST",
  url: "/v1/responses",
  body: {
    model: "grok-4.3",
    input: [
      { role: "user", content: `Summarize: ${doc.text}` }
    ]
  }
}));

fs.writeFileSync("batch_requests.jsonl", lines.join("\n") + "\n");

Validointi ja vianetsintä

Yksi virheellinen rivi peruuttaa koko eräajon: valido tiedosto ennen lataamista. Yksinkertainen skripti kattaa oleelliset asiat:

import json
import os

ENDPOINTS = {
    "/v1/responses", "/v1/chat/completions",
    "/v1/images/generations", "/v1/images/edits",
    "/v1/videos/generations", "/v1/videos", "/v1/videos/edits", "/v1/videos/extensions",
}

def valider_jsonl(chemin: str) -> list[str]:
    erreurs, ids = [], set()
    if os.path.getsize(chemin) > 200 * 1024 * 1024:
        erreurs.append("file larger than 200 MB")
    with open(chemin, encoding="utf-8") as f:
        for i, ligne in enumerate(f, 1):
            try:
                obj = json.loads(ligne)
            except json.JSONDecodeError as e:
                erreurs.append(f"line {i}: invalid JSON ({e})")
                continue
            cid = obj.get("custom_id")
            if not cid or cid in ids:
                erreurs.append(f"line {i}: missing or duplicate custom_id")
            ids.add(cid)
            if obj.get("method") != "POST" or obj.get("url") not in ENDPOINTS:
                erreurs.append(f"line {i}: invalid method or url")
            if not isinstance(obj.get("body"), dict):
                erreurs.append(f"line {i}: missing body")
    if len(ids) > 50_000:
        erreurs.append("more than 50,000 requests")
    return erreurs

print(valider_jsonl("batch_requests.jsonl") or "File is valid")

Keskeiset asiat

  • JSONL-muoto sisältää yhden JSON-objektin riviä kohden: custom_id, method, url, body
  • Lataat tiedoston osoitteeseen /v1/files ja määrität sen eräajoa luodessa (input_file_id)
  • Enintään 50 000 pyyntöä ja 200 Mt per tiedosto; tämän ylittyessä yksi eräajo per tiedosto
  • Tiedostosta luotu eräajo on suljettu, ja yksi virheellinen rivi peruuttaa sen kokonaan
  • Validoi tiedosto ennen lataamista