Stvori batch posao, prati status i preuzmi rezultate
Na ovoj stranici
Ažurirano 3. studenoga 2026.: Dodatak za 3. studenoga:
files.downloadvraća HTTP odgovor (httpx2.Response); pročitaj njegov sadržaj s.read()prije poziva.decode(). Upload očekujefile={"file_name": …, "content": …}. API ključ više nije hardkodiran.
Od JSONL datoteke do rezultata: Cjelokupni životni ciklus
Tvoja JSONL datoteka je pripremljena i učitana, a ti imaš file_id. Sljedeći korak je transformacija te mirujuće datoteke u upotrebljive rezultate: stvori batch posao, prati njegov napredak tijekom minuta ili sati potrebnih za obradu, zatim preuzmi i uskladi odgovore. Ova lekcija provodi te kroz Python kod od početka do kraja točnim redoslijedom kojim ćeš ga pisati.
Stvaranje batch posla
Stvaranje zahtijeva samo jedan poziv. Određuješ izvornu datoteku, model i ciljanu krajnju točku:
from mistralai.client import Mistral
import time
client = Mistral(api_key="your-api-key")
# Create the batch job
job = client.batch.jobs.create(
input_files=[batch_file.id], # ID of the uploaded file
model="mistral-small-latest",
endpoint="/v1/chat/completions",
metadata={"project": "document-analysis", "version": "1.0"}
)
print(f"Job created: {job.id}")
print(f"Initial status: {job.status}")
Svaki parametar zaslužuje napomenu:
input_files— Popis ID-eva učitanih datoteka. Jednom poslu možeš proslijediti više datoteka.model— Mistral model koji ćeš koristiti. Po batch poslu dopušten je samo jedan model.endpoint— Ciljana API krajnja točka (mora odgovarati formatubodyu tvojem JSONL-u).metadata— Opcionalni rječnik prilagođenih metapodataka za organizaciju i dohvat tvojih poslova.
Ograničenje jednog modela po poslu strukturira način na koji dijeliš svoj rad: ako želiš usporediti dva modela na istom korpusu, pošalji dva različita posla koja pokazuju na istu datoteku. Što se tiče metapodataka, mogu djelovati sporedno dok nemaš trideset poslova u povijesti; tada ti par projekt/verzija prikazan gore omogućuje da u tri sekunde pronađeš batch koji je proizveo upitne podatke.
Statusi batch posla
Batch posao prolazi kroz nekoliko stanja tijekom svog životnog ciklusa:
| Status | Opis |
|---|---|
QUEUED | U čekanju, još nije pokrenut |
RUNNING | Obrada u tijeku |
SUCCESS | Uspješno završeno |
FAILED | Obrada nije uspjela |
TIMEOUT_EXCEEDED | Prekoračeno vrijeme izvršavanja |
CANCELLATION_REQUESTED | Zatražen otkaz |
CANCELLED | Otkazano |
Četiri od ovih sedam stanja su terminalna—SUCCESS, FAILED, TIMEOUT_EXCEEDED i CANCELLED—a ta razlika pokreće petlju praćenja: sve dok status nije u tom skupu, posao je još živ i moraš čekati. CANCELLATION_REQUESTED posebno nije zaustavljeno stanje već prijelazno; kod koji ga tretira kao terminalno prerano bi izašao iz petlje.
Praćenje napretka
Donji obrazac anketiranja (polling) točno obuhvaća ovu logiku, uz zaštitnu ogradu maksimalnog trajanja kako bi se spriječilo beskonačno izvršavanje zaboravljenog skripta:
def wait_for_batch(client, job_id, poll_interval=10, max_wait=3600):
"""Wait for a batch job to complete using polling."""
elapsed = 0
terminal_states = {"SUCCESS", "FAILED", "TIMEOUT_EXCEEDED", "CANCELLED"}
while elapsed < max_wait:
job = client.batch.jobs.get(job_id=job_id)
print(f"[{elapsed}s] Status: {job.status}")
if job.status in terminal_states:
return job
time.sleep(poll_interval)
elapsed += poll_interval
raise TimeoutError(f"Job {job_id} still running after {max_wait}s")
# Usage
completed_job = wait_for_batch(client, job.id)
print(f"Final result: {completed_job.status}")
Interval od deset sekundi funkcionira za batch koji traje nekoliko minuta; za noćno izvršavanje koje obrađuje nekoliko stotina tisuća redaka, povećaj ga na minutu ili više. Veća preciznost anketiranja tamo ne dodaje vrijednost i samo akumulira nepotrebne API pozive.
Preuzimanje rezultata
Kada status dosegne SUCCESS, posao izlaže output_file koji preuzimaš i parsiraš redak po redak:
import json
if completed_job.status == "SUCCESS":
# Get the output file ID
output_file_id = completed_job.output_file
# Download the content
result_data = client.files.download(file_id=output_file_id)
# Parse JSONL results
results = {}
for line in result_data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
custom_id = entry["custom_id"]
response = entry["response"]
results[custom_id] = response
# Show an example
for cid, resp in list(results.items())[:3]:
content = resp["body"]["choices"][0]["message"]["content"]
print(f"\n--- {cid} ---")
print(content[:200])
Datoteka s rezultatima također je u JSONL formatu, a svaki redak nosi izvorni custom_id uz puni odgovor modela. Ovdje se isplati trud uloženu u imenovanje iz prethodne lekcije: indeksiranje po custom_id u rječniku dovoljno je za usklađivanje odgovora s tvojim izvornim dokumentima, bez obzira na redoslijed kojim se vraćaju. Prikaz prvih triju unosa skraćenih na 200 znakova korisna je provjera zdravog razuma prije nego što počneš pisati u svoju bazu podataka.
Popis i upravljanje tvojim poslovima
Možeš filtrirati inventar poslova po statusu, što ti omogućuje da u svakom trenutku vidiš što se zapravo izvršava na tvom računu:
# List all currently running jobs
running_jobs = client.batch.jobs.list(status="RUNNING")
for j in running_jobs.data:
print(f"Job {j.id} - Model: {j.model} - Created: {j.created_at}")
A kada se posao oteže ili uočiš pogrešku u promptu nakon slanja, otkazivanje izbjegava plaćanje beskorisne obrade:
# Cancel a job that is taking too long
client.batch.jobs.cancel(job_id="job-abc123")
Otkazivanje je asinkrono: status prvo prelazi u CANCELLATION_REQUESTED, a zatim u CANCELLED jednom kada je zaustavljanje učinkovito. Ne smatraj resurs oslobođenim odmah po povratku poziva.
Radni tijek od početka do kraja
Sastavljeno, ova četiri koraka čine kratku skriptu koju možeš izravno postaviti u planer (scheduler):
from mistralai.client import Mistral
import json
import os
import time
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# 1. Upload the file
with open("batch_requests.jsonl", "rb") as f:
batch_file = client.files.upload(
file={"file_name": "batch_requests.jsonl", "content": f},
purpose="batch"
)
# 2. Create the job
job = client.batch.jobs.create(
input_files=[batch_file.id],
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# 3. Wait for completion
completed = wait_for_batch(client, job.id)
# 4. Download and parse results
if completed.status == "SUCCESS":
data = client.files.download(file_id=completed.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
print(f"{entry['custom_id']}: OK")
else:
print(f"Batch failed: {completed.status}")
Ponovno iskoristi ovaj kostur na vlastitom korpusu s samo deset redaka: validirat ćeš cijeli lanac u nekoliko minuta prije nego što se obvežeš na puni volumen.
Ključne točke
- Stvori batch posao s
client.batch.jobs.create()navođenjem datoteke, modela i krajnje točke - Sedam mogućih statusa, uključujući tri terminalna:
SUCCESS,FAILED,CANCELLED - Anketiranje s intervalom standardni je obrazac za praćenje napretka
- Rezultati su u JSONL formatu, povezani sa zahtjevima putem
custom_id - Svoje poslove možeš popisati, pregledati i otkazati u bilo kojem trenutku