Sukurti paketinį užduotį, stebėti būseną ir atsisiųsti rezultatus
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d.: Priedas lapkričio 3 d.:
files.downloadgrąžina HTTP atsakymą (httpx2.Response); prieš kviečiant.decode(), perskaitykite jo turinį naudodami.read(). Įkeliant tikimasifile={"file_name": …, "content": …}. API raktas daugiau nebėra įkoduotas.
Nuo JSONL failo iki rezultatų: visas gyvavimo ciklas
Tavo JSONL failas paruoštas ir įkeltas, turi file_id. Kitas žingsnis – tą neveikiantį failą paversti naudotinais rezultatais: sukurti paketinę užduotį, kelias minutes ar valandas trunkančio apdorojimo metu stebėti jos eigą, o tada gauti ir suderinti atsakymus. Šioje pamokoje žingsnis po žingsnio nagrinėjamas visas Python kodas tokia tvarka, kokia jį rašysi.
Paketinės užduoties kūrimas
Kūrimui pakanka vieno kvietimo. Nurodai šaltinio failą, modelį ir galutinį tašką:
from mistralai.client import Mistral
import time
client = Mistral(api_key="your-api-key")
# Sukurti paketinę užduotį
job = client.batch.jobs.create(
input_files=[batch_file.id], # Įkelto failo ID
model="mistral-small-latest",
endpoint="/v1/chat/completions",
metadata={"project": "document-analysis", "version": "1.0"}
)
print(f"Užduotis sukurta: {job.id}")
print(f"Pradinė būsena: {job.status}")
Kiekvienas parametras nusipelno pastabos:
input_files– Įkeltų failų ID sąrašas. Vienai užduočiai gali perduoti kelis failus.model– Naudojamas „Mistral“ modelis. Vienai paketinei užduočiai leidžiamas tik vienas modelis.endpoint– Tikslinis API galutinis taškas (turi atitikti tavo JSONL faile esantįbodyformatą).metadata– Pasirinktinis žodynas su tinkintais metaduomenimis, padedantis organizuoti ir rasti tavo užduotis.
Apribojimas „vienas modelis vienai užduočiai“ lemia, kaip skirstai darbus: jei nori palyginti du modelius tame pačiame tekste, pateik dvi atskiras užduotis, nukreiptas į tą patį failą. O metaduomenys gali atrodyti nereikšmingi, kol istorijoje neturi trisdešimties užduočių; tada aukščiau pateikta projekto ir versijos pora leidžia per tris sekundes rasti paketinę užduotį, sugeneravusią abejotinus duomenis.
Paketinės užduoties būsenos
Paketinė užduotis savo gyvavimo ciklo metu pereina kelias būsenas:
| Būsena | Aprašymas |
|---|---|
QUEUED | Eilėje, dar nepradėta |
RUNNING | Vykdomas apdorojimas |
SUCCESS | Sėkmingai baigta |
FAILED | Apdorojimas nepavyko |
TIMEOUT_EXCEEDED | Viršytas vykdymo laiko limitas |
CANCELLATION_REQUESTED | Prašyta atšaukti |
CANCELLED | Atšaukta |
Keturi iš šių septynių būsenų yra galutinės – SUCCESS, FAILED, TIMEOUT_EXCEEDED ir CANCELLED – ir būtent šis skirtumas valdo stebėsenos ciklą: kol būsena nėra šioje aibėje, užduotis vis dar vykdoma ir turi laukti. Ypač CANCELLATION_REQUESTED nėra sustojimo būsena, o pereinamoji; kodas, traktuojantis ją kaip galutinę, per anksti išeitų iš ciklo.
Eigos stebėjimas
Žemiau pateiktas apklausos šablonas tiksliai įgyvendina šią logiką, įtraukdamas maksimalios trukmės apsaugą, kad pamirštas scenarijus neveiktų be galo:
def wait_for_batch(client, job_id, poll_interval=10, max_wait=3600):
"""Laukti, kol paketinė užduotis bus baigta, naudojant apklausą."""
elapsed = 0
terminal_states = {"SUCCESS", "FAILED", "TIMEOUT_EXCEEDED", "CANCELLED"}
while elapsed < max_wait:
job = client.batch.jobs.get(job_id=job_id)
print(f"[{elapsed}s] Būsena: {job.status}")
if job.status in terminal_states:
return job
time.sleep(poll_interval)
elapsed += poll_interval
raise TimeoutError(f"Užduotis {job_id} vis dar vykdoma po {max_wait}s")
# Naudojimas
completed_job = wait_for_batch(client, job.id)
print(f"Galutinis rezultatas: {completed_job.status}")
Dešimties sekundžių intervalas tinka kelioms minutėms trunkančiai paketinei užduočiai; jei per naktį apdorojami šimtai tūkstančių eilučių, padidink jį iki minutės ar daugiau. Didesnis apklausos tikslumas čia nieko neprideda ir tik kaupia nereikalingus API kvietimus.
Rezultatų atsisiuntimas
Kai būsena tampa SUCCESS, užduotis pateikia output_file, kurį atsisiunti ir eilutė po eilutės išanalizuoji:
import json
if completed_job.status == "SUCCESS":
# Gauti išvesties failo ID
output_file_id = completed_job.output_file
# Atsisiųsti turinį
result_data = client.files.download(file_id=output_file_id)
# Išanalizuoti JSONL rezultatus
results = {}
for line in result_data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
custom_id = entry["custom_id"]
response = entry["response"]
results[custom_id] = response
# Parodyti pavyzdį
for cid, resp in list(results.items())[:3]:
content = resp["body"]["choices"][0]["message"]["content"]
print(f"\n--- {cid} ---")
print(content[:200])
Rezultatų failas taip pat yra JSONL formato, ir kiekviena eilutė kartu su pilnu modelio atsakymu turi originalų custom_id. Čia atsiperka ankstesnėje pamokoje dėtas vardų kūrimo darbas: indeksavimas pagal custom_id žodyne pakanka, kad suderintum atsakymus su šaltinio dokumentais, nepaisant to, kokia tvarka jie grįžta. Pirmųjų trijų įrašų rodymas, sutrumpintas iki 200 simbolių, yra naudinga patikra prieš pradedant rašyti į duomenų bazę.
Užduočių sąrašo peržiūra ir valdymas
Gali filtruoti užduočių inventorių pagal būseną, kad bet kuriuo momentu matytum, kas iš tikrųjų vykdoma tavo paskyroje:
# Išvardyti visas šiuo metu vykdomas užduotis
running_jobs = client.batch.jobs.list(status="RUNNING")
for j in running_jobs.data:
print(f"Užduotis {j.id} - Modelis: {j.model} - Sukurta: {j.created_at}")
O kai užduotis užsitęsia arba po pateikimo pastebi raginimo klaidą, atšaukimas leidžia išvengti mokėjimo už nenaudingą apdorojimą:
# Atšaukti per ilgai trunkančią užduotį
client.batch.jobs.cancel(job_id="job-abc123")
Atšaukimas yra asinchroninis: būsena pirmiausia tampa CANCELLATION_REQUESTED, o tada – CANCELLED, kai sustabdymas įsigalioja. Negalvok, kad ištekliai išlaisvinami iškart grįžus kvietimui.
Visas darbo eigos ciklas
Sujungus šiuos keturis žingsnius gaunamas trumpas scenarijus, kurį gali tiesiogiai įdėti į planuoklę:
from mistralai.client import Mistral
import json
import os
import time
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# 1. Įkelti failą
with open("batch_requests.jsonl", "rb") as f:
batch_file = client.files.upload(
file={"file_name": "batch_requests.jsonl", "content": f},
purpose="batch"
)
# 2. Sukurti užduotį
job = client.batch.jobs.create(
input_files=[batch_file.id],
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# 3. Laukti, kol bus baigta
completed = wait_for_batch(client, job.id)
# 4. Atsisiųsti ir išanalizuoti rezultatus
if completed.status == "SUCCESS":
data = client.files.download(file_id=completed.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
print(f"{entry['custom_id']}: OK")
else:
print(f"Paketinė užduotis nepavyko: {completed.status}")
Naudok šį karkasą savo tekstui, pridėjęs tik dešimt eilučių: per kelias minutes patikrinsi visą grandinę, prieš įsipareigodamas apdoroti visą apimtį.
Svarbiausi punktai
- Sukurk paketinę užduotį naudodamas
client.batch.jobs.create(), nurodydamas failą, modelį ir galutinį tašką - Galimos septynios būsenos, įskaitant tris galutines:
SUCCESS,FAILED,CANCELLED - Apklausos su intervalu naudojimas yra standartinis eigos stebėsenos šablonas
- Rezultatai yra JSONL formatu, susieti su užklausomis per
custom_id - Bet kada gali peržiūrėti, tikrinti ir atšaukti savo užduotis