Paketno obdelovanje v kodi: do 10.000 zahtevkov brez datoteke
Na tej strani
Posodobljeno 3. novembra 2026: Posodobitev z dne 3. novembra:
files.downloadvrne HTTP odgovor (httpx2.Response); njegovo vsebino preberi z.read()pred klicem.decode().
Lažja alternativa paketni obdelavi z datotekami
Paketno obdelovanje v kodi (inline batching) ti omogoča neposredno pošiljanje paketnih zahtevkov prek API klica, kar pomeni, da preskočiš korak nalaganja datoteke. To je idealna metoda, ko imaš zmerno količino zahtevkov (do 10.000) in želiš poenostaviti svoj potek dela.
Paketna obdelava z datotekami proti paketni obdelavi v kodi
Preden se poglobimo v kodo, si oglejmo razlike med obema pristopoma:
| Kriterij | Paketna obdelava z datotekami | Paketna obdelava v kodi |
|---|---|---|
| Največji obseg | 1.000.000 zahtevkov | 10.000 zahtevkov |
| Predpogoji | Nalaganje datoteke JSONL | Brez |
| Koraki | Nalaganje + ustvarjanje opravila | Ustvarjanje opravila (en klic) |
| Primeri uporabe | Produkcijsko okolje, veliki obsegi | Testiranje, prototipiranje, srednji obsegi |
Ustvarjanje opravila v kodi
Namesto parametra input_files uporabiš parameter requests, ki vsebuje tvoj seznam zahtevkov neposredno:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Priprava zahtevkov v kodi
inline_requests = [
{
"custom_id": f"req-{i:04d}",
"body": {
"max_tokens": 150,
"messages": [
{
"role": "system",
"content": "You are a text classification expert."
},
{
"role": "user",
"content": f"Classify this text: {text}"
}
]
}
}
for i, text in enumerate(my_texts)
]
# Ustvari opravilo z zahtevki v kodi
job = client.batch.jobs.create(
requests=inline_requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")
Razlika v kodi je minimalna: requests= namesto input_files=. Preostali del poteka dela (sledenje stanju, prenos rezultatov) je identičen.
Primer iz prakse: Klasifikacija vstopnic
Tukaj je popoln primer klasifikacije vstopnic za podporo strankam:
from mistralai.client import Mistral
import json
import time
client = Mistral(api_key="your-api-key")
# Simulacija vstopnic za podporo
tickets = [
{"id": "TK-001", "message": "I cannot log in to my account"},
{"id": "TK-002", "message": "How do I cancel my subscription?"},
{"id": "TK-003", "message": "The app crashes on startup"},
{"id": "TK-004", "message": "Can you add dark mode?"},
{"id": "TK-005", "message": "My invoice is incorrect"},
]
# Izgradnja zahtevkov v kodi
requests = [
{
"custom_id": ticket["id"],
"body": {
"max_tokens": 50,
"messages": [
{
"role": "system",
"content": (
"Classify the ticket into one of these categories: "
"AUTHENTICATION, BILLING, BUG, "
"FEATURE, SUBSCRIPTION. "
"Reply with the category only."
)
},
{"role": "user", "content": ticket["message"]}
]
}
}
for ticket in tickets
]
# Zagon paketnega opravila v kodi
job = client.batch.jobs.create(
requests=requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# Čakanje in pridobivanje rezultatov
while True:
status = client.batch.jobs.get(job_id=job.id)
if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
break
time.sleep(5)
# Razčlenitev rezultatov
if status.status == "SUCCESS":
data = client.files.download(file_id=status.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
ticket_id = entry["custom_id"]
category = entry["response"]["body"]["choices"][0]["message"]["content"]
print(f"{ticket_id} -> {category.strip()}")
Kdaj izbrati posamezen pristop
Odločilni dejavnik ni le obseg, temveč tudi mesto, ki ga paketna obdelava zavzema v tvojem poteku dela. Med prototipiranjem testiraš poziv na nekaj sto primerih, ga izpopolniš in ponovno zaženeš. Pisanje vmesne datoteke JSONL pri vsaki iteraciji le upočasni cikel. Paketna obdelava v kodi odpravi to trenje – tvoja skripta generira zahtevke sproti, jih pošlje v istem klicu in iteriraš v nekaj minutah. Enaka logika velja za lahke integracije, enkratne analitske skripte ali dnevno obdelavo, ki ostane pod 10.000 zahtevki.
Paketna obdelava z datotekami prevzame vodilno vlogo, ko paketna obdelava postane produkcijska povezava. Najprej mehansko: pri več kot 10.000 zahtevkih je to edina možnost. Še pomembneje pa je strukturno: naložena datoteka je trajen artefakt. Lahko jo ponovno uporabiš za več opravil, jo hraniš kot zapis točno tega, kar je bilo poslano, in jasno ločiš korak priprave (ki gradi, validira in različici datoteko) od koraka izvedbe (ki zažene opravilo). Ko se paketno opravilo izvaja vsako noč na podatkih strank, ta sledljivost ni razkošje; je tisto, kar ti omogoča, da šest mesecev kasneje odgovoriš na vprašanje: „Kaj smo 12. marca poslali modelu?”
V praksi številne ekipe uporabljajo oboje: paketno obdelavo v kodi med razvojem pozivov, nato pa preklopijo na paketno obdelavo z datotekami ob industrializaciji. Ker koda za sledenje in pridobivanje rezultatov ostane identična, je selitev omejena na zamenjavo requests= z input_files=.
Ključne ugotovitve
- Paketna obdelava v kodi odpravi korak nalaganja s posredovanjem zahtevkov neposredno prek parametra
requests - Omejitev 10.000 zahtevkov na opravilo v kodi v primerjavi z 1 milijonom za paketno obdelavo z datotekami
- Sledenje stanju in prenos rezultatov sta za oba načina identična
- Paketno obdelavo v kodi raje uporabi za prototipiranje in zmerne obsege; za obsežno produkcijsko uporabo uporabi paketno obdelavo z datotekami