Inline Batching: do 10 000 zahtjeva bez datoteke
Na ovoj stranici
Ažurirano 3. studenoga 2026.: Ažuriranje od 3. studenoga:
files.downloadvraća HTTP odgovor (httpx2.Response); pročitaj njegov sadržaj s.read()prije poziva.decode().
Lagana alternativa batchiranju putem datoteka
Inline batchiranje omogućuje ti slanje batch zahtjeva izravno unutar API poziva, preskačući korak učitavanja datoteke. Ovo je idealna metoda kada imaš umjeren volumen zahtjeva (do 10 000) i želiš pojednostavniti svoj pipeline.
Batchiranje putem datoteka naspram inline batchiranja
Prije nego što zaronimo u kod, razjasnimo razlike između ta dva pristupa:
| Kriterij | Batchiranje putem datoteka | Inline batchiranje |
|---|---|---|
| Maksimalni volumen | 1 000 000 zahtjeva | 10 000 zahtjeva |
| Preduvjeti | Učitavanje JSONL datoteke | Nema |
| Koraci | Učitavanje + Kreiranje posla | Kreiranje posla (jedan poziv) |
| Slučajevi upotrebe | Produkcija, veliki volumeni | Testiranje, prototipovi, srednji volumeni |
Kreiranje inline posla
Umjesto prosljeđivanja parametra input_files, prosljeđuješ parametar requests koji sadrži tvoj popis zahtjeva izravno:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Pripremi inline zahtjeve
inline_requests = [
{
"custom_id": f"req-{i:04d}",
"body": {
"max_tokens": 150,
"messages": [
{
"role": "system",
"content": "You are a text classification expert."
},
{
"role": "user",
"content": f"Classify this text: {text}"
}
]
}
}
for i, text in enumerate(my_texts)
]
# Kreiraj posao s inline zahtjevima
job = client.batch.jobs.create(
requests=inline_requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")
Razlika u kodu je minimalna: requests= umjesto input_files=. Ostatak tijeka rada (praćenje statusa, preuzimanje rezultata) identičan je.
Primjer iz prakse: Klasifikacija tiketa
Evo potpunog primjera klasifikacije tiketa korisničke podrške:
from mistralai.client import Mistral
import json
import time
client = Mistral(api_key="your-api-key")
# Simuliraj tikete podrške
tickets = [
{"id": "TK-001", "message": "I cannot log in to my account"},
{"id": "TK-002", "message": "How do I cancel my subscription?"},
{"id": "TK-003", "message": "The app crashes on startup"},
{"id": "TK-004", "message": "Can you add dark mode?"},
{"id": "TK-005", "message": "My invoice is incorrect"},
]
# Izgradi inline zahtjeve
requests = [
{
"custom_id": ticket["id"],
"body": {
"max_tokens": 50,
"messages": [
{
"role": "system",
"content": (
"Classify the ticket into one of these categories: "
"AUTHENTICATION, BILLING, BUG, "
"FEATURE, SUBSCRIPTION. "
"Reply with the category only."
)
},
{"role": "user", "content": ticket["message"]}
]
}
}
for ticket in tickets
]
# Pokreni inline batch
job = client.batch.jobs.create(
requests=requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# Pričekaj i dohvati rezultate
while True:
status = client.batch.jobs.get(job_id=job.id)
if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
break
time.sleep(5)
# Parsiraj rezultate
if status.status == "SUCCESS":
data = client.files.download(file_id=status.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
ticket_id = entry["custom_id"]
category = entry["response"]["body"]["choices"][0]["message"]["content"]
print(f"{ticket_id} -> {category.strip()}")
Kada odabrati koji pristup
Odlučujući faktor nije samo volumen; već mjesto koje batchiranje zauzima u tvom tijeku rada. Tijekom izrade prototipa, testiraš prompt na nekoliko stotina primjera, usavršavaš ga i ponovno pokrećeš. Pisanje međudatoteke u JSONL formatu pri svakoj iteraciji samo usporava ciklus. Inline batchiranje uklanja tu trenicu – tvoja skripta generira zahtjeve u hodu, šalje ih u istom pozivu i iteriraš u roku od nekoliko minuta. Ista logika vrijedi za lagane integracije, skripte za jednokratnu analizu ili dnevnu obradu koja ostaje ispod 10 000 zahtjeva.
Batchiranje putem datoteka preuzima vodstvo čim batchiranje postane produkcijska karika. Prvo, mehanički: iznad 10 000 zahtjeva, to je jedina opcija. Ali važnije, strukturno: učitana datoteka je trajni artefakt. Možeš je ponovno upotrijebiti za više poslova, čuvati je kao zapis o točno onome što je poslano i jasno odvojiti korak pripreme (koji gradi, validira i verzionira datoteku) od koraka izvršenja (koji pokreće posao). Kada se batch posao pokreće svake noći na podacima kupaca, ta sljedivost nije luksuz; to je ono što ti omogućuje odgovoriti na pitanje „Što smo poslali modelu 12. ožujka?“ šest mjeseci kasnije.
U praksi, mnogi timovi koriste oba pristupa: inline tijekom razvoja prompta, a zatim prelaze na batchiranje putem datoteka prilikom industrializacije. Budući da kod za praćenje i dohvaćanje rezultata ostaje identičan, migracija se svodi na zamjenu requests= s input_files=.
Ključne točke
- Inline batchiranje uklanja korak učitavanja prosljeđivanjem zahtjeva izravno putem parametra
requests - Ograničenje od 10 000 zahtjeva po inline poslu, naspram 1 milijun za batchiranje putem datoteka
- Praćenje statusa i preuzimanje rezultata identični su za oba načina rada
- Preferiraj inline za prototipove i umjerene volumene; koristi batchiranje putem datoteka za produkciju velikog opsega