Dávkové spracovanie inline: až 10 000 požiadaviek bez súboru
Na tejto strane
Aktualizované 3. novembra 2026: Aktualizácia z 3. novembra:
files.downloadvracia HTTP odpoveď (httpx2.Response); jej obsah si prečítaj pomocou.read()ešte pred volaním.decode().
Ľahká alternatíva k dávkovému spracovaniu so súbormi
Inline dávkovanie ti umožňuje odosielať dávkové požiadavky priamo v API volaní, čím preskočíš krok nahrávania súboru. Toto je ideálna metóda, keď máš stredný objem požiadaviek (až 10 000) a chceš zjednodušiť svoj pipeline.
Dávkovanie so súbormi vs. Inline dávkovanie
Predtým, než sa ponoríme do kódu, si ujasnime rozdiely medzi týmito dvoma prístupmi:
| Kritérium | Dávkovanie so súbormi | Inline dávkovanie |
|---|---|---|
| Maximálny objem | 1 000 000 požiadaviek | 10 000 požiadaviek |
| Predpoklady | Nahrať súbor JSONL | Žiadne |
| Kroky | Nahrať + Vytvoriť úlohu | Vytvoriť úlohu (jedno volanie) |
| Prípady použitia | Produkcia, veľké objemy | Testovanie, prototypovanie, stredné objemy |
Vytvorenie inline úlohy
Namiesto odovzdania parametra input_files odovzdáš parameter requests, ktorý obsahuje tvoj zoznam požiadaviek priamo:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Príprava inline požiadaviek
inline_requests = [
{
"custom_id": f"req-{i:04d}",
"body": {
"max_tokens": 150,
"messages": [
{
"role": "system",
"content": "You are a text classification expert."
},
{
"role": "user",
"content": f"Classify this text: {text}"
}
]
}
}
for i, text in enumerate(my_texts)
]
# Vytvorenie úlohy s inline požiadavkami
job = client.batch.jobs.create(
requests=inline_requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")
Rozdiel v kóde je minimálny: requests= namiesto input_files=. Zvyšok workflow (sledovanie stavu, sťahovanie výsledkov) zostáva identický.
Praktický príklad: Klasifikácia ticketov
Tu je kompletný príklad klasifikácie ticketov zákazníckej podpory:
from mistralai.client import Mistral
import json
import time
client = Mistral(api_key="your-api-key")
# Simulácia support ticketov
tickets = [
{"id": "TK-001", "message": "I cannot log in to my account"},
{"id": "TK-002", "message": "How do I cancel my subscription?"},
{"id": "TK-003", "message": "The app crashes on startup"},
{"id": "TK-004", "message": "Can you add dark mode?"},
{"id": "TK-005", "message": "My invoice is incorrect"},
]
# zostavenie inline požiadaviek
requests = [
{
"custom_id": ticket["id"],
"body": {
"max_tokens": 50,
"messages": [
{
"role": "system",
"content": (
"Classify the ticket into one of these categories: "
"AUTHENTICATION, BILLING, BUG, "
"FEATURE, SUBSCRIPTION. "
"Reply with the category only."
)
},
{"role": "user", "content": ticket["message"]}
]
}
}
for ticket in tickets
]
# Spustenie inline dávky
job = client.batch.jobs.create(
requests=requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# Čakanie a získanie výsledkov
while True:
status = client.batch.jobs.get(job_id=job.id)
if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
break
time.sleep(5)
# Parsovanie výsledkov
if status.status == "SUCCESS":
data = client.files.download(file_id=status.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
ticket_id = entry["custom_id"]
category = entry["response"]["body"]["choices"][0]["message"]["content"]
print(f"{ticket_id} -> {category.strip()}")
Kedy zvoliť ktorý prístup
Rozhodujúcim faktorom nie je len objem, ale aj to, kde sa dávkovanie zapája do tvojho workflow. Počas prototypovania testuješ prompt na niekoľkých stovkách príkladov, vylepšuješ ho a spúšťaš znova. Písanie priebežného súboru JSONL pri každej iterácii len spomaľuje celý cyklus. Inline dávkovanie odstraňuje toto trenie – tvoj skript generuje požiadavky za behu, odosiela ich v tom istom volaní a iteruješ v priebehu minút. Rovnaká logika platí pre ľahké integrácie, jednorazové analytické skripty alebo denné spracovanie, ktoré zostáva pod hranicou 10 000 požiadaviek.
Dávkovanie so súbormi preberá vedenie, akonáhle sa dávkovanie stane produkčným článkom. Po prvé, mechanicky: nad 10 000 požiadaviek je to jediná možnosť. Ale čo je dôležitejšie, štrukturálne: nahraný súbor je trvalý artefakt. Môžeš ho znovu použiť pre viacero úloh, uchovať ho ako záznam o tom, čo presne bolo odoslané, a čisto oddeliť krok prípravy (ktorý buduje, validuje a verzuje súbor) od kroku exekúcie (ktorý spúšťa úlohu). Keď sa dávková úloha spúšťa každú noc na dátach zákazníkov, táto sledovateľnosť nie je luxus; je to to, čo ti umožní o šesť mesiacov odpovedať na otázku: „Čo sme modelu odoslali 12. marca?“
V praxi mnohé tímy využívajú oboje: inline počas vývoja promptov a následne prechádzajú na dávkovanie so súbormi pri industrializácii. Keďže kód na sledovanie a získavanie výsledkov zostáva identický, migrácia sa obmedzuje na nahradenie requests= za input_files=.
Kľúčové poznatky
- Inline dávkovanie odstraňuje krok nahrávania tým, že odovzdáva požiadavky priamo cez parameter
requests - Limit 10 000 požiadaviek na inline úlohu oproti 1 miliónu pri dávkovaní so súbormi
- Sledovanie stavu a sťahovanie výsledkov sú pre oba režimy identické
- Uprednostni inline pre prototypovanie a stredné objemy; na veľkoprodukčné nasadenie použi dávkovanie so súbormi