Dávkové zpracování inline: až 10 000 požadavků bez souboru
Na této stránce
Aktualizováno 3. listopadu 2026: Aktualizace z 3. listopadu:
files.downloadvrací HTTP odpověď (httpx2.Response); před voláním.decode()si její obsah přečti pomocí.read().
Lehká alternativa k dávkování ze souboru
Inline dávkování ti umožňuje odesílat dávkové požadavky přímo v API volání, čímž přeskočíš krok nahrávání souboru. Toto je ideální metoda, když máš střední objem požadavků (až 10 000) a chceš zjednodušit svůj pipeline.
Dávkování ze souboru vs. inline dávkování
Než se ponoříme do kódu, ujasněme si rozdíly mezi těmito dvěma přístupy:
| Kritérium | Dávkování ze souboru | Inline dávkování |
|---|---|---|
| Maximální objem | 1 000 000 požadavků | 10 000 požadavků |
| Předpoklady | Nahrát soubor JSONL | Žádné |
| Kroky | Nahrát + Vytvořit úlohu | Vytvořit úlohu (jediné volání) |
| Případy použití | Produkce, velké objemy | Testování, prototypování, střední objemy |
Vytvoření inline úlohy
Místo předání parametru input_files předáš parametr requests, který obsahuje tvůj seznam požadavků přímo:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Příprava inline požadavků
inline_requests = [
{
"custom_id": f"req-{i:04d}",
"body": {
"max_tokens": 150,
"messages": [
{
"role": "system",
"content": "You are a text classification expert."
},
{
"role": "user",
"content": f"Classify this text: {text}"
}
]
}
}
for i, text in enumerate(my_texts)
]
# Vytvoření úlohy s inline požadavky
job = client.batch.jobs.create(
requests=inline_requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
print(f"Inline úloha vytvořena: {job.id}")
print(f"Počet požadavků: {len(inline_requests)}")
Rozdíl v kódu je minimální: requests= místo input_files=. Zbytek workflow (sledování stavu, stahování výsledků) je totožný.
Praktický příklad: Klasifikace ticketů
Zde je kompletní příklad klasifikace ticketů zákaznické podpory:
from mistralai.client import Mistral
import json
import time
client = Mistral(api_key="your-api-key")
# Simulace support ticketů
tickets = [
{"id": "TK-001", "message": "I cannot log in to my account"},
{"id": "TK-002", "message": "How do I cancel my subscription?"},
{"id": "TK-003", "message": "The app crashes on startup"},
{"id": "TK-004", "message": "Can you add dark mode?"},
{"id": "TK-005", "message": "My invoice is incorrect"},
]
# Sestavení inline požadavků
requests = [
{
"custom_id": ticket["id"],
"body": {
"max_tokens": 50,
"messages": [
{
"role": "system",
"content": (
"Classify the ticket into one of these categories: "
"AUTHENTICATION, BILLING, BUG, "
"FEATURE, SUBSCRIPTION. "
"Reply with the category only."
)
},
{"role": "user", "content": ticket["message"]}
]
}
}
for ticket in tickets
]
# Spuštění inline dávky
job = client.batch.jobs.create(
requests=requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# Čekání a získání výsledků
while True:
status = client.batch.jobs.get(job_id=job.id)
if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
break
time.sleep(5)
# Zpracování výsledků
if status.status == "SUCCESS":
data = client.files.download(file_id=status.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
ticket_id = entry["custom_id"]
category = entry["response"]["body"]["choices"][0]["message"]["content"]
print(f"{ticket_id} -> {category.strip()}")
Kdy zvolit který přístup
Rozhodujícím faktorem není jen objem, ale místo, které dávkování zaujímá ve tvém workflow. Během prototypování testuješ prompt na několika stovkách příkladů, vylepšuješ ho a spouštíš znovu. Zápis průběžného souboru JSONL v každé iteraci pouze zpomaluje celý cyklus. Inline dávkování odstraňuje toto tření – tvůj skript generuje požadavky za běhu, odešle je ve stejném volání a ty můžeš iterovat během minut. Stejná logika platí pro lehké integrace, jednorázové analytické skripty nebo denní zpracování, které zůstává pod hranicí 10 000 požadavků.
Dávkování ze souboru přebírá vedení, jakmile se dávkování stane produkčním článkem. Zaprvé mechanicky: nad 10 000 požadavků je to jediná možnost. Ale důležitější je hledisko strukturální: nahraný soubor je trvalý artefakt. Můžeš jej znovu použít pro více úloh, uchovat jej jako záznam o tom, co přesně bylo odesláno, a čistě oddělit krok přípravy (který soubor buduje, validuje a verzuje) od kroku exekuce (který úlohu spouští). Když běží dávková úloha nightly na zákaznických datech, tato sledovatelnost není luxus; je to to, co ti umožní odpovědět na otázku „Co jsme modelu odeslali 12. března?“ o šest měsíců později.
V praxi mnoho týmů využívá obojí: inline během vývoje promptů a přechod na dávkování ze souboru při industrializaci. Protože kód pro sledování a získávání výsledků zůstává totožný, migrace se omezuje na nahrazení requests= za input_files=.
Klíčové poznatky
- Inline dávkování odstraňuje krok nahrávání předáním požadavků přímo přes parametr
requests - Limit 10 000 požadavků na inline úlohu oproti 1 milionu u dávkování ze souboru
- Sledování stavu a stahování výsledků jsou pro oba režimy totožné
- Upřednostni inline pro prototypování a střední objemy; pro velkokapacitní produkci použij dávkování ze souboru