Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Dávkové spracovanie inline: až 10 000 požiadaviek bez súboru

Lekcia 4 z 16 Aktualizované 3. novembra 2026 Pokročilý
Na tejto strane
  1. Ľahká alternatíva k dávkovému spracovaniu so súbormi
  2. Dávkovanie so súbormi vs. Inline dávkovanie
  3. Vytvorenie inline úlohy
  4. Praktický príklad: Klasifikácia ticketov
  5. Kedy zvoliť ktorý prístup
  6. Kľúčové poznatky

Aktualizované 3. novembra 2026: Aktualizácia z 3. novembra: files.download vracia HTTP odpoveď (httpx2.Response); jej obsah si prečítaj pomocou .read() ešte pred volaním .decode().

Ľahká alternatíva k dávkovému spracovaniu so súbormi

Inline dávkovanie ti umožňuje odosielať dávkové požiadavky priamo v API volaní, čím preskočíš krok nahrávania súboru. Toto je ideálna metóda, keď máš stredný objem požiadaviek (až 10 000) a chceš zjednodušiť svoj pipeline.

Dávkovanie so súbormi vs. Inline dávkovanie

Predtým, než sa ponoríme do kódu, si ujasnime rozdiely medzi týmito dvoma prístupmi:

Kritérium Dávkovanie so súbormi Inline dávkovanie
Maximálny objem 1 000 000 požiadaviek 10 000 požiadaviek
Predpoklady Nahrať súbor JSONL Žiadne
Kroky Nahrať + Vytvoriť úlohu Vytvoriť úlohu (jedno volanie)
Prípady použitia Produkcia, veľké objemy Testovanie, prototypovanie, stredné objemy

Vytvorenie inline úlohy

Namiesto odovzdania parametra input_files odovzdáš parameter requests, ktorý obsahuje tvoj zoznam požiadaviek priamo:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Príprava inline požiadaviek
inline_requests = [
    {
        "custom_id": f"req-{i:04d}",
        "body": {
            "max_tokens": 150,
            "messages": [
                {
                    "role": "system",
                    "content": "You are a text classification expert."
                },
                {
                    "role": "user",
                    "content": f"Classify this text: {text}"
                }
            ]
        }
    }
    for i, text in enumerate(my_texts)
]

# Vytvorenie úlohy s inline požiadavkami
job = client.batch.jobs.create(
    requests=inline_requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")

Rozdiel v kóde je minimálny: requests= namiesto input_files=. Zvyšok workflow (sledovanie stavu, sťahovanie výsledkov) zostáva identický.

Praktický príklad: Klasifikácia ticketov

Tu je kompletný príklad klasifikácie ticketov zákazníckej podpory:

from mistralai.client import Mistral
import json
import time

client = Mistral(api_key="your-api-key")

# Simulácia support ticketov
tickets = [
    {"id": "TK-001", "message": "I cannot log in to my account"},
    {"id": "TK-002", "message": "How do I cancel my subscription?"},
    {"id": "TK-003", "message": "The app crashes on startup"},
    {"id": "TK-004", "message": "Can you add dark mode?"},
    {"id": "TK-005", "message": "My invoice is incorrect"},
]

# zostavenie inline požiadaviek
requests = [
    {
        "custom_id": ticket["id"],
        "body": {
            "max_tokens": 50,
            "messages": [
                {
                    "role": "system",
                    "content": (
                        "Classify the ticket into one of these categories: "
                        "AUTHENTICATION, BILLING, BUG, "
                        "FEATURE, SUBSCRIPTION. "
                        "Reply with the category only."
                    )
                },
                {"role": "user", "content": ticket["message"]}
            ]
        }
    }
    for ticket in tickets
]

# Spustenie inline dávky
job = client.batch.jobs.create(
    requests=requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

# Čakanie a získanie výsledkov
while True:
    status = client.batch.jobs.get(job_id=job.id)
    if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
        break
    time.sleep(5)

# Parsovanie výsledkov
if status.status == "SUCCESS":
    data = client.files.download(file_id=status.output_file)
    for line in data.read().decode("utf-8").strip().split("\n"):
        entry = json.loads(line)
        ticket_id = entry["custom_id"]
        category = entry["response"]["body"]["choices"][0]["message"]["content"]
        print(f"{ticket_id} -> {category.strip()}")

Kedy zvoliť ktorý prístup

Rozhodujúcim faktorom nie je len objem, ale aj to, kde sa dávkovanie zapája do tvojho workflow. Počas prototypovania testuješ prompt na niekoľkých stovkách príkladov, vylepšuješ ho a spúšťaš znova. Písanie priebežného súboru JSONL pri každej iterácii len spomaľuje celý cyklus. Inline dávkovanie odstraňuje toto trenie – tvoj skript generuje požiadavky za behu, odosiela ich v tom istom volaní a iteruješ v priebehu minút. Rovnaká logika platí pre ľahké integrácie, jednorazové analytické skripty alebo denné spracovanie, ktoré zostáva pod hranicou 10 000 požiadaviek.

Dávkovanie so súbormi preberá vedenie, akonáhle sa dávkovanie stane produkčným článkom. Po prvé, mechanicky: nad 10 000 požiadaviek je to jediná možnosť. Ale čo je dôležitejšie, štrukturálne: nahraný súbor je trvalý artefakt. Môžeš ho znovu použiť pre viacero úloh, uchovať ho ako záznam o tom, čo presne bolo odoslané, a čisto oddeliť krok prípravy (ktorý buduje, validuje a verzuje súbor) od kroku exekúcie (ktorý spúšťa úlohu). Keď sa dávková úloha spúšťa každú noc na dátach zákazníkov, táto sledovateľnosť nie je luxus; je to to, čo ti umožní o šesť mesiacov odpovedať na otázku: „Čo sme modelu odoslali 12. marca?“

V praxi mnohé tímy využívajú oboje: inline počas vývoja promptov a následne prechádzajú na dávkovanie so súbormi pri industrializácii. Keďže kód na sledovanie a získavanie výsledkov zostáva identický, migrácia sa obmedzuje na nahradenie requests= za input_files=.

Kľúčové poznatky

  • Inline dávkovanie odstraňuje krok nahrávania tým, že odovzdáva požiadavky priamo cez parameter requests
  • Limit 10 000 požiadaviek na inline úlohu oproti 1 miliónu pri dávkovaní so súbormi
  • Sledovanie stavu a sťahovanie výsledkov sú pre oba režimy identické
  • Uprednostni inline pre prototypovanie a stredné objemy; na veľkoprodukčné nasadenie použi dávkovanie so súbormi