Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Paketno obdelovanje v kodi: do 10.000 zahtevkov brez datoteke

Lekcija 4 od 16 Posodobljeno 3. november 2026 Napredni
Na tej strani
  1. Lažja alternativa paketni obdelavi z datotekami
  2. Paketna obdelava z datotekami proti paketni obdelavi v kodi
  3. Ustvarjanje opravila v kodi
  4. Primer iz prakse: Klasifikacija vstopnic
  5. Kdaj izbrati posamezen pristop
  6. Ključne ugotovitve

Posodobljeno 3. novembra 2026: Posodobitev z dne 3. novembra: files.download vrne HTTP odgovor (httpx2.Response); njegovo vsebino preberi z .read() pred klicem .decode().

Lažja alternativa paketni obdelavi z datotekami

Paketno obdelovanje v kodi (inline batching) ti omogoča neposredno pošiljanje paketnih zahtevkov prek API klica, kar pomeni, da preskočiš korak nalaganja datoteke. To je idealna metoda, ko imaš zmerno količino zahtevkov (do 10.000) in želiš poenostaviti svoj potek dela.

Paketna obdelava z datotekami proti paketni obdelavi v kodi

Preden se poglobimo v kodo, si oglejmo razlike med obema pristopoma:

Kriterij Paketna obdelava z datotekami Paketna obdelava v kodi
Največji obseg 1.000.000 zahtevkov 10.000 zahtevkov
Predpogoji Nalaganje datoteke JSONL Brez
Koraki Nalaganje + ustvarjanje opravila Ustvarjanje opravila (en klic)
Primeri uporabe Produkcijsko okolje, veliki obsegi Testiranje, prototipiranje, srednji obsegi

Ustvarjanje opravila v kodi

Namesto parametra input_files uporabiš parameter requests, ki vsebuje tvoj seznam zahtevkov neposredno:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Priprava zahtevkov v kodi
inline_requests = [
    {
        "custom_id": f"req-{i:04d}",
        "body": {
            "max_tokens": 150,
            "messages": [
                {
                    "role": "system",
                    "content": "You are a text classification expert."
                },
                {
                    "role": "user",
                    "content": f"Classify this text: {text}"
                }
            ]
        }
    }
    for i, text in enumerate(my_texts)
]

# Ustvari opravilo z zahtevki v kodi
job = client.batch.jobs.create(
    requests=inline_requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")

Razlika v kodi je minimalna: requests= namesto input_files=. Preostali del poteka dela (sledenje stanju, prenos rezultatov) je identičen.

Primer iz prakse: Klasifikacija vstopnic

Tukaj je popoln primer klasifikacije vstopnic za podporo strankam:

from mistralai.client import Mistral
import json
import time

client = Mistral(api_key="your-api-key")

# Simulacija vstopnic za podporo
tickets = [
    {"id": "TK-001", "message": "I cannot log in to my account"},
    {"id": "TK-002", "message": "How do I cancel my subscription?"},
    {"id": "TK-003", "message": "The app crashes on startup"},
    {"id": "TK-004", "message": "Can you add dark mode?"},
    {"id": "TK-005", "message": "My invoice is incorrect"},
]

# Izgradnja zahtevkov v kodi
requests = [
    {
        "custom_id": ticket["id"],
        "body": {
            "max_tokens": 50,
            "messages": [
                {
                    "role": "system",
                    "content": (
                        "Classify the ticket into one of these categories: "
                        "AUTHENTICATION, BILLING, BUG, "
                        "FEATURE, SUBSCRIPTION. "
                        "Reply with the category only."
                    )
                },
                {"role": "user", "content": ticket["message"]}
            ]
        }
    }
    for ticket in tickets
]

# Zagon paketnega opravila v kodi
job = client.batch.jobs.create(
    requests=requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

# Čakanje in pridobivanje rezultatov
while True:
    status = client.batch.jobs.get(job_id=job.id)
    if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
        break
    time.sleep(5)

# Razčlenitev rezultatov
if status.status == "SUCCESS":
    data = client.files.download(file_id=status.output_file)
    for line in data.read().decode("utf-8").strip().split("\n"):
        entry = json.loads(line)
        ticket_id = entry["custom_id"]
        category = entry["response"]["body"]["choices"][0]["message"]["content"]
        print(f"{ticket_id} -> {category.strip()}")

Kdaj izbrati posamezen pristop

Odločilni dejavnik ni le obseg, temveč tudi mesto, ki ga paketna obdelava zavzema v tvojem poteku dela. Med prototipiranjem testiraš poziv na nekaj sto primerih, ga izpopolniš in ponovno zaženeš. Pisanje vmesne datoteke JSONL pri vsaki iteraciji le upočasni cikel. Paketna obdelava v kodi odpravi to trenje – tvoja skripta generira zahtevke sproti, jih pošlje v istem klicu in iteriraš v nekaj minutah. Enaka logika velja za lahke integracije, enkratne analitske skripte ali dnevno obdelavo, ki ostane pod 10.000 zahtevki.

Paketna obdelava z datotekami prevzame vodilno vlogo, ko paketna obdelava postane produkcijska povezava. Najprej mehansko: pri več kot 10.000 zahtevkih je to edina možnost. Še pomembneje pa je strukturno: naložena datoteka je trajen artefakt. Lahko jo ponovno uporabiš za več opravil, jo hraniš kot zapis točno tega, kar je bilo poslano, in jasno ločiš korak priprave (ki gradi, validira in različici datoteko) od koraka izvedbe (ki zažene opravilo). Ko se paketno opravilo izvaja vsako noč na podatkih strank, ta sledljivost ni razkošje; je tisto, kar ti omogoča, da šest mesecev kasneje odgovoriš na vprašanje: „Kaj smo 12. marca poslali modelu?”

V praksi številne ekipe uporabljajo oboje: paketno obdelavo v kodi med razvojem pozivov, nato pa preklopijo na paketno obdelavo z datotekami ob industrializaciji. Ker koda za sledenje in pridobivanje rezultatov ostane identična, je selitev omejena na zamenjavo requests= z input_files=.

Ključne ugotovitve

  • Paketna obdelava v kodi odpravi korak nalaganja s posredovanjem zahtevkov neposredno prek parametra requests
  • Omejitev 10.000 zahtevkov na opravilo v kodi v primerjavi z 1 milijonom za paketno obdelavo z datotekami
  • Sledenje stanju in prenos rezultatov sta za oba načina identična
  • Paketno obdelavo v kodi raje uporabi za prototipiranje in zmerne obsege; za obsežno produkcijsko uporabo uporabi paketno obdelavo z datotekami