Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Inline Batching: do 10 000 zahtjeva bez datoteke

Lekcija 4 od 16 Ažurirano 3. studenoga 2026. Napredno
Na ovoj stranici
  1. Lagana alternativa batchiranju putem datoteka
  2. Batchiranje putem datoteka naspram inline batchiranja
  3. Kreiranje inline posla
  4. Primjer iz prakse: Klasifikacija tiketa
  5. Kada odabrati koji pristup
  6. Ključne točke

Ažurirano 3. studenoga 2026.: Ažuriranje od 3. studenoga: files.download vraća HTTP odgovor (httpx2.Response); pročitaj njegov sadržaj s .read() prije poziva .decode().

Lagana alternativa batchiranju putem datoteka

Inline batchiranje omogućuje ti slanje batch zahtjeva izravno unutar API poziva, preskačući korak učitavanja datoteke. Ovo je idealna metoda kada imaš umjeren volumen zahtjeva (do 10 000) i želiš pojednostavniti svoj pipeline.

Batchiranje putem datoteka naspram inline batchiranja

Prije nego što zaronimo u kod, razjasnimo razlike između ta dva pristupa:

Kriterij Batchiranje putem datoteka Inline batchiranje
Maksimalni volumen 1 000 000 zahtjeva 10 000 zahtjeva
Preduvjeti Učitavanje JSONL datoteke Nema
Koraci Učitavanje + Kreiranje posla Kreiranje posla (jedan poziv)
Slučajevi upotrebe Produkcija, veliki volumeni Testiranje, prototipovi, srednji volumeni

Kreiranje inline posla

Umjesto prosljeđivanja parametra input_files, prosljeđuješ parametar requests koji sadrži tvoj popis zahtjeva izravno:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Pripremi inline zahtjeve
inline_requests = [
    {
        "custom_id": f"req-{i:04d}",
        "body": {
            "max_tokens": 150,
            "messages": [
                {
                    "role": "system",
                    "content": "You are a text classification expert."
                },
                {
                    "role": "user",
                    "content": f"Classify this text: {text}"
                }
            ]
        }
    }
    for i, text in enumerate(my_texts)
]

# Kreiraj posao s inline zahtjevima
job = client.batch.jobs.create(
    requests=inline_requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")

Razlika u kodu je minimalna: requests= umjesto input_files=. Ostatak tijeka rada (praćenje statusa, preuzimanje rezultata) identičan je.

Primjer iz prakse: Klasifikacija tiketa

Evo potpunog primjera klasifikacije tiketa korisničke podrške:

from mistralai.client import Mistral
import json
import time

client = Mistral(api_key="your-api-key")

# Simuliraj tikete podrške
tickets = [
    {"id": "TK-001", "message": "I cannot log in to my account"},
    {"id": "TK-002", "message": "How do I cancel my subscription?"},
    {"id": "TK-003", "message": "The app crashes on startup"},
    {"id": "TK-004", "message": "Can you add dark mode?"},
    {"id": "TK-005", "message": "My invoice is incorrect"},
]

# Izgradi inline zahtjeve
requests = [
    {
        "custom_id": ticket["id"],
        "body": {
            "max_tokens": 50,
            "messages": [
                {
                    "role": "system",
                    "content": (
                        "Classify the ticket into one of these categories: "
                        "AUTHENTICATION, BILLING, BUG, "
                        "FEATURE, SUBSCRIPTION. "
                        "Reply with the category only."
                    )
                },
                {"role": "user", "content": ticket["message"]}
            ]
        }
    }
    for ticket in tickets
]

# Pokreni inline batch
job = client.batch.jobs.create(
    requests=requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

# Pričekaj i dohvati rezultate
while True:
    status = client.batch.jobs.get(job_id=job.id)
    if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
        break
    time.sleep(5)

# Parsiraj rezultate
if status.status == "SUCCESS":
    data = client.files.download(file_id=status.output_file)
    for line in data.read().decode("utf-8").strip().split("\n"):
        entry = json.loads(line)
        ticket_id = entry["custom_id"]
        category = entry["response"]["body"]["choices"][0]["message"]["content"]
        print(f"{ticket_id} -> {category.strip()}")

Kada odabrati koji pristup

Odlučujući faktor nije samo volumen; već mjesto koje batchiranje zauzima u tvom tijeku rada. Tijekom izrade prototipa, testiraš prompt na nekoliko stotina primjera, usavršavaš ga i ponovno pokrećeš. Pisanje međudatoteke u JSONL formatu pri svakoj iteraciji samo usporava ciklus. Inline batchiranje uklanja tu trenicu – tvoja skripta generira zahtjeve u hodu, šalje ih u istom pozivu i iteriraš u roku od nekoliko minuta. Ista logika vrijedi za lagane integracije, skripte za jednokratnu analizu ili dnevnu obradu koja ostaje ispod 10 000 zahtjeva.

Batchiranje putem datoteka preuzima vodstvo čim batchiranje postane produkcijska karika. Prvo, mehanički: iznad 10 000 zahtjeva, to je jedina opcija. Ali važnije, strukturno: učitana datoteka je trajni artefakt. Možeš je ponovno upotrijebiti za više poslova, čuvati je kao zapis o točno onome što je poslano i jasno odvojiti korak pripreme (koji gradi, validira i verzionira datoteku) od koraka izvršenja (koji pokreće posao). Kada se batch posao pokreće svake noći na podacima kupaca, ta sljedivost nije luksuz; to je ono što ti omogućuje odgovoriti na pitanje „Što smo poslali modelu 12. ožujka?“ šest mjeseci kasnije.

U praksi, mnogi timovi koriste oba pristupa: inline tijekom razvoja prompta, a zatim prelaze na batchiranje putem datoteka prilikom industrializacije. Budući da kod za praćenje i dohvaćanje rezultata ostaje identičan, migracija se svodi na zamjenu requests= s input_files=.

Ključne točke

  • Inline batchiranje uklanja korak učitavanja prosljeđivanjem zahtjeva izravno putem parametra requests
  • Ograničenje od 10 000 zahtjeva po inline poslu, naspram 1 milijun za batchiranje putem datoteka
  • Praćenje statusa i preuzimanje rezultata identični su za oba načina rada
  • Preferiraj inline za prototipove i umjerene volumene; koristi batchiranje putem datoteka za produkciju velikog opsega