Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Rühmtöötlus reasisese sisendiga: kuni 10 000 päringut ilma failita

Õppetund 4 / 16 Värskendatud 3. november 2026 Edasijõudnutele
Sellel lehel
  1. Kergekaaluline alternatiiv failipõhisele rühmtöötlusele
  2. Failipõhine vs reasisene rühmtöötlus
  3. Reasisese töö loomine
  4. Praktiline näide: Piletite klassifitseerimine
  5. Millal kumb lähenemine valida?
  6. Peamised punktid

Uuendatud 3. novembril 2026: 3. novembri uuendus: files.download tagastab HTTP vastuse (httpx2.Response); loe selle sisu meetodiga .read() enne .decode() kutsumist.

Kergekaaluline alternatiiv failipõhisele rühmtöötlusele

Reasisene rühmtöötlus (inline batching) võimaldab sul esitada rühmpäringuid otse API väljakutses, jättes faili üleslaadimise sammu vahele. See on ideaalne meetod, kui sul on mõõdukas kogus päringuid (kuni 10 000) ja soovid oma töövoogu lihtsustada.

Failipõhine vs reasisene rühmtöötlus

Enne koodi sukeldumist selgitame välja mõlema lähenemisviisi erinevused:

Kriteerium Failipõhine rühmtöötlus Reasisene rühmtöötlus
Maksimaalne maht 1 000 000 päringut 10 000 päringut
Eeltingimused JSONL-faili üleslaadimine Puuduvad
Sammud Üleslaadimine + Töö loomine Töö loomine (üks väljakutse)
Kasutusjuhud Tootmine, suured mahud Testimine, prototüüpimine, keskmised mahud

Reasisese töö loomine

input_files parameetri asemel edastad requests parameetri, mis sisaldab sinu päringute loendit otse:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Valmista ette reasisesed päringud
inline_requests = [
    {
        "custom_id": f"req-{i:04d}",
        "body": {
            "max_tokens": 150,
            "messages": [
                {
                    "role": "system",
                    "content": "You are a text classification expert."
                },
                {
                    "role": "user",
                    "content": f"Classify this text: {text}"
                }
            ]
        }
    }
    for i, text in enumerate(my_texts)
]

# Loo töö reasiseste päringutega
job = client.batch.jobs.create(
    requests=inline_requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")

Koodi erinevus on minimaalne: requests= asemel input_files=. Ülejäänud töövoog (oleku jälgimine, tulemuste allalaadimine) on identne.

Praktiline näide: Piletite klassifitseerimine

Siin on täielik näide klienditoe piletite klassifitseerimisest:

from mistralai.client import Mistral
import json
import time

client = Mistral(api_key="your-api-key")

# Simuleeri tugipileteid
tickets = [
    {"id": "TK-001", "message": "I cannot log in to my account"},
    {"id": "TK-002", "message": "How do I cancel my subscription?"},
    {"id": "TK-003", "message": "The app crashes on startup"},
    {"id": "TK-004", "message": "Can you add dark mode?"},
    {"id": "TK-005", "message": "My invoice is incorrect"},
]

# Ehita reasisesed päringud
requests = [
    {
        "custom_id": ticket["id"],
        "body": {
            "max_tokens": 50,
            "messages": [
                {
                    "role": "system",
                    "content": (
                        "Classify the ticket into one of these categories: "
                        "AUTHENTICATION, BILLING, BUG, "
                        "FEATURE, SUBSCRIPTION. "
                        "Reply with the category only."
                    )
                },
                {"role": "user", "content": ticket["message"]}
            ]
        }
    }
    for ticket in tickets
]

# Käivita reasisene rühmtöö
job = client.batch.jobs.create(
    requests=requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

# Oota ja haara tulemused
while True:
    status = client.batch.jobs.get(job_id=job.id)
    if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
        break
    time.sleep(5)

# Parsi tulemused
if status.status == "SUCCESS":
    data = client.files.download(file_id=status.output_file)
    for line in data.read().decode("utf-8").strip().split("\n"):
        entry = json.loads(line)
        ticket_id = entry["custom_id"]
        category = entry["response"]["body"]["choices"][0]["message"]["content"]
        print(f"{ticket_id} -> {category.strip()}")

Millal kumb lähenemine valida?

Otsustavaks teguriks ei ole ainult maht, vaid see, kuidas rühmtöötlus sinu töövoogu sobitub. Prototüüpimise faasis testid vihjet (prompt) mõnesaja näite peal, täiustad seda ja käivitad uuesti. Vahefaili (JSONL) kirjutamine igal iteratsioonil ainult aeglustab tsüklit. Reasisene rühmtöötlus kõrvaldab selle takistuse – sinu skript genereerib päringud lennult, esitab need sama väljakutsega ja sa saad iteratsioone teha minutitega. Sama loogika kehtib kergete integratsioonide, ühekordsete analüüsiscriptide või igapäevase töötlemise puhul, mis jääb alla 10 000 päringu.

Failipõhine rühmtöötlus võtab ohjad enda kätte, kui rühmtöötlusest saab tootmise lahutamatu lüli. Esiteks mehaaniliselt: üle 10 000 päringu on see ainus võimalus. Veelgi olulisem on aga struktuuriline aspekt: üles laaditud fail on kestev artefakt. Saad seda kasutada mitme töö jaoks, hoida seda kirjena täpsest sisendist ning eraldada selgelt ettevalmistusetapi (mis ehitab, valideerib ja versioonib faili) täitmisetapist (mis käivitab töö). Kui rühmtöö jookseb öösel kliendiandmetega, pole see jälgitavus mitte luksus, vaid vajadus, mis võimaldab kuus kuud hiljem vastata küsimusele: „Mida me saatsime mudelile 12. märtsil?“

Praktikas kasutavad paljud meeskonnad mõlemat: reasisest vihjearenduse ajal ja lülituvad failipõhisele rühmtöötlusele industrialiseerimisel. Kuna tulemuste jälgimise ja hankimise kood jääb mõlemal juhul samaks, taandub migratsioon requests= asendamisele input_files= vastu.

Peamised punktid

  • Reasisene rühmtöötlus jätab vahele üleslaadimise sammu, edastades päringud otse requests parameetri kaudu
  • Piirang on 10 000 päringut reasisese töö kohta, võrreldes 1 miljoni päringuga failipõhise rühmtöötluse puhul
  • Oleku jälgimine ja tulemuste allalaadimine on mõlema režiimi puhul identsed
  • Eelista reasisest meetodit prototüüpimisel ja mõõdukate mahtude korral; kasuta failipõhist rühmtöötlust suuremahulises tootmises