Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Inline Batching: iki 10 000 užklausų be failo

Paskaita 4 iš 16 Atnaujinta 2026 m. lapkričio 3 d. Pažengusiems
Šiame puslapyje
  1. Lengvesnė alternatyva batchinimui su failais
  2. Batchinimas su failais vs. Inline batchinimas
  3. Inline darbo sukūrimas
  4. Praktinis pavyzdys: Bilietų klasifikavimas
  5. Kada rinktis vieną ar kitą metodą
  6. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 3 d.: Lapkričio 3 d. atnaujinimas: files.download grąžina HTTP atsakymą (httpx2.Response); prieš kviesdami .decode(), perskaitykite jo turinį naudodami .read().

Lengvesnė alternatyva batchinimui su failais

Inline batchinimas leidžia siųsti batch užklausas tiesiai per API kvietimą, praleidžiant failo įkėlimo žingsnį. Tai idealus būdas, kai turi vidutinį užklausų kiekį (iki 10 000) ir nori supaprastinti savo procesų eigą.

Batchinimas su failais vs. Inline batchinimas

Prieš gilindamiesi į kodą, išsiaiškinkime skirtumus tarp šių dviejų metodų:

Kriterijus Batchinimas su failais Inline batchinimas
Maksimalus kiekis 1 000 000 užklausų 10 000 užklausų
Būtinos sąlygos JSONL failo įkėlimas Nėra
Žingsniai Įkelti + Sukurti darbą Sukurti darbą (vienas kvietimas)
Naudojimo atvejai Gamyba, dideli kiekiai Testavimas, prototipų kūrimas, vidutiniai kiekiai

Inline darbo sukūrimas

Vietoj input_files perdavimo, perduodate requests parametrą, kuriame yra tiesioginis jūsų užklausų sąrašas:

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Paruošti inline užklausas
inline_requests = [
    {
        "custom_id": f"req-{i:04d}",
        "body": {
            "max_tokens": 150,
            "messages": [
                {
                    "role": "system",
                    "content": "You are a text classification expert."
                },
                {
                    "role": "user",
                    "content": f"Classify this text: {text}"
                }
            ]
        }
    }
    for i, text in enumerate(my_texts)
]

# Sukurti darbą su inline užklausomis
job = client.batch.jobs.create(
    requests=inline_requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")

Kodo skirtumas minimalus: vietoj input_files= naudojate requests=. Likusi darbo eiga (būsenos stebėjimas, rezultatų atsisiuntimas) yra identiška.

Praktinis pavyzdys: Bilietų klasifikavimas

Štai pilnas klientų aptarnavimo bilietų klasifikavimo pavyzdys:

from mistralai.client import Mistral
import json
import time

client = Mistral(api_key="your-api-key")

# Imituoti aptarnavimo bilietus
tickets = [
    {"id": "TK-001", "message": "I cannot log in to my account"},
    {"id": "TK-002", "message": "How do I cancel my subscription?"},
    {"id": "TK-003", "message": "The app crashes on startup"},
    {"id": "TK-004", "message": "Can you add dark mode?"},
    {"id": "TK-005", "message": "My invoice is incorrect"},
]

# Sukurti inline užklausas
requests = [
    {
        "custom_id": ticket["id"],
        "body": {
            "max_tokens": 50,
            "messages": [
                {
                    "role": "system",
                    "content": (
                        "Classify the ticket into one of these categories: "
                        "AUTHENTICATION, BILLING, BUG, "
                        "FEATURE, SUBSCRIPTION. "
                        "Reply with the category only."
                    )
                },
                {"role": "user", "content": ticket["message"]}
            ]
        }
    }
    for ticket in tickets
]

# Paleisti inline batch
job = client.batch.jobs.create(
    requests=requests,
    model="mistral-small-latest",
    endpoint="/v1/chat/completions"
)

# Laukti ir gauti rezultatus
while True:
    status = client.batch.jobs.get(job_id=job.id)
    if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
        break
    time.sleep(5)

# Analizuoti rezultatus
if status.status == "SUCCESS":
    data = client.files.download(file_id=status.output_file)
    for line in data.read().decode("utf-8").strip().split("\n"):
        entry = json.loads(line)
        ticket_id = entry["custom_id"]
        category = entry["response"]["body"]["choices"][0]["message"]["content"]
        print(f"{ticket_id} -> {category.strip()}")

Kada rinktis vieną ar kitą metodą

Sprendžiantis veiksnys yra ne tik kiekis, bet ir tai, kaip batchinimas įsilieja į tavo darbo eigą. Kurdami prototipus, testuojate promptą su keliais šimtais pavyzdžių, jį tobulinate ir paleidžiate iš naujo. Tarpinio JSONL failo rašymas kiekvienoje iteracijoje tik sulėtina ciklą. Inline batchinimas pašalina šią trintį – tavo skriptas sugeneruoja užklausas realiuoju laiku, išsiunčia jas tuo pačiu kvietimu ir gali iteruoti per kelias minutes. Ta pati logika taikoma lengvoms integracijoms, vienkartinei analizei arba kasdieniam apdorojimui, kuris neviršija 10 000 užklausų.

Batchinimas su failais perima vadovavimą, kai jis tampa gamybos grandimi. Pirma, mechaniškai: viršijus 10 000 užklausų, tai vienintelė išeitis. Bet svarbiau – struktūriškai: įkeltas failas yra tvarus artefaktas. Galite jį naudoti keliems darbams, saugoti kaip tikslų įrašą, kas buvo išsiųsta, ir aiškiai atskirti paruošimo žingsnį (kuris kuria, tikrina ir versijuoja failą) nuo vykdymo žingsnio (kuris paleidžia darbą). Kai batch darbas vykdoma kasnakt su klientų duomenimis, šis atsekamumas nėra prabanga; tai leidžia atsakyti į klausimą „Ką siuntėme modeliui kovo 12 d.?“ net po šešių mėnesių.

Praktikoje daugelis komandų naudoja abu metodus: inline kuriant promptus, o pereinant prie industrializacijos – batchinimą su failais. Kadangi kodas rezultatų stebėjimui ir gavimui lieka identiškas, migracija apsiriboja tik requests= pakeitimu į input_files=.

Svarbiausi punktai

  • Inline batchinimas pašalina įkėlimo žingsnį, perduodant užklausas tiesiai per requests parametrą
  • Inline darbo limitas – 10 000 užklausų, tuo tarpu batchinimui su failais – 1 milijonas
  • Būsenos stebėjimas ir rezultatų atsisiuntimas abiem režimais yra identiški
  • Prototipų kūrimui ir vidutiniams kiekiams rinkitės inline; didelio masto gamybai naudokite batchinimą su failais