Inline Batching: iki 10 000 užklausų be failo
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d.: Lapkričio 3 d. atnaujinimas:
files.downloadgrąžina HTTP atsakymą (httpx2.Response); prieš kviesdami.decode(), perskaitykite jo turinį naudodami.read().
Lengvesnė alternatyva batchinimui su failais
Inline batchinimas leidžia siųsti batch užklausas tiesiai per API kvietimą, praleidžiant failo įkėlimo žingsnį. Tai idealus būdas, kai turi vidutinį užklausų kiekį (iki 10 000) ir nori supaprastinti savo procesų eigą.
Batchinimas su failais vs. Inline batchinimas
Prieš gilindamiesi į kodą, išsiaiškinkime skirtumus tarp šių dviejų metodų:
| Kriterijus | Batchinimas su failais | Inline batchinimas |
|---|---|---|
| Maksimalus kiekis | 1 000 000 užklausų | 10 000 užklausų |
| Būtinos sąlygos | JSONL failo įkėlimas | Nėra |
| Žingsniai | Įkelti + Sukurti darbą | Sukurti darbą (vienas kvietimas) |
| Naudojimo atvejai | Gamyba, dideli kiekiai | Testavimas, prototipų kūrimas, vidutiniai kiekiai |
Inline darbo sukūrimas
Vietoj input_files perdavimo, perduodate requests parametrą, kuriame yra tiesioginis jūsų užklausų sąrašas:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Paruošti inline užklausas
inline_requests = [
{
"custom_id": f"req-{i:04d}",
"body": {
"max_tokens": 150,
"messages": [
{
"role": "system",
"content": "You are a text classification expert."
},
{
"role": "user",
"content": f"Classify this text: {text}"
}
]
}
}
for i, text in enumerate(my_texts)
]
# Sukurti darbą su inline užklausomis
job = client.batch.jobs.create(
requests=inline_requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")
Kodo skirtumas minimalus: vietoj input_files= naudojate requests=. Likusi darbo eiga (būsenos stebėjimas, rezultatų atsisiuntimas) yra identiška.
Praktinis pavyzdys: Bilietų klasifikavimas
Štai pilnas klientų aptarnavimo bilietų klasifikavimo pavyzdys:
from mistralai.client import Mistral
import json
import time
client = Mistral(api_key="your-api-key")
# Imituoti aptarnavimo bilietus
tickets = [
{"id": "TK-001", "message": "I cannot log in to my account"},
{"id": "TK-002", "message": "How do I cancel my subscription?"},
{"id": "TK-003", "message": "The app crashes on startup"},
{"id": "TK-004", "message": "Can you add dark mode?"},
{"id": "TK-005", "message": "My invoice is incorrect"},
]
# Sukurti inline užklausas
requests = [
{
"custom_id": ticket["id"],
"body": {
"max_tokens": 50,
"messages": [
{
"role": "system",
"content": (
"Classify the ticket into one of these categories: "
"AUTHENTICATION, BILLING, BUG, "
"FEATURE, SUBSCRIPTION. "
"Reply with the category only."
)
},
{"role": "user", "content": ticket["message"]}
]
}
}
for ticket in tickets
]
# Paleisti inline batch
job = client.batch.jobs.create(
requests=requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# Laukti ir gauti rezultatus
while True:
status = client.batch.jobs.get(job_id=job.id)
if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
break
time.sleep(5)
# Analizuoti rezultatus
if status.status == "SUCCESS":
data = client.files.download(file_id=status.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
ticket_id = entry["custom_id"]
category = entry["response"]["body"]["choices"][0]["message"]["content"]
print(f"{ticket_id} -> {category.strip()}")
Kada rinktis vieną ar kitą metodą
Sprendžiantis veiksnys yra ne tik kiekis, bet ir tai, kaip batchinimas įsilieja į tavo darbo eigą. Kurdami prototipus, testuojate promptą su keliais šimtais pavyzdžių, jį tobulinate ir paleidžiate iš naujo. Tarpinio JSONL failo rašymas kiekvienoje iteracijoje tik sulėtina ciklą. Inline batchinimas pašalina šią trintį – tavo skriptas sugeneruoja užklausas realiuoju laiku, išsiunčia jas tuo pačiu kvietimu ir gali iteruoti per kelias minutes. Ta pati logika taikoma lengvoms integracijoms, vienkartinei analizei arba kasdieniam apdorojimui, kuris neviršija 10 000 užklausų.
Batchinimas su failais perima vadovavimą, kai jis tampa gamybos grandimi. Pirma, mechaniškai: viršijus 10 000 užklausų, tai vienintelė išeitis. Bet svarbiau – struktūriškai: įkeltas failas yra tvarus artefaktas. Galite jį naudoti keliems darbams, saugoti kaip tikslų įrašą, kas buvo išsiųsta, ir aiškiai atskirti paruošimo žingsnį (kuris kuria, tikrina ir versijuoja failą) nuo vykdymo žingsnio (kuris paleidžia darbą). Kai batch darbas vykdoma kasnakt su klientų duomenimis, šis atsekamumas nėra prabanga; tai leidžia atsakyti į klausimą „Ką siuntėme modeliui kovo 12 d.?“ net po šešių mėnesių.
Praktikoje daugelis komandų naudoja abu metodus: inline kuriant promptus, o pereinant prie industrializacijos – batchinimą su failais. Kadangi kodas rezultatų stebėjimui ir gavimui lieka identiškas, migracija apsiriboja tik requests= pakeitimu į input_files=.
Svarbiausi punktai
- Inline batchinimas pašalina įkėlimo žingsnį, perduodant užklausas tiesiai per
requestsparametrą - Inline darbo limitas – 10 000 užklausų, tuo tarpu batchinimui su failais – 1 milijonas
- Būsenos stebėjimas ir rezultatų atsisiuntimas abiem režimais yra identiški
- Prototipų kūrimui ir vidutiniams kiekiams rinkitės inline; didelio masto gamybai naudokite batchinimą su failais