Inline Batching: tot 10.000 verzoeken zonder bestand
Op deze pagina
Bijgewerkt op 3 november 2026: Update van 3 november:
files.downloadretourneert een HTTP-respons (httpx2.Response); lees de inhoud met.read()voordat u.decode()aanroept.
Het lichtgewicht alternatief voor file batching
Met inline batching kunt u batchverzoeken direct indienen via de API-call, waardoor de stap voor het uploaden van een bestand wordt overgeslagen. Dit is de ideale methode wanneer u een gematigd volume aan verzoeken hebt (tot 10.000) en uw pipeline wilt vereenvoudigen.
File batching versus inline batching
Voordat we de code behandelen, laten we eerst de verschillen tussen de twee benaderingen verduidelijken:
| Criterium | File batching | Inline batching |
|---|---|---|
| Maximaal volume | 1.000.000 verzoeken | 10.000 verzoeken |
| Vereisten | JSONL-bestand uploaden | Geen |
| Stappen | Uploaden + Taak aanmaken | Taak aanmaken (één call) |
| Use cases | Productie, grote volumes | Testen, prototyping, gemiddelde volumes |
Een inline-taak aanmaken
In plaats van input_files door te geven, gebruikt u de parameter requests waarin u uw lijst met verzoeken direct opneemt:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Bereid inline verzoeken voor
inline_requests = [
{
"custom_id": f"req-{i:04d}",
"body": {
"max_tokens": 150,
"messages": [
{
"role": "system",
"content": "You are a text classification expert."
},
{
"role": "user",
"content": f"Classify this text: {text}"
}
]
}
}
for i, text in enumerate(my_texts)
]
# Maak de taak aan met inline verzoeken
job = client.batch.jobs.create(
requests=inline_requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")
Het codeverschil is minimaal: requests= in plaats van input_files=. De rest van de workflow (status volgen, resultaten downloaden) is identiek.
Uitgewerkt voorbeeld: ticketclassificatie
Hier volgt een compleet voorbeeld voor het classificeren van klantenservicetickets:
from mistralai.client import Mistral
import json
import time
client = Mistral(api_key="your-api-key")
# Simuleer supporttickets
tickets = [
{"id": "TK-001", "message": "I cannot log in to my account"},
{"id": "TK-002", "message": "How do I cancel my subscription?"},
{"id": "TK-003", "message": "The app crashes on startup"},
{"id": "TK-004", "message": "Can you add dark mode?"},
{"id": "TK-005", "message": "My invoice is incorrect"},
]
# Bouw inline verzoeken op
requests = [
{
"custom_id": ticket["id"],
"body": {
"max_tokens": 50,
"messages": [
{
"role": "system",
"content": (
"Classify the ticket into one of these categories: "
"AUTHENTICATION, BILLING, BUG, "
"FEATURE, SUBSCRIPTION. "
"Reply with the category only."
)
},
{"role": "user", "content": ticket["message"]}
]
}
}
for ticket in tickets
]
# Start de inline batch
job = client.batch.jobs.create(
requests=requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# Wacht en haal de resultaten op
while True:
status = client.batch.jobs.get(job_id=job.id)
if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
break
time.sleep(5)
# Parse de resultaten
if status.status == "SUCCESS":
data = client.files.download(file_id=status.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
ticket_id = entry["custom_id"]
category = entry["response"]["body"]["choices"][0]["message"]["content"]
print(f"{ticket_id} -> {category.strip()}")
Wanneer kiest u welke aanpak?
De beslissende factor is niet alleen het volume, maar ook de plek die batching inneemt in uw workflow. Tijdens het prototypen test u een prompt op een paar honderd voorbeelden, verfijnt deze en voert deze opnieuw uit. Het bij elke iteratie schrijven van een tussenliggend JSONL-bestand vertraagt deze cyclus alleen maar. Inline batching verwijdert deze wrijving: uw script genereert verzoeken on-the-fly, dient ze in dezelfde call in en u iteratieert binnen enkele minuten. Dezelfde logica geldt voor lichtgewicht integraties, eenmalige analysescripts of dagelijkse verwerking die onder de 10.000 verzoeken blijft.
File batching neemt het voortouw zodra batching een schakel in de productie wordt. Allereerst mechanisch: boven de 10.000 verzoeken is het de enige optie. Maar belangrijker nog, structureel: een geüpload bestand is een duurzaam artefact. U kunt het hergebruiken voor meerdere taken, het bewaren als registratie van precies wat is ingediend, en de voorbereidingsstap (die het bestand bouwt, valideert en versiebeheert) schoon scheiden van de uitvoeringsstap (die de taak start). Wanneer een batchtaak ‘s nachts draait op klantgegevens, is deze traceerbaarheid geen luxe; het is wat u in staat stelt om zes maanden later de vraag te beantwoorden: “Wat hebben we op 12 maart naar het model gestuurd?”
In de praktijk gebruiken veel teams beide: inline tijdens de prompt-ontwikkeling, en vervolgens overschakelen op file batching bij industrialisatie. Omdat de code voor het volgen en ophalen van resultaten identiek blijft, beperkt de migratie zich tot het vervangen van requests= door input_files=.
Belangrijkste punten
- Inline batching verwijdert de uploadstap door verzoeken direct via de parameter
requestsdoor te geven - Limiet van 10.000 verzoeken per inline-taak, tegenover 1 miljoen voor file batching
- Het volgen van de status en het downloaden van resultaten zijn voor beide modi identiek
- Geef de voorkeur aan inline voor prototyping en gematigde volumes; gebruik file batching voor grootschalige productie