Inline Batching: Bis zu 10.000 Anfragen ohne Datei
Auf dieser Seite
Aktualisiert am 3. November 2026: Aktualisierung vom 3. November:
files.downloadgibt eine HTTP-Antwort (httpx2.Response) zurück; lesen Sie den Inhalt mit.read(), bevor Sie.decode()aufrufen.
Die leichte Alternative zum Dateibatching
Inline Batching ermöglicht es Ihnen, Batch-Anfragen direkt im API-Aufruf einzureichen und den Schritt des Datei-Uploads zu überspringen. Dies ist die ideale Methode, wenn Sie eine moderate Anzahl von Anfragen (bis zu 10.000) haben und Ihre Pipeline vereinfachen möchten.
Dateibatching vs. Inline Batching
Bevor wir in den Code einsteigen, klären wir die Unterschiede zwischen beiden Ansätzen:
| Kriterium | Dateibatching | Inline Batching |
|---|---|---|
| Maximale Menge | 1.000.000 Anfragen | 10.000 Anfragen |
| Voraussetzungen | JSONL-Datei hochladen | Keine |
| Schritte | Hochladen + Job erstellen | Job erstellen (ein einziger Aufruf) |
| Anwendungsfälle | Produktion, große Mengen | Testen, Prototyping, mittlere Mengen |
Erstellen eines Inline-Jobs
Anstatt input_files zu übergeben, übergeben Sie einen requests-Parameter, der Ihre Liste von Anfragen direkt enthält:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Inline-Anfragen vorbereiten
inline_requests = [
{
"custom_id": f"req-{i:04d}",
"body": {
"max_tokens": 150,
"messages": [
{
"role": "system",
"content": "Sie sind ein Experte für Textklassifizierung."
},
{
"role": "user",
"content": f"Klassifizieren Sie diesen Text: {text}"
}
]
}
}
for i, text in enumerate(my_texts)
]
# Job mit Inline-Anfragen erstellen
job = client.batch.jobs.create(
requests=inline_requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
print(f"Inline-Job erstellt: {job.id}")
print(f"Anzahl der Anfragen: {len(inline_requests)}")
Der Unterschied im Code ist minimal: requests= statt input_files=. Der Rest des Workflows (Statusverfolgung, Herunterladen der Ergebnisse) ist identisch.
Durchgearbeitetes Beispiel: Ticket-Klassifizierung
Hier ist ein vollständiges Beispiel zur Klassifizierung von Kundensupport-Tickets:
from mistralai.client import Mistral
import json
import time
client = Mistral(api_key="your-api-key")
# Kundensupport-Tickets simulieren
tickets = [
{"id": "TK-001", "message": "Ich kann mich nicht in mein Konto einloggen"},
{"id": "TK-002", "message": "Wie kündige ich mein Abo?"},
{"id": "TK-003", "message": "Die App stürzt beim Start ab"},
{"id": "TK-004", "message": "Können Sie Dunkelmodus hinzufügen?"},
{"id": "TK-005", "message": "Meine Rechnung ist falsch"},
]
# Inline-Anfragen erstellen
requests = [
{
"custom_id": ticket["id"],
"body": {
"max_tokens": 50,
"messages": [
{
"role": "system",
"content": (
"Klassifizieren Sie das Ticket in eine dieser Kategorien: "
"AUTHENTICATION, BILLING, BUG, "
"FEATURE, SUBSCRIPTION. "
"Antworten Sie nur mit der Kategorie."
)
},
{"role": "user", "content": ticket["message"]}
]
}
}
for ticket in tickets
]
# Inline-Batch starten
job = client.batch.jobs.create(
requests=requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# Warten und Ergebnisse abrufen
while True:
status = client.batch.jobs.get(job_id=job.id)
if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
break
time.sleep(5)
# Ergebnisse parsen
if status.status == "SUCCESS":
data = client.files.download(file_id=status.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
ticket_id = entry["custom_id"]
category = entry["response"]["body"]["choices"][0]["message"]["content"]
print(f"{ticket_id} -> {category.strip()}")
Wann Sie welchen Ansatz wählen sollten
Der entscheidende Faktor ist nicht nur die Menge, sondern wo das Batching in Ihren Workflow passt. Beim Prototyping testen Sie einen Prompt an einigen hundert Beispielen, verfeinern ihn und führen ihn erneut aus. Das Schreiben einer Zwischen-JSONL-Datei bei jeder Iteration verlangsamt nur den Kreislauf. Inline Batching entfernt diese Reibung: Ihr Skript generiert Anfragen auf dem Fly, reicht sie im selben Aufruf ein, und Sie iterieren innerhalb weniger Minuten. Dieselbe Logik gilt für leichte Integrationen, einmalige Analyse-Skripte oder tägliche Verarbeitung, die unter 10.000 Anfragen bleibt.
Dateibatching führt an, sobald Batching zu einem Produktionslink wird. Zuerst mechanisch: Über 10.000 Anfragen ist es die einzige Option. Aber vor allem strukturell: Eine hochgeladene Datei ist ein langlebiges Artefakt. Sie können es für mehrere Jobs wiederverwenden, es als Aufzeichnung dessen behalten, was genau eingereicht wurde, und den Vorbereitungsschritt (der die Datei erstellt, validiert und versioniert) sauber vom Ausführungsschritt (der den Job startet) trennen. Wenn ein Batch-Job nachts auf Kundendaten läuft, ist diese Rückverfolgbarkeit kein Luxus; sie ermöglicht es Ihnen, die Frage zu beantworten: „Was haben wir dem Modell am 12. März gesendet?” sechs Monate später.
In der Praxis nutzen viele Teams beide Ansätze: Inline während der Prompt-Entwicklung, dann wechseln sie zu Dateibatching, wenn sie die Lösung industrialisieren. Da der Code zur Verfolgung und zum Abrufen der Ergebnisse identisch bleibt, beschränkt sich die Migration darauf, requests= durch input_files= zu ersetzen.
Kernaussagen
- Inline Batching entfernt den Upload-Schritt, indem Anfragen direkt über den
requests-Parameter übergeben werden - Limit von 10.000 Anfragen pro Inline-Job, gegenüber 1 Million für Dateibatching
- Statusverfolgung und Herunterladen der Ergebnisse sind für beide Modi identisch
- Inline Batching für Prototyping und mittlere Mengen bevorzugen; Dateibatching für großangelegte Produktion verwenden