Batchowanie inline: do 10 tys. żądań bez pliku
Na tej stronie
Zaktualizowano 3 listopada 2026: Aktualizacja z 3 listopada:
files.downloadzwraca odpowiedź HTTP (httpx2.Response); przed wywołaniem.decode()odczytaj jej zawartość metodą.read().
Lekka alternatywa dla batchowania plikowego
Batchowanie inline pozwala przesyłać żądania wsadowe bezpośrednio w wywołaniu API, pomijając etap przesyłania pliku. To idealna metoda, gdy masz umiarkowaną liczbę żądań (do 10 000) i chcesz uprościć swój potok danych.
Batchowanie plikowe kontra batchowanie inline
Zanim przejdziesz do kodu, wyjaśnijmy różnice między tymi dwoma podejściami:
| Kryterium | Batchowanie plikowe | Batchowanie inline |
|---|---|---|
| Maksymalna liczba żądań | 1 000 000 żądań | 10 000 żądań |
| Wymagania wstępne | Przesłanie pliku JSONL | Brak |
| Liczba kroków | Przesłanie + Utworzenie zadania | Utworzenie zadania (jedno wywołanie) |
| Przypadki użycia | Produkcja, duże wolumeny | Testy, prototypowanie, średnie wolumeny |
Tworzenie zadania inline
Zamiast przekazywać parametr input_files, użyj parametru requests, zawierającego bezpośrednio listę swoich żądań:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Przygotuj żądania inline
inline_requests = [
{
"custom_id": f"req-{i:04d}",
"body": {
"max_tokens": 150,
"messages": [
{
"role": "system",
"content": "You are a text classification expert."
},
{
"role": "user",
"content": f"Classify this text: {text}"
}
]
}
}
for i, text in enumerate(my_texts)
]
# Utwórz zadanie z żądaniami inline
job = client.batch.jobs.create(
requests=inline_requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
print(f"Utworzono zadanie inline: {job.id}")
print(f"Liczba żądań: {len(inline_requests)}")
Różnica w kodzie jest minimalna: requests= zamiast input_files=. Pozostała część przepływu pracy (śledzenie statusu, pobieranie wyników) jest identyczna.
Przykład praktyczny: Klasyfikacja zgłoszeń
Oto kompletny przykład klasyfikacji zgłoszeń wsparcia technicznego:
from mistralai.client import Mistral
import json
import time
client = Mistral(api_key="your-api-key")
# Symulacja zgłoszeń wsparcia
tickets = [
{"id": "TK-001", "message": "I cannot log in to my account"},
{"id": "TK-002", "message": "How do I cancel my subscription?"},
{"id": "TK-003", "message": "The app crashes on startup"},
{"id": "TK-004", "message": "Can you add dark mode?"},
{"id": "TK-005", "message": "My invoice is incorrect"},
]
# Budowa żądań inline
requests = [
{
"custom_id": ticket["id"],
"body": {
"max_tokens": 50,
"messages": [
{
"role": "system",
"content": (
"Classify the ticket into one of these categories: "
"AUTHENTICATION, BILLING, BUG, "
"FEATURE, SUBSCRIPTION. "
"Reply with the category only."
)
},
{"role": "user", "content": ticket["message"]}
]
}
}
for ticket in tickets
]
# Uruchomienie batcha inline
job = client.batch.jobs.create(
requests=requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# Oczekiwanie i pobranie wyników
while True:
status = client.batch.jobs.get(job_id=job.id)
if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
break
time.sleep(5)
# Parsowanie wyników
if status.status == "SUCCESS":
data = client.files.download(file_id=status.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
ticket_id = entry["custom_id"]
category = entry["response"]["body"]["choices"][0]["message"]["content"]
print(f"{ticket_id} -> {category.strip()}")
Kiedy wybrać które podejście
Czynnikiem decydującym nie jest tylko wolumen, ale także miejsce, jakie batchowanie zajmuje w Twoim przepływie pracy. Podczas prototypowania testujesz prompt na kilkuset przykładach, dopracowujesz go i uruchamiasz ponownie. Zapisywanie pośredniego pliku JSONL przy każdej iteracji jedynie spowalnia ten cykl. Batchowanie inline eliminuje tę przeszkodę – Twój skrypt generuje żądania w locie, przesyła je w tym samym wywołaniu, a Ty możesz iterować w ciągu minut. Ta sama logika dotyczy lekkich integracji, jednorazowych skryptów analitycznych lub codziennego przetwarzania, które nie przekracza 10 000 żądań.
Batchowanie plikowe przejmuje prowadzenie, gdy staje się ono ogniwem produkcyjnym. Po pierwsze, mechanicznie: powyżej 10 000 żądań jest to jedyna opcja. Co ważniejsze, strukturalnie: przesłany plik jest trwałym artefaktem. Możesz go wielokrotnie używać do różnych zadań, przechowywać jako rekord dokładnie tego, co zostało przesłane, oraz cleanly oddzielić etap przygotowania (który buduje, waliduje i wersjonuje plik) od etapu wykonania (który uruchamia zadanie). Gdy zadanie wsadowe działa co noc na danych klientów, ta możliwość śledzenia nie jest luksusem; to właśnie ona pozwala odpowiedzieć sześć miesięcy później na pytanie: „Co wysłaliśmy do modelu 12 marca?“.
W praktyce wiele zespołów korzysta z obu metod: inline podczas opracowywania promptów, a następnie przechodzi na batchowanie plikowe przy industrializacji. Ponieważ kod do śledzenia i pobierania wyników pozostaje identyczny, migracja ogranicza się do zamiany requests= na input_files=.
Kluczowe wnioski
- Batchowanie inline eliminuje etap przesyłania, przekazując żądania bezpośrednio przez parametr
requests - Limit 10 000 żądań na zadanie inline w porównaniu do 1 miliona dla batchowania plikowego
- Śledzenie statusu i pobieranie wyników są identyczne w obu trybach
- Preferuj batchowanie inline do prototypowania i średnich wolumenów; używaj batchowania plikowego do produkcji na dużą skalę