Inline Batching: jopa 10 000 pyyntöä ilman tiedostoa
Tällä sivulla
Päivitetty 3. marraskuuta 2026: 3. marraskuuta päivitys:
files.downloadpalauttaa HTTP-vastauksen (httpx2.Response); lue sen sisältö metodilla.read()ennen kuin kutsut.decode().
Kevyt vaihtoehto tiedostopohjaiselle batchaukselle
Inline-batchaus mahdollistaa batch-pyyntöjen lähettämisen suoraan API-kutsussa, jolloin tiedoston latausvaihe jää pois. Tämä on ihanteellinen menetelmä, kun sinulla on kohtalainen määrä pyyntöjä (jopa 10 000) ja haluat yksinkertaistaa putkeasi.
Tiedostobatchaus vs. inline-batchaus
Ennen kuin sukellamme koodiin, selvennetään näiden kahden lähestymistavan erot:
| Kriteeri | Tiedostobatchaus | Inline-batchaus |
|---|---|---|
| Enimmäismäärä | 1 000 000 pyyntöä | 10 000 pyyntöä |
| Edellytykset | JSONL-tiedoston lataus | Ei mitään |
| Vaiheet | Lataus + työn luominen | Työn luominen (yksi kutsu) |
| Käyttötapaukset | Tuotanto, suuret volyymit | Testaus, prototyyppaus, keskisuuret volyymit |
Inline-työn luominen
input_files-parametrin sijaan välität requests-parametrin, joka sisältää pyyntölistasi suoraan:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Valmistele inline-pyynnöt
inline_requests = [
{
"custom_id": f"req-{i:04d}",
"body": {
"max_tokens": 150,
"messages": [
{
"role": "system",
"content": "You are a text classification expert."
},
{
"role": "user",
"content": f"Classify this text: {text}"
}
]
}
}
for i, text in enumerate(my_texts)
]
# Luo työ inline-pyynnöillä
job = client.batch.jobs.create(
requests=inline_requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")
Koodiero on minimaalinen: requests= input_files=:n sijaan. Muu työnkulku (tilan seuranta, tulosten lataaminen) on identtinen.
Käytännön esimerkki: tukipyyntöjen luokittelu
Tässä on täydellinen esimerkki asiakastukipyyntöjen luokittelusta:
from mistralai.client import Mistral
import json
import time
client = Mistral(api_key="your-api-key")
# Simuloi tukipyyntöjä
tickets = [
{"id": "TK-001", "message": "I cannot log in to my account"},
{"id": "TK-002", "message": "How do I cancel my subscription?"},
{"id": "TK-003", "message": "The app crashes on startup"},
{"id": "TK-004", "message": "Can you add dark mode?"},
{"id": "TK-005", "message": "My invoice is incorrect"},
]
# Rakenna inline-pyynnöt
requests = [
{
"custom_id": ticket["id"],
"body": {
"max_tokens": 50,
"messages": [
{
"role": "system",
"content": (
"Classify the ticket into one of these categories: "
"AUTHENTICATION, BILLING, BUG, "
"FEATURE, SUBSCRIPTION. "
"Reply with the category only."
)
},
{"role": "user", "content": ticket["message"]}
]
}
}
for ticket in tickets
]
# Käynnistä inline-batch
job = client.batch.jobs.create(
requests=requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# Odota ja hae tulokset
while True:
status = client.batch.jobs.get(job_id=job.id)
if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
break
time.sleep(5)
# Jäsennä tulokset
if status.status == "SUCCESS":
data = client.files.download(file_id=status.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
ticket_id = entry["custom_id"]
category = entry["response"]["body"]["choices"][0]["message"]["content"]
print(f"{ticket_id} -> {category.strip()}")
Milloin valita kumpikin lähestymistapa?
Ratkaiseva tekijä ei ole pelkkä volyymi, vaan se, miten batchaus sopii työnkulkuusi. Prototyyppauksen aikana testaat kehotetta muutamalla sadalla esimerkillä, hiot sitä ja ajat uudelleen. Välivaiheen JSONL-tiedoston kirjoittaminen joka iteratiolla vain hidastaa silmukkaa. Inline-batchaus poistaa tämän kitkan: skriptisi generoi pyynnöt lennossa, lähettää ne samassa kutsussa ja voit iteroida minuuteissa. Sama logiikka pätee kevyisiin integraatioihin, kertaluonteisiin analyysiskripteihin tai päivittäiseen käsittelyyn, joka pysyy alle 10 000 pyynnön rajan.
Tiedostobatchaus ottaa vetovastuun, kun batchauksesta tulee tuotantoketjun linkki. Ensinnäkin mekaanisesti: yli 10 000 pyynnön kohdalla se on ainoa vaihtoehto. Tärkeämpää on kuitenkin rakenteellinen näkökulma: ladattu tiedosto on kestävä artefakti. Voit käyttää sitä useisiin töihin, säilyttää sen tarkkana ennätyksenä lähetetystä datasta ja erottaa selkeästi valmisteluvaiheen (joka rakentaa, valido ja versioi tiedoston) suoritusvaiheesta (joka käynnistää työn). Kun batch-työ ajetaan yöittäin asiakasdatalla, tämä jäljitettävyys ei ole ylellisyyttä; se on se, mikä mahdollistaa kysymyksen ”Mitä lähetimme mallille 12. maaliskuuta?” beantamisen kuusi kuukautta myöhemmin.
Käytännössä monet tiimit käyttävät molempia: inlinea kehotteiden kehittämisen aikana ja siirtyvät tiedostobatchaukseen teollistaessaan prosessia. Koska tulosten seuranta- ja hakukoodi pysyy identtisenä, migraatio rajoittuu requests=:n korvaamiseen input_files=:lla.
Keskeiset asiat
- Inline-batchaus poistaa latausvaiheen välittämällä pyynnöt suoraan
requests-parametrin kautta - Raja on 10 000 pyyntöä inline-työtä kohden, verrattuna miljoonaan tiedostobatchauksessa
- Tilan seuranta ja tulosten lataaminen ovat identtisiä molemmissa tiloissa
- Suosi inlinea prototyyppaukseen ja kohtalaisiin volyymeihin; käytä tiedostobatchausta laajamittaiseen tuotantoon