Apvienošana tiešsaistē: līdz 10 000 pieprasījumiem bez faila
Šajā lapā
Atjaunināts 2026. gada 3. novembrī: 3. novembra atjauninājums:
files.downloadatgriež HTTP atbildi (httpx2.Response); pirms izsaukt.decode(), nolasiet tās saturu ar.read().
Viegls alternatīvs risinājums apvienošanai ar failiem
Apvienošana tiešsaistē (inline batching) ļauj iesniegt apvienotos pieprasījumus tieši API izsaukumā, izlaižot faila augšupielādes soli. Šī ir ideālā metode, ja tev ir mērens pieprasījumu apjoms (līdz 10 000) un vēlies vienkāršot savu darbplūsmu.
Apvienošana ar failiem pret apvienošanu tiešsaistē
Pirms pāriet pie koda, noskaidrosim atšķirības starp abām pieejām:
| Kritērijs | Apvienošana ar failiem | Apvienošana tiešsaistē |
|---|---|---|
| Maksimālais apjoms | 1 000 000 pieprasījumu | 10 000 pieprasījumu |
| Priekšnosacījumi | JSONL faila augšupielāde | Nav |
| Soļi | Augšupielāde + uzdevuma izveide | Uzdevuma izveide (viens izsaukums) |
| Lietošanas gadījumi | Ražošana, lieli apjomi | Testēšana, prototipēšana, vidēji apjomi |
Tiešsaistes uzdevuma izveide
Tā vietā, lai nodotu input_files, tu nodod parametru requests, kas satur tavu pieprasījumu sarakstu tieši:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Sagatavo tiešsaistes pieprasījumus
inline_requests = [
{
"custom_id": f"req-{i:04d}",
"body": {
"max_tokens": 150,
"messages": [
{
"role": "system",
"content": "You are a text classification expert."
},
{
"role": "user",
"content": f"Classify this text: {text}"
}
]
}
}
for i, text in enumerate(my_texts)
]
# Izveido uzdevumu ar tiešsaistes pieprasījumiem
job = client.batch.jobs.create(
requests=inline_requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")
Koda atšķirība ir minimāla: requests= vietā input_files=. Pārējā darbplūsma (statusa izsekošana, rezultātu lejupielāde) ir identiska.
Praktisks piemērs: biļešu klasificēšana
Lūk, pilns piemērs klientu atbalsta biļešu klasificēšanai:
from mistralai.client import Mistral
import json
import time
client = Mistral(api_key="your-api-key")
# Simulē atbalsta biļetes
tickets = [
{"id": "TK-001", "message": "I cannot log in to my account"},
{"id": "TK-002", "message": "How do I cancel my subscription?"},
{"id": "TK-003", "message": "The app crashes on startup"},
{"id": "TK-004", "message": "Can you add dark mode?"},
{"id": "TK-005", "message": "My invoice is incorrect"},
]
# Veido tiešsaistes pieprasījumus
requests = [
{
"custom_id": ticket["id"],
"body": {
"max_tokens": 50,
"messages": [
{
"role": "system",
"content": (
"Classify the ticket into one of these categories: "
"AUTHENTICATION, BILLING, BUG, "
"FEATURE, SUBSCRIPTION. "
"Reply with the category only."
)
},
{"role": "user", "content": ticket["message"]}
]
}
}
for ticket in tickets
]
# Palaiž tiešsaistes apvienoto uzdevumu
job = client.batch.jobs.create(
requests=requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# Gaida un iegūst rezultātus
while True:
status = client.batch.jobs.get(job_id=job.id)
if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
break
time.sleep(5)
# Analizē rezultātus
if status.status == "SUCCESS":
data = client.files.download(file_id=status.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
ticket_id = entry["custom_id"]
category = entry["response"]["body"]["choices"][0]["message"]["content"]
print(f"{ticket_id} -> {category.strip()}")
Kad izvēlēties katru pieeju
Izšķirošais faktors nav tikai apjoms, bet gan tas, kā apvienošana iekļaujas tavā darbplūsmā. Prototipēšanas laikā tu testē uzvedni uz dažiem simtiem piemēru, pilnveido to un palaid atkārtoti. Starpposma JSONL faila rakstīšana katrā iterācijā tikai palēnina ciklu. Apvienošana tiešsaistē novērš šos traucējumus – tavs skripts ģenerē pieprasījumus reāllaikā, iesniedz tos tajā pašā izsaukumā, un tu vari veikt iterācijas minūšu laikā. Tāda pati loģika attiecas uz vieglām integrācijām, vienreizējiem analīzes skriptiem vai ikdienas apstrādi, kas nepārsniedz 10 000 pieprasījumu.
Apvienošana ar failiem pārņem vadību, tiklīdz apvienošana kļūst par ražošanas posma sastāvdaļu. Pirmkārt, mehāniski: pārsniedzot 10 000 pieprasījumu, tā ir vienīgā opcija. Bet vēl svarīgāk – strukturāli: augšupielādēts fails ir noturīgs artifacts. Tu vari to atkārtoti izmantot vairākiem uzdevumiem, glabāt kā ierakstu par to, kas tieši tika iesniegts, un skaidri nodalīt sagatavošanas soli (kas veido, validē un versijē failu) no izpildes soļa (kas palaiž uzdevumu). Kad apvienotais uzdevums tiek palaists katru nakti ar klientu datiem, šī izsekojamība nav greznība; tā ir tas, kas ļauj atbildēt uz jautājumu „Ko mēs nosūtījām modelim 12. martā?” pat pēc sešiem mēnešiem.
Praksē daudzas komandas izmanto abus: tiešsaisti uzvednes izstrādes laikā, pēc tam pārejot uz apvienošanu ar failiem, industrializējot procesu. Tā kā kods rezultātu izsekošanai un iegūšanai paliek identisks, migrācija aprobežojas ar requests= aizstāšanu ar input_files=.
Galvenās atziņas
- Apvienošana tiešsaistē novērš augšupielādes soli, nododot pieprasījumus tieši caur parametru
requests - Robeža ir 10 000 pieprasījumu vienam tiešsaistes uzdevumam, pretstatā 1 miljonam apvienošanai ar failiem
- Statusa izsekošana un rezultātu lejupielāde abiem režīmiem ir identiska
- Dod priekšroku tiešsaistei prototipēšanai un mēreniem apjomiem; izmanto apvienošanu ar failiem liela mēroga ražošanai