Batchú Inlíne: Suas le 10K Iarratas Gan Comhad
Ar an leathanach seo
Nuashonraithe an 3 Samhain, 2026: Nuashonrú an 3 Samhain: Tugann
files.downloadfreagra HTTP (httpx2.Response) ar ais; léigh a bhfuil ann le.read()sula nglaoifeá ar.decode().
An Rogha Éadrom in Ionad Batchú Comhad
Ceadaíonn batchú inlíne duit iarratais bhaisc a chur isteach go díreach sa ghlao API, ag scipeáil an chéim uaslódála comhad. Is é seo an modh idéalach nuair a bhíonn toirt mheasartha iarratas agat (suas le 10,000) agus nuair is mian leat do phíblíne a shimpliú.
Batchú Comhad vs. Batchú Inlíne
Sula ndéanaimid tumadh sa chód, déanaimis na difríochtaí idir an dá chur chuige a shoiléiriú:
| Critéar | Batchú Comhad | Batchú Inlíne |
|---|---|---|
| Uasmhéid | 1,000,000 iarratas | 10,000 iarratas |
| Réamhriachtanais | Uaslódáil comhad JSONL | Ceann ar bith |
| Céimeanna | Uaslódáil + Cruthaigh Post | Cruthaigh Post (glao amháin) |
| Cásanna úsáide | Léiriú, toirteanna móra | Tástáil, prótatípú, toirteanna meánacha |
Post Inlíne a Chruthú
In ionad input_files a rith, rith tú paraiméadar requests ina bhfuil do liosta iarratas go díreach:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Ullmhaigh iarratais inlíne
inline_requests = [
{
"custom_id": f"req-{i:04d}",
"body": {
"max_tokens": 150,
"messages": [
{
"role": "system",
"content": "You are a text classification expert."
},
{
"role": "user",
"content": f"Classify this text: {text}"
}
]
}
}
for i, text in enumerate(my_texts)
]
# Cruthaigh an post le hiarratais inlíne
job = client.batch.jobs.create(
requests=inline_requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
print(f"Inline job created: {job.id}")
print(f"Number of requests: {len(inline_requests)}")
Is íosta an difríocht sa chód: requests= in ionad input_files=. Tá an chuid eile den sreabhad oibre (rianú stádais, íoslódáil torthaí) comhionann.
Sampla Oibre: Aicmiú Ticéad
Seo sampla iomlán de thicéid tacaíochta do chustaiméirí a aicmiú:
from mistralai.client import Mistral
import json
import time
client = Mistral(api_key="your-api-key")
# Simléad ticéid tacaíochta
tickets = [
{"id": "TK-001", "message": "I cannot log in to my account"},
{"id": "TK-002", "message": "How do I cancel my subscription?"},
{"id": "TK-003", "message": "The app crashes on startup"},
{"id": "TK-004", "message": "Can you add dark mode?"},
{"id": "TK-005", "message": "My invoice is incorrect"},
]
# Tóg iarratais inlíne
requests = [
{
"custom_id": ticket["id"],
"body": {
"max_tokens": 50,
"messages": [
{
"role": "system",
"content": (
"Classify the ticket into one of these categories: "
"AUTHENTICATION, BILLING, BUG, "
"FEATURE, SUBSCRIPTION. "
"Reply with the category only."
)
},
{"role": "user", "content": ticket["message"]}
]
}
}
for ticket in tickets
]
# Seol an batch inlíne
job = client.batch.jobs.create(
requests=requests,
model="mistral-small-latest",
endpoint="/v1/chat/completions"
)
# Fan agus faigh na torthaí
while True:
status = client.batch.jobs.get(job_id=job.id)
if status.status in ("SUCCESS", "FAILED", "CANCELLED"):
break
time.sleep(5)
# Parsáil na dtorthaí
if status.status == "SUCCESS":
data = client.files.download(file_id=status.output_file)
for line in data.read().decode("utf-8").strip().split("\n"):
entry = json.loads(line)
ticket_id = entry["custom_id"]
category = entry["response"]["body"]["choices"][0]["message"]["content"]
print(f"{ticket_id} -> {category.strip()}")
Cathain an Cur Chuige Sin nó an Ceann Eile a Roghnú
Ní toirt amháin an fachtóir cinntitheach; is é an áit a n-oiriúnaíonn batchú do do shreabhad oibre an rud is tábhachtaí. Le linn prótatípithe, déanann tú tástáil ar leid ar roinnt céad sampla, déanann tú é a bheachtú, agus athsheolann tú é. Ní dhéanann scríobh comhad idirmheánach JSONL ag gach atriall ach an lúb a mhoilliú. Baineann batchú inlíne an chuimhneas seo—gineann do script iarratais ar an eitilt, seolann sé iad sa ghlao céanna, agus déanann tú atriall laistigh de nóiméid. Baineann an loighic chéanna le comhtháthuithe éadroma, scripteanna anailíse aonuaire, nó próiseáil laethúil a fhanann faoi 10,000 iarratas.
Gabhann batchú comhad an lámh in uachtar nuair a éiríonn batchú nasc táirgeachta. Ar dtús, go meicniúil: thar 10,000 iarratas, is é an t-aon rogha é. Ach níos tábhachtaí fós, go struchtúrtha: is ealaín mharthanach é comhad uaslódáilte. Is féidir leat é a athúsáid do phoist iolracha, é a choinneáil mar thaifead ar an méid a seoladh go beacht, agus an chéim ullmhúcháin (a thógann, a bhailíochtaíonn agus a leaganacha an comhad) a scaradh go glan ón gcéim feidhmithe (a sheolann an post). Nuair a ritheann post baisc gach oíche ar shonraí custaiméirí, ní polaitíocht é an inrianaitheacht seo; is é an rud a ligeann duit an cheist “Cad a sheolamar chuig an múnla an 12 Márta?” a fhreagairt sé mhí ina dhiaidh sin.
Go praiticiúil, úsáideann go leor foirne an dá cheann: inlíne le linn forbartha leideanna, agus ansin aistriú go batchú comhad agus é á thionscalú. Ós rud é go bhfanann an cód chun torthaí a rianú agus a fháil comhionann, tá an t-aistriú teoranta do requests= a chur in ionad input_files=.
Príomhphointí
- Baineann batchú inlíne an chéim uaslódála trí iarratais a rith go díreach tríd an bparaiméadar
requests - Teorainn 10,000 iarratas in aghaidh an phoist inlíne, i gcomparáid le 1 mhilliún do bhatchú comhad
- Tá rianú stádais agus íoslódáil torthaí comhionann don dá mhód
- Roghnaigh inlíne le haghaidh prótatípithe agus toirteanna measartha; úsáid batchú comhad do tháirgeadh ar scála mór