Batch API: Próiseáil Asincronach Maisiúil
Ar an leathanach seo
Nuashonraithe an 3 Samhain, 2026 bunaithe ar an treoir Batch API agus ar struchtúr freagartha na Responses API: ní ghlactar a thuilleadh leis gurb é an chéad eilimint de
outputan teachtaireacht (d’fhéadfadh eilimint réasúnaíochta teacht roimhe), agus d’ardaigh an eochair cód earráide, scríofa gan comharthaí luachana,NameError. Foinse: Batch API.
Malartaigh Moill ar Chostas
Oibríonn an Batch API ar phrionsabal margaidh simplí: glacann tú leis go bpróiseálfar d’iarratais go hasincronach laistigh d’fhuinneog suas le fiche a ceathair uair an chloig, agus ina ionad sin, íocann tú caoga faoin gcéad níos lú. Tagann aon rud nach gá a sheirbheáil do dhuine atá ag fanacht lena scáileán isteach sa chatagóir seo. Ar scála, ní micrea-optamú é seo; gearrann sé do líne buiséid faoi dhó.
Is é an nós atá le cothú laistigh d’fhoireann ná a fhiafraí, do gach tasc próiseála nua, an bhfuil duine ar bith ag fanacht leis an toradh. Stoc conarthaí a anailísiú, bileoga táirge a ghiniúint do chatalóg, tagarmharc a rith ar na mílte cás tástála, ticéid a aicmiú ó chúlchiste sé mhí, réimsí a bhaint as baisc fháltas: sna cásanna seo go léir, tuirlingíonn an freagra ar dheais rialaithe nó i mbunachar sonraí, ní in comhéadan comhráite. Tá an mhoill dofheicthe, ach níl na coigiltis.
Tóg agus Seol Baisc
Is comhad JSONL an formáid ionchuir: líne amháin in aghaidh na hiarratais, áit arb oibiacht iomlán neamhspleách gach líne. Is é an réimse custom_id an rud a ligeann duit gach freagra a nascadh ar ais lena iarraidh bhunaidh, ós rud é nach ráthaíonn aon rud ord an chomhaid aschuir. Roghnaigh ID atá cobhsaí agus bríoch—ID doiciméid ó do bhunachar sonraí seachas uimhir atrialta—mura bhfuil, déanfaidh an chéim comhcheangail tromluí ort.
import json
requests = [
{
"custom_id": f"doc-{i}",
"method": "POST",
"url": "/v1/responses",
"body": {
"model": "gpt-5.6-luna",
"input": f"Summarize this document in 3 key points: {doc}",
"max_output_tokens": 500,
},
}
for i, doc in enumerate(documents_list)
]
# Scríobh an comhad JSONL
with open("batch_input.jsonl", "w") as f:
for request in requests:
f.write(json.dumps(request) + "\n")
Ansin uaslódáiltear an comhad agus déantar tagairt dó agus an baisc á chruthú. Níl aon fheidhm theicniúil leis na meiteashonraí, ach sábhálfaidh siad do chraiceann nuair a bheidh trí bhaisc ag rith go comhthreomhar agus nuair a bheidh ort a fháil amach cé acu a fhreagraíonn do leagan leid áirithe.
import openai
client = openai.OpenAI()
# Uaslódáil an comhad
file_obj = client.files.create(
file=open("batch_input.jsonl", "rb"),
purpose="batch",
)
# Cruthaigh an baisc
batch = client.batches.create(
input_file_id=file_obj.id,
endpoint="/v1/responses",
completion_window="24h",
metadata={"project": "contract-analysis", "version": "2.1"},
)
print(f"Batch created: {batch.id}")
print(f"Status: {batch.status}")
Baineann monatóireacht le polú an bhaisc go dtí go bhfágann sé an staid “in-progress”, ansin íoslódáil an chomhaid aschuir, atá i bhformáid JSONL freisin. Déanann an lúb thíos idirdhealú idir trí thoradh críochta—failed, expired, cancelled—agus ardaíonn sí eisceacht do gach ceann: is baisc éagtha iad siúd ina raibh an fhuinneog fiche a ceathair uair an chloig caite sular próiseáladh gach rud, agus ba é an rogha is measa iad a chóireáil mar rath páirteach ciúin.
import time
def wait_for_batch(batch_id: str, interval: int = 60) -> list:
"""Fanann go gcríochnóidh baisc agus filleann na torthaí."""
while True:
batch = client.batches.retrieve(batch_id)
print(
f"Status: {batch.status} | "
f"Completed: {batch.request_counts.completed}/"
f"{batch.request_counts.total} | "
f"Failed: {batch.request_counts.failed}"
)
if batch.status == "completed":
break
elif batch.status in ("failed", "expired", "cancelled"):
raise RuntimeError(f"Batch failed: {batch.status}")
time.sleep(interval)
# Íoslódáil torthaí
content = client.files.content(batch.output_file_id)
results = []
for line in content.text.strip().split("\n"):
results.append(json.loads(line))
return results
results = wait_for_batch(batch.id)
# Próiseáil torthaí
for result in results:
custom_id = result["custom_id"]
response = result["response"]
if response["status_code"] == 200:
# d'fhéadfadh eilimintí eile a bheith san aschur roimh an teachtaireacht
# (réasúnaíocht, mar shampla): lorg téacs na teachtaireachta
text = next(
part["text"]
for item in response["body"]["output"] if item["type"] == "message"
for part in item["content"] if part["type"] == "output_text"
)
print(f"{custom_id}: {text[:100]}...")
else:
print(f"{custom_id}: ERROR {response['status_code']}")
Pleanáil do Theipeanna Páirteacha
Ar bhaisc mhóra, teipfidh ar roinnt iarratas: doiciméad gearrtha, sárú comhthéacs, nó earráid thrasánach taobh freastalaí. Mar sin, ní bhíonn baisc riamh go simplí “rathúil” nó “teipthe”—tá siad rathúil go páirteach, agus caithfidh a fhios a bheith agat conas an chuid atá in easnamh a aonrú. Is é an patrún le glacadh ná rathanna agus teipeanna a scaradh láithreach agus comhad JSONL a athghiniúint atá réidh le hathsheoladh, seachas logaí a scagadh trí lá ina dhiaidh sin chun a athchruthú cad atá ar iarraidh.
def handle_batch_errors(results: list[dict]) -> tuple[list, list]:
"""Scarann rathanna ó theipeanna le haghaidh athphróiseála."""
successes = []
failures = []
for r in results:
if r["response"]["status_code"] == 200:
successes.append(r)
else:
failures.append(r)
if failures:
print(f"Warning: {len(failures)} failed requests out of {len(results)}")
# Athscríobh comhad JSONL le teipeanna le haghaidh athriail
with open("batch_retry.jsonl", "w") as f:
for failure in failures:
original_request = {
"custom_id": failure["custom_id"],
"method": "POST",
"url": "/v1/responses",
"body": failure["request"]["body"],
}
f.write(json.dumps(original_request) + "\n")
return successes, failures
Méadaigh do Chuid Coigiltis
Ar rith próiseála deich míle doiciméad le GPT-5.6 Luna, is é an API sioncronach an costas bonnlíne, is é an Batch API leath de sin, agus cuireann taisceáil leid leis air sin toisc go mbaineann tócan taiscthe tairbhe as a laghdú féin freisin. Ní dhéanann an dá mheicníocht iomaíocht le chéile: má roinneann do dheich míle iarratas an leid córais fada céanna, struchtúraigh é mar réimír cobhsaí agus comhcheanglóidh tú an dá éifeacht.
Ar deireadh, tá an cheist faoi scoilteadh. Níor chóir go mbeadh baisc gan teorainn, agus tá sé níos compordaí monatóireacht a dhéanamh ar roinnt baisc inbhainistithe ná ar mhonailiteach amháin a chosnaíonn lá iomlán má theipeann air. Scoilteann an fheidhm seo a leanas liosta iarratas ina bhaisc de mhéid teoranta.
def create_optimized_batches(
requests: list[dict],
max_size: int = 50_000,
) -> list[list[dict]]:
"""Scoilteann ina bhaisc de mhéid optamach."""
batches = []
current_batch = []
for request in requests:
current_batch.append(request)
if len(current_batch) >= max_size:
batches.append(current_batch)
current_batch = []
if current_batch:
batches.append(current_batch)
return batches
Príomhphointí
- Tairgeann an Batch API laghdú 50% do phróiseáil nach bhfuil i bhfíor-am
- Ullmhaigh d’iarratais i gcomhad JSONL le
custom_iduathúil in aghaidh na hiarratais - Pleanáil meicníocht athriail d’iarratais theipthe
- Comhcheangail le taisceáil leid chun coigiltis a uasmhéadú