Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Batch API: Próiseáil Asincronach Maisiúil

Ceacht 6 as 20 Nuashonraithe 3 Samhain 2026 Ardleibhéal
Ar an leathanach seo
  1. Malartaigh Moill ar Chostas
  2. Tóg agus Seol Baisc
  3. Pleanáil do Theipeanna Páirteacha
  4. Méadaigh do Chuid Coigiltis
  5. Príomhphointí

Nuashonraithe an 3 Samhain, 2026 bunaithe ar an treoir Batch API agus ar struchtúr freagartha na Responses API: ní ghlactar a thuilleadh leis gurb é an chéad eilimint de output an teachtaireacht (d’fhéadfadh eilimint réasúnaíochta teacht roimhe), agus d’ardaigh an eochair cód earráide, scríofa gan comharthaí luachana, NameError. Foinse: Batch API.

Malartaigh Moill ar Chostas

Oibríonn an Batch API ar phrionsabal margaidh simplí: glacann tú leis go bpróiseálfar d’iarratais go hasincronach laistigh d’fhuinneog suas le fiche a ceathair uair an chloig, agus ina ionad sin, íocann tú caoga faoin gcéad níos lú. Tagann aon rud nach gá a sheirbheáil do dhuine atá ag fanacht lena scáileán isteach sa chatagóir seo. Ar scála, ní micrea-optamú é seo; gearrann sé do líne buiséid faoi dhó.

Is é an nós atá le cothú laistigh d’fhoireann ná a fhiafraí, do gach tasc próiseála nua, an bhfuil duine ar bith ag fanacht leis an toradh. Stoc conarthaí a anailísiú, bileoga táirge a ghiniúint do chatalóg, tagarmharc a rith ar na mílte cás tástála, ticéid a aicmiú ó chúlchiste sé mhí, réimsí a bhaint as baisc fháltas: sna cásanna seo go léir, tuirlingíonn an freagra ar dheais rialaithe nó i mbunachar sonraí, ní in comhéadan comhráite. Tá an mhoill dofheicthe, ach níl na coigiltis.

Tóg agus Seol Baisc

Is comhad JSONL an formáid ionchuir: líne amháin in aghaidh na hiarratais, áit arb oibiacht iomlán neamhspleách gach líne. Is é an réimse custom_id an rud a ligeann duit gach freagra a nascadh ar ais lena iarraidh bhunaidh, ós rud é nach ráthaíonn aon rud ord an chomhaid aschuir. Roghnaigh ID atá cobhsaí agus bríoch—ID doiciméid ó do bhunachar sonraí seachas uimhir atrialta—mura bhfuil, déanfaidh an chéim comhcheangail tromluí ort.

import json

requests = [
    {
        "custom_id": f"doc-{i}",
        "method": "POST",
        "url": "/v1/responses",
        "body": {
            "model": "gpt-5.6-luna",
            "input": f"Summarize this document in 3 key points: {doc}",
            "max_output_tokens": 500,
        },
    }
    for i, doc in enumerate(documents_list)
]

# Scríobh an comhad JSONL
with open("batch_input.jsonl", "w") as f:
    for request in requests:
        f.write(json.dumps(request) + "\n")

Ansin uaslódáiltear an comhad agus déantar tagairt dó agus an baisc á chruthú. Níl aon fheidhm theicniúil leis na meiteashonraí, ach sábhálfaidh siad do chraiceann nuair a bheidh trí bhaisc ag rith go comhthreomhar agus nuair a bheidh ort a fháil amach cé acu a fhreagraíonn do leagan leid áirithe.

import openai

client = openai.OpenAI()

# Uaslódáil an comhad
file_obj = client.files.create(
    file=open("batch_input.jsonl", "rb"),
    purpose="batch",
)

# Cruthaigh an baisc
batch = client.batches.create(
    input_file_id=file_obj.id,
    endpoint="/v1/responses",
    completion_window="24h",
    metadata={"project": "contract-analysis", "version": "2.1"},
)

print(f"Batch created: {batch.id}")
print(f"Status: {batch.status}")

Baineann monatóireacht le polú an bhaisc go dtí go bhfágann sé an staid “in-progress”, ansin íoslódáil an chomhaid aschuir, atá i bhformáid JSONL freisin. Déanann an lúb thíos idirdhealú idir trí thoradh críochta—failed, expired, cancelled—agus ardaíonn sí eisceacht do gach ceann: is baisc éagtha iad siúd ina raibh an fhuinneog fiche a ceathair uair an chloig caite sular próiseáladh gach rud, agus ba é an rogha is measa iad a chóireáil mar rath páirteach ciúin.

import time

def wait_for_batch(batch_id: str, interval: int = 60) -> list:
    """Fanann go gcríochnóidh baisc agus filleann na torthaí."""
    while True:
        batch = client.batches.retrieve(batch_id)
        print(
            f"Status: {batch.status} | "
            f"Completed: {batch.request_counts.completed}/"
            f"{batch.request_counts.total} | "
            f"Failed: {batch.request_counts.failed}"
        )

        if batch.status == "completed":
            break
        elif batch.status in ("failed", "expired", "cancelled"):
            raise RuntimeError(f"Batch failed: {batch.status}")

        time.sleep(interval)

    # Íoslódáil torthaí
    content = client.files.content(batch.output_file_id)
    results = []
    for line in content.text.strip().split("\n"):
        results.append(json.loads(line))

    return results


results = wait_for_batch(batch.id)

# Próiseáil torthaí
for result in results:
    custom_id = result["custom_id"]
    response = result["response"]
    if response["status_code"] == 200:
        # d'fhéadfadh eilimintí eile a bheith san aschur roimh an teachtaireacht
        # (réasúnaíocht, mar shampla): lorg téacs na teachtaireachta
        text = next(
            part["text"]
            for item in response["body"]["output"] if item["type"] == "message"
            for part in item["content"] if part["type"] == "output_text"
        )
        print(f"{custom_id}: {text[:100]}...")
    else:
        print(f"{custom_id}: ERROR {response['status_code']}")

Pleanáil do Theipeanna Páirteacha

Ar bhaisc mhóra, teipfidh ar roinnt iarratas: doiciméad gearrtha, sárú comhthéacs, nó earráid thrasánach taobh freastalaí. Mar sin, ní bhíonn baisc riamh go simplí “rathúil” nó “teipthe”—tá siad rathúil go páirteach, agus caithfidh a fhios a bheith agat conas an chuid atá in easnamh a aonrú. Is é an patrún le glacadh ná rathanna agus teipeanna a scaradh láithreach agus comhad JSONL a athghiniúint atá réidh le hathsheoladh, seachas logaí a scagadh trí lá ina dhiaidh sin chun a athchruthú cad atá ar iarraidh.

def handle_batch_errors(results: list[dict]) -> tuple[list, list]:
    """Scarann rathanna ó theipeanna le haghaidh athphróiseála."""
    successes = []
    failures = []

    for r in results:
        if r["response"]["status_code"] == 200:
            successes.append(r)
        else:
            failures.append(r)

    if failures:
        print(f"Warning: {len(failures)} failed requests out of {len(results)}")
        # Athscríobh comhad JSONL le teipeanna le haghaidh athriail
        with open("batch_retry.jsonl", "w") as f:
            for failure in failures:
                original_request = {
                    "custom_id": failure["custom_id"],
                    "method": "POST",
                    "url": "/v1/responses",
                    "body": failure["request"]["body"],
                }
                f.write(json.dumps(original_request) + "\n")

    return successes, failures

Méadaigh do Chuid Coigiltis

Ar rith próiseála deich míle doiciméad le GPT-5.6 Luna, is é an API sioncronach an costas bonnlíne, is é an Batch API leath de sin, agus cuireann taisceáil leid leis air sin toisc go mbaineann tócan taiscthe tairbhe as a laghdú féin freisin. Ní dhéanann an dá mheicníocht iomaíocht le chéile: má roinneann do dheich míle iarratas an leid córais fada céanna, struchtúraigh é mar réimír cobhsaí agus comhcheanglóidh tú an dá éifeacht.

Ar deireadh, tá an cheist faoi scoilteadh. Níor chóir go mbeadh baisc gan teorainn, agus tá sé níos compordaí monatóireacht a dhéanamh ar roinnt baisc inbhainistithe ná ar mhonailiteach amháin a chosnaíonn lá iomlán má theipeann air. Scoilteann an fheidhm seo a leanas liosta iarratas ina bhaisc de mhéid teoranta.

def create_optimized_batches(
    requests: list[dict],
    max_size: int = 50_000,
) -> list[list[dict]]:
    """Scoilteann ina bhaisc de mhéid optamach."""
    batches = []
    current_batch = []

    for request in requests:
        current_batch.append(request)
        if len(current_batch) >= max_size:
            batches.append(current_batch)
            current_batch = []

    if current_batch:
        batches.append(current_batch)

    return batches

Príomhphointí

  • Tairgeann an Batch API laghdú 50% do phróiseáil nach bhfuil i bhfíor-am
  • Ullmhaigh d’iarratais i gcomhad JSONL le custom_id uathúil in aghaidh na hiarratais
  • Pleanáil meicníocht athriail d’iarratais theipthe
  • Comhcheangail le taisceáil leid chun coigiltis a uasmhéadú