Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Limiti tar-rata u l-aħjar prattiki

Lezzjoni 12 / 12 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Vincoli li trid tkun taf
  2. Limiti tar-rata
  3. Limiti tal-fajl JSONL
  4. Skadenza tal-URL
  5. L-aħjar prattiki għall-produzzjoni
  6. Lista ta’ kontroll qabel il-produzzjoni
  7. Punti Ewlenin
  8. Ittestja l-għarfien tiegħek

Aġġornat fit-2 ta’ Novembru, 2026. Ibbażat fuq id-dokumentazzjoni ta’ xAI: l-iskont tal-batch huwa 20% fuq mudelli tat-test eliġibbli, l-eżempji jsegwu l-API REST u l-xai-sdk uffiċjali (client.batch.*; l-API tal-Batch ta’ xAI ma tużax il-format ta’ OpenAI, allura l-SDK ta’ OpenAI ma japplikax), u l-API tar-Risposti għandha preċedenza fuq il-Chat Completions, li huwa endpoint antikwat f’xAI. Sorsi: Batch API · Referenza REST · Prezzijiet tal-Batch.

Vincoli li trid tkun taf

L-API tal-Batch timponi limiti tekniċi li trid tqis fl-arkitettura tiegħek. Li tinjorahom iwassal għal rifjuti, batches ikkanċellati, jew riżultati mitlufa. Din il-lezzjoni tissorvelja l-vincoli ddokumentati minn xAI u l-aħjar prattiki għall-użu fil-produzzjoni.

Limiti tar-rata

VincoluValurAmbitu
Ħolqien tal-Batch2 kull sekondaGħal kull tim
Numru ta’ batchesIllimitatGħal kull tim
Sejħiet ta’ żieda ta’ talba1,000 kull 30 sekondaTieqa li tiċċaqlaq, kondiviża bejn il-batches kollha tat-tim
Daqs tat-talba25 MBGħal kull talba individwali
Talbiet għal kull batchTeoretikament illimitatiFuq 100,000, l-ipproċessar jista’ jkun aktar bil-mod

Ħolqien tal-Batch: il-limitu ta’ 2 ħolqien kull sekonda rari huwa problema, peress li ġeneralment toħloq batch wieħed għal kull operazzjoni.

Żieda ta’ talbiet: il-limitu japplika għas-sejħiet, u kull sejħa ġġorr lista ta’ talbiet. Bi fframmentar ta’ 100 talba, dan diġà jippermetti aktar minn 3,000 talba kull sekonda.

Daqs tat-talba: il-limitu ta’ 25 MB jaffettwa l-aktar it-talbiet imtiegħba b’immaġnijiet kodifikati b’base64; talba tat-test rari taqbeż ftit kilobytes.

Min-naħa l-oħra, it-talbiet tal-batch ma jgħoddux lejn il-limiti tar-rata tal-API f’ħin reali: batch kbir ma jbattix l-applikazzjoni interattiva tiegħek.

Limiti tal-fajl JSONL

VincoluValur
Talbiet għal kull fajlMassimu 50,000
Daqs tal-fajlMassimu 200 MB
Żidiet wara l-ħolqienMhux possibbli: il-batch issiġillat

Jekk il-batch tiegħek jaqbeż dawn il-limiti, aqsmu f’diversi fajls u oħloq batch wieħed għal kull fajl; se taggrega r-riżultati wara.

Skadenza tal-URL

L-URLs iffirmati għar-riżultati tal-immaġni u l-vidjo jiskadu wara siegħa waħda. Dan huwa l-aktar vincolu kritiku li trid timmaniġġja fil-produzzjoni: il-proċess ta’ rkupru tiegħek irid inniżżel il-midja immedjatament, mingħajr intervent manwali (il-funzjoni telecharger_medias mil-lezzjoni 9). Għall-batch, immonitorja wkoll expire_time, wara liema l-ebda riżultat ma jkun aċċessibbli.

L-aħjar prattiki għall-produzzjoni

IDs deterministiċi

Idderiva l-IDs tat-talba tiegħek (batch_request_id, jew custom_id f’JSONL) mid-data tad-dħul tiegħek. Jekk ikollok bżonn terġa’ tibgħat batch, l-istess data se tipproduċi l-istess IDs, li jagħmel id-deduplikazzjoni aktar faċli:

import hashlib


def identifiant_requete(document_id: str, operation: str) -> str:
    """Generates a deterministic request ID."""
    brut = f"{document_id}:{operation}"
    return hashlib.sha256(brut.encode()).hexdigest()[:16]

Immaniġġjar ta’ fallimenti parzjali

Batch ipproċessat kompletament xorta jista’ jkun fih talbiet falluti. Dejjem iċċekkja kull riżultat:

reussies, echouees = [], []
jeton = None
while True:
    page = client.batch.list_batch_results(
        batch_id=batch_id, limit=1000, pagination_token=jeton
    )
    reussies.extend(page.succeeded)
    echouees.extend(page.failed)
    if page.pagination_token is None:
        break
    jeton = page.pagination_token

if echouees:
    print(f"{len(echouees)} failed requests to resubmit in a new batch")

Traċċar tal-ispejjeż

Kull batch iżomm traċċa tal-ispiża totali tiegħu f’ticks (għaxra biljun parti ta’ dollaru):

batch = client.batch.get(batch_id=batch_id)
print("Total cost: %.4f $" % (batch.cost_breakdown.total_cost_usd_ticks / 1e10))

Permezz tal-API REST, l-ispiża ta’ kull talba tat-test tidher fir-riżultat tagħha, fil-qasam usage.cost_in_usd_ticks.

Logs u traċċabbiltà

Irreġistra kull operazzjoni biex tkun tista’ tiddijanostika problemi:

import logging

logger = logging.getLogger("batch_api")

logger.info("Batch created: %s", batch_id)
logger.info("File uploaded: %s, %d requests", file_id, len(documents))
logger.info("Results: %d succeeded, %d failed", len(reussies), len(echouees))

Erġa’ pprova b’backoff

Għal żbalji tranżitorji (time-out, limitu tar-rata, żball tas-server), erġa’ pprova b’dewmien li jiżdied:

import time


def appel_avec_retry(fonction, max_essais=3):
    for essai in range(max_essais):
        try:
            return fonction()
        except Exception as e:
            if essai == max_essais - 1:
                raise
            attente = 2 ** essai
            print(f"Retrying in {attente} s: {e}")
            time.sleep(attente)

Lista ta’ kontroll qabel il-produzzjoni

Qabel ma tiddispjega pipeline tal-API tal-Batch fil-produzzjoni, ivverifika:

  • Il-mudell jaċċetta l-ipproċessar tal-batch, u jidher fil-lista ta’ mudelli bi skont jekk l-ispiża tkun importanti
  • L-IDs tat-talba huma uniċi u deterministiċi
  • Il-fajl JSONL huwa vvalidat qabel it-tlugħ (linja waħda invalida tikkanċella l-batch)
  • It-tniżżil tar-riżultati multimodali huwa awtomatizzat, fi żmien siegħa
  • Il-fallimenti parzjali huma skoperti u mibgħuta mill-ġdid f’batch ġdid
  • Ir-riżultati huma rkuprati qabel expire_time
  • Il-logs ikopru kull pass tal-fluss tax-xogħol
  • Iċ-ċavetta tal-API hija moqrija minn varjabbli tal-ambjent, qatt mhux imwaħħla fil-kodiċi

Punti Ewlenin

  • Limiti: 2 ħolqien kull sekonda, 1,000 sejħa ta’ żieda ta’ talba kull 30 sekonda, 25 MB għal kull talba
  • Fajls JSONL: 50,000 talba u 200 MB massimu, batch wieħed għal kull fajl
  • L-URLs tal-immaġni u l-vidjo jiskadu f’siegħa:niżżel immedjatament
  • IDs deterministiċi, kontroll ta’ kull riżultat, traċċar tal-ispejjeż f’ticks
  • Logs, erġa’ pprova b’backoff, u time-out massimu għall-produzzjoni

Ittestja l-għarfien tiegħek

Ipproċessar bil-kwantità: l-API tal-Batch mingħajr żoni griżi.

1. Meta l-API tal-Batch hija l-għażla t-tajba?

Tweġiba: Għal volumi kbar mingħajr restrizzjonijiet ta’ ħin reali: klassifikazzjoni, arrikkiment, evalwazzjonijiet, ġenerazzjoni bil-kwantità. It-talbiet tal-batch ma jgħoddux lejn il-limiti tar-rata, u l-mudelli tat-test eliġibbli jiksbu skont ta’ 20%.

2. X'inhu l-fluss tax-xogħol ta' erba' passi?

Tweġiba: Oħloq batch imsemmi, żid talbiet miegħu (permezz tal-API, jew billi toħloq il-batch minn fajl JSONL imtella’), segwi l-konters tiegħu, imbagħad irkupera r-riżultati, hekk kif jaslu jew fl-aħħar. L-ipproċessar jibda waħdu, mingħajr pass ta’ tnedija.

3. X'tista' tpoġġi f'batch?

Tweġiba: Talbiet tar-Risposti (rakkomandat) u Chat Completions (antikwat), b’għodod tas-server u sejħa ta’ funzjonijiet, kif ukoll ġenerazzjonijiet u edits ta’ immaġni u vidjo, u estensjonijiet tal-vidjo. Biss it-tokens tat-test għal mudelli eliġibbli jiksbu l-iskont.

4. Kif issegwi l-eżekuzzjoni?

Tweġiba: Permezz tal-konters tal-batch (num_pending, num_success, num_error…), l-istatus ta’ kull talba (pending, succeeded, failed, cancelled), u r-riżultati paġinati, li jisseparaw is-suċċessi mill-fallimenti. Il-batch ikun ipproċessat kompletament meta num_pending ikun żero.

5. Liema prattiki tajbin japplikaw għal-limiti?

Tweġiba: Żid it-talbiet f’frammenti, aqsam fajls kbar f’batch wieħed għal kull fajl, niżżel il-midja fi żmien siegħa, irkupera r-riżultati qabel expire_time, u erġa’ ibgħat il-fallimenti f’batch ġdid: iddisinja l-batch bħala pipeline robusta, mhux bħala sottomissjoni bil-kwantità għama.

Batches iffurmati sew, konters segwiti, fallimenti mibgħuta mill-ġdid: l-API tal-Batch ibiddel il-volum f’rutina, bl-aħjar spiża.