Limiti tar-rata u l-aħjar prattiki
F'din il-paġna
Aġġornat fit-2 ta’ Novembru, 2026. Ibbażat fuq id-dokumentazzjoni ta’ xAI: l-iskont tal-batch huwa 20% fuq mudelli tat-test eliġibbli, l-eżempji jsegwu l-API REST u l-
xai-sdkuffiċjali (client.batch.*; l-API tal-Batch ta’ xAI ma tużax il-format ta’ OpenAI, allura l-SDK ta’ OpenAI ma japplikax), u l-API tar-Risposti għandha preċedenza fuq il-Chat Completions, li huwa endpoint antikwat f’xAI. Sorsi: Batch API · Referenza REST · Prezzijiet tal-Batch.
Vincoli li trid tkun taf
L-API tal-Batch timponi limiti tekniċi li trid tqis fl-arkitettura tiegħek. Li tinjorahom iwassal għal rifjuti, batches ikkanċellati, jew riżultati mitlufa. Din il-lezzjoni tissorvelja l-vincoli ddokumentati minn xAI u l-aħjar prattiki għall-użu fil-produzzjoni.
Limiti tar-rata
| Vincolu | Valur | Ambitu |
|---|---|---|
| Ħolqien tal-Batch | 2 kull sekonda | Għal kull tim |
| Numru ta’ batches | Illimitat | Għal kull tim |
| Sejħiet ta’ żieda ta’ talba | 1,000 kull 30 sekonda | Tieqa li tiċċaqlaq, kondiviża bejn il-batches kollha tat-tim |
| Daqs tat-talba | 25 MB | Għal kull talba individwali |
| Talbiet għal kull batch | Teoretikament illimitati | Fuq 100,000, l-ipproċessar jista’ jkun aktar bil-mod |
Ħolqien tal-Batch: il-limitu ta’ 2 ħolqien kull sekonda rari huwa problema, peress li ġeneralment toħloq batch wieħed għal kull operazzjoni.
Żieda ta’ talbiet: il-limitu japplika għas-sejħiet, u kull sejħa ġġorr lista ta’ talbiet. Bi fframmentar ta’ 100 talba, dan diġà jippermetti aktar minn 3,000 talba kull sekonda.
Daqs tat-talba: il-limitu ta’ 25 MB jaffettwa l-aktar it-talbiet imtiegħba b’immaġnijiet kodifikati b’base64; talba tat-test rari taqbeż ftit kilobytes.
Min-naħa l-oħra, it-talbiet tal-batch ma jgħoddux lejn il-limiti tar-rata tal-API f’ħin reali: batch kbir ma jbattix l-applikazzjoni interattiva tiegħek.
Limiti tal-fajl JSONL
| Vincolu | Valur |
|---|---|
| Talbiet għal kull fajl | Massimu 50,000 |
| Daqs tal-fajl | Massimu 200 MB |
| Żidiet wara l-ħolqien | Mhux possibbli: il-batch issiġillat |
Jekk il-batch tiegħek jaqbeż dawn il-limiti, aqsmu f’diversi fajls u oħloq batch wieħed għal kull fajl; se taggrega r-riżultati wara.
Skadenza tal-URL
L-URLs iffirmati għar-riżultati tal-immaġni u l-vidjo jiskadu wara siegħa waħda. Dan huwa l-aktar vincolu kritiku li trid timmaniġġja fil-produzzjoni: il-proċess ta’ rkupru tiegħek irid inniżżel il-midja immedjatament, mingħajr intervent manwali (il-funzjoni telecharger_medias mil-lezzjoni 9). Għall-batch, immonitorja wkoll expire_time, wara liema l-ebda riżultat ma jkun aċċessibbli.
L-aħjar prattiki għall-produzzjoni
IDs deterministiċi
Idderiva l-IDs tat-talba tiegħek (batch_request_id, jew custom_id f’JSONL) mid-data tad-dħul tiegħek. Jekk ikollok bżonn terġa’ tibgħat batch, l-istess data se tipproduċi l-istess IDs, li jagħmel id-deduplikazzjoni aktar faċli:
import hashlib
def identifiant_requete(document_id: str, operation: str) -> str:
"""Generates a deterministic request ID."""
brut = f"{document_id}:{operation}"
return hashlib.sha256(brut.encode()).hexdigest()[:16]
Immaniġġjar ta’ fallimenti parzjali
Batch ipproċessat kompletament xorta jista’ jkun fih talbiet falluti. Dejjem iċċekkja kull riżultat:
reussies, echouees = [], []
jeton = None
while True:
page = client.batch.list_batch_results(
batch_id=batch_id, limit=1000, pagination_token=jeton
)
reussies.extend(page.succeeded)
echouees.extend(page.failed)
if page.pagination_token is None:
break
jeton = page.pagination_token
if echouees:
print(f"{len(echouees)} failed requests to resubmit in a new batch")
Traċċar tal-ispejjeż
Kull batch iżomm traċċa tal-ispiża totali tiegħu f’ticks (għaxra biljun parti ta’ dollaru):
batch = client.batch.get(batch_id=batch_id)
print("Total cost: %.4f $" % (batch.cost_breakdown.total_cost_usd_ticks / 1e10))
Permezz tal-API REST, l-ispiża ta’ kull talba tat-test tidher fir-riżultat tagħha, fil-qasam usage.cost_in_usd_ticks.
Logs u traċċabbiltà
Irreġistra kull operazzjoni biex tkun tista’ tiddijanostika problemi:
import logging
logger = logging.getLogger("batch_api")
logger.info("Batch created: %s", batch_id)
logger.info("File uploaded: %s, %d requests", file_id, len(documents))
logger.info("Results: %d succeeded, %d failed", len(reussies), len(echouees))
Erġa’ pprova b’backoff
Għal żbalji tranżitorji (time-out, limitu tar-rata, żball tas-server), erġa’ pprova b’dewmien li jiżdied:
import time
def appel_avec_retry(fonction, max_essais=3):
for essai in range(max_essais):
try:
return fonction()
except Exception as e:
if essai == max_essais - 1:
raise
attente = 2 ** essai
print(f"Retrying in {attente} s: {e}")
time.sleep(attente)
Lista ta’ kontroll qabel il-produzzjoni
Qabel ma tiddispjega pipeline tal-API tal-Batch fil-produzzjoni, ivverifika:
- Il-mudell jaċċetta l-ipproċessar tal-batch, u jidher fil-lista ta’ mudelli bi skont jekk l-ispiża tkun importanti
- L-IDs tat-talba huma uniċi u deterministiċi
- Il-fajl JSONL huwa vvalidat qabel it-tlugħ (linja waħda invalida tikkanċella l-batch)
- It-tniżżil tar-riżultati multimodali huwa awtomatizzat, fi żmien siegħa
- Il-fallimenti parzjali huma skoperti u mibgħuta mill-ġdid f’batch ġdid
- Ir-riżultati huma rkuprati qabel
expire_time - Il-logs ikopru kull pass tal-fluss tax-xogħol
- Iċ-ċavetta tal-API hija moqrija minn varjabbli tal-ambjent, qatt mhux imwaħħla fil-kodiċi
Punti Ewlenin
- Limiti: 2 ħolqien kull sekonda, 1,000 sejħa ta’ żieda ta’ talba kull 30 sekonda, 25 MB għal kull talba
- Fajls JSONL: 50,000 talba u 200 MB massimu, batch wieħed għal kull fajl
- L-URLs tal-immaġni u l-vidjo jiskadu f’siegħa:niżżel immedjatament
- IDs deterministiċi, kontroll ta’ kull riżultat, traċċar tal-ispejjeż f’ticks
- Logs, erġa’ pprova b’backoff, u time-out massimu għall-produzzjoni
Ittestja l-għarfien tiegħek
Ipproċessar bil-kwantità: l-API tal-Batch mingħajr żoni griżi.
1. Meta l-API tal-Batch hija l-għażla t-tajba?
Tweġiba: Għal volumi kbar mingħajr restrizzjonijiet ta’ ħin reali: klassifikazzjoni, arrikkiment, evalwazzjonijiet, ġenerazzjoni bil-kwantità. It-talbiet tal-batch ma jgħoddux lejn il-limiti tar-rata, u l-mudelli tat-test eliġibbli jiksbu skont ta’ 20%.
2. X'inhu l-fluss tax-xogħol ta' erba' passi?
Tweġiba: Oħloq batch imsemmi, żid talbiet miegħu (permezz tal-API, jew billi toħloq il-batch minn fajl JSONL imtella’), segwi l-konters tiegħu, imbagħad irkupera r-riżultati, hekk kif jaslu jew fl-aħħar. L-ipproċessar jibda waħdu, mingħajr pass ta’ tnedija.
3. X'tista' tpoġġi f'batch?
Tweġiba: Talbiet tar-Risposti (rakkomandat) u Chat Completions (antikwat), b’għodod tas-server u sejħa ta’ funzjonijiet, kif ukoll ġenerazzjonijiet u edits ta’ immaġni u vidjo, u estensjonijiet tal-vidjo. Biss it-tokens tat-test għal mudelli eliġibbli jiksbu l-iskont.
4. Kif issegwi l-eżekuzzjoni?
Tweġiba: Permezz tal-konters tal-batch (num_pending, num_success, num_error…), l-istatus ta’ kull talba (pending, succeeded, failed, cancelled), u r-riżultati paġinati, li jisseparaw is-suċċessi mill-fallimenti. Il-batch ikun ipproċessat kompletament meta num_pending ikun żero.
5. Liema prattiki tajbin japplikaw għal-limiti?
Tweġiba: Żid it-talbiet f’frammenti, aqsam fajls kbar f’batch wieħed għal kull fajl, niżżel il-midja fi żmien siegħa, irkupera r-riżultati qabel expire_time, u erġa’ ibgħat il-fallimenti f’batch ġdid: iddisinja l-batch bħala pipeline robusta, mhux bħala sottomissjoni bil-kwantità għama.
Batches iffurmati sew, konters segwiti, fallimenti mibgħuta mill-ġdid: l-API tal-Batch ibiddel il-volum f’rutina, bl-aħjar spiża.