Úsáid a bhaint as Seafóir chun Iarrataí Comhthreomhara a Theorannú
Ar an leathanach seo
An fhadhb le comhthreomhaireacht neamhrialaithe
Is botún coitianta é gach ceann de d’iarrataí a scaoileadh amach go comhthreomhar gan aon teorainn. Má tá 200 ceist le próiseáil agat agus má sheolann tú iad go léir ag an am céanna, sáróidh tú teorainneacha ráta an API, gheobhaidh tú earráidí HTTP 429, agus d’fhéadfadh do eochair API a bheith bacaithe go sealadach.
Is é seafóir an réiteach caighdeánach chun líon na n-iarratas comhthreomhar a rialú. Is cuntair é a ligeann do uasmhéid corútíní rith go comhthreomhar.
Conas a oibríonn seafóir
Feidhmíonn asyncio.Semaphore mar ghlas cuntair. Nuair a théann corútín isteach sa bhloc async with semaphore, laghdaítear an cuntair. Nuair a fhágann sé é, méadaítear an cuntair. Má shroicheann an cuntair nialas, fanfaidh corútíní ina dhiaidh sin go dtí go mbeidh sliotán ar fáil.
import asyncio
from asyncio import Semaphore
semaphore = Semaphore(5) # uasmhéid 5 iarratas comhuaineach
async def process_request(request: str):
async with semaphore:
# Tá an chuid seo teoranta do 5 fhorghníomhú comhthreomhar
chat = client.chat.create(
model="grok-4.20-0309-reasoning",
max_tokens=100
)
chat.append(user(request))
return await chat.sample()
Sa sampla seo, fiú má sheolann tú 100 corútín le asyncio.gather, ní rithfidh ach 5 acu ag an am céanna. Fanfaidh an 95 eile lena seal.
Patrún iomlán leis an OpenAI SDK
Seo an patrún céanna ag baint úsáide as AsyncOpenAI, a fheileann go minic níos fearr maidir le comhoiriúnacht:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
async def send_request(sem: Semaphore, request: str) -> dict:
async with sem:
return await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": request}]
)
async def process_all(requests: list[str], max_concurrent: int = 5):
sem = Semaphore(max_concurrent)
tasks = [send_request(sem, r) for r in requests]
return await asyncio.gather(*tasks)
Tá an paraiméadar max_concurrent inchoigeartaithe. Socraigh é bunaithe ar do theorainneacha ráta (ceacht 7).
An luach seafóra ceart a roghnú
Ríomh an luach optamach ó do theorainneacha ráta, ach ná déan é go díreach: cuimsigh fad an iarrtais sa ríomh. Má cheadaíonn do leibhéal 60 RPM agus má thógann gach iarratas thart ar 10 soicind, cruthóidh seafóir de 5 uasmhéid 5 iarratas comhuaineach, nó thart ar 30 iarratas in aghaidh an nóiméid – faoi bhun na teorann go compordach. Cuir an réasúnaíocht seo i bhfeidhm (teorainn RPM × meánfhad ÷ 60) ar do chás féin. Míníonn sé seo cén fáth a n-éilíonn múnlaí réasúnaíochta seafóir níos ísle: tógann a n-iarrataí níos faide, mar sin ag comhthreomhaireacht chomhionann, titann an t-aschur in aghaidh an nóiméid agus méadaíonn an riosca sáithithe sealadaigh. Nuair a bheidh amhras ort, is é an cur chuige eimpíreach an ceann is sábháilte: tosaigh íseal, idir 3 agus 5, breathnaigh ar an ráta earráide 429, agus méadaigh de réir a chéile go dtí go bhfaighidh tú an chothromaíocht idir aschur agus cobhsaíocht.
Ríomh thartúil
Iarrataí in aghaidh an nóiméid = seafóir * (60 / meánfhad_soicindí)
Sampla: seafóir=5, fad=10s → 5 * (60/10) = 30 RPM
Sampla: seafóir=10, fad=5s → 10 * (60/5) = 120 RPM
Botún coitianta: seafóir domhanda vs áitiúil
# OLc: seafóir nua ar gach glao
async def bad_request(request: str):
sem = Semaphore(5) # cruthaíonn gach glao a sheafóir féin
async with sem:
return await client.chat.completions.create(...)
# MAITH: seafóir roinnte ar fud gach glao
sem = Semaphore(5)
async def good_request(request: str):
async with sem:
return await client.chat.completions.create(...)
Caithfear an seafóir a roinnt ar fud gach corútín. Má chruthaíonn tú go háitiúil é laistigh de gach feidhm, beidh seafóir ar leith ag gach corútín agus ní oibreoidh an teorainn.
Príomhphointí
- Cuireann seafóir teorainn le líon na n-iarratas API comhuaineach chun teorainneacha ráta a urramú
- Úsáid
async with semaphorechun glaoithe API a chosaint - Tosaigh le luach idir 3 agus 5 agus coigeartaigh é bunaithe ar do theorainneacha RPM
- Caithfear an seafóir a bheith roinnte (domhanda nó seachadta mar pharaiméadar), ná cruthaigh go háitiúil é riamh
- Cabhraíonn an fhoirmle
RPM = seafóir * (60 / meánfhad)leis an luach a mhéidú