Feidhmíocht sa Táirgeadh
Ar an leathanach seo
Thar an Taisce: Feidhmíocht Iomlán
Gearrann an taisce costais, ach braitheann comhtháthú táirgeachta ar níos mó ná an bille amháin: moill a mhothaíonn an t-úsáideoir, tríthreoluas inbhuanaithe, iontaofacht i gcoinne earráidí sealadacha, agus an cumas díghrádú a dhiagnóisiú. Níl feidhmíocht in aon fheidhmchlár a chosnaíonn beagán ach a fhreagraíonn i 12 soicind nó a theipeann uair as gach 50. Clúdaíonn an ceacht seo na ceithre thoise a bhfuil tábhacht leo nuair a bheidh an costas faoi do smacht agat.
Sruthú: Am a Shábháil Gan Am a Shábháil i ndáiríre
Do gach comhéadan ina bhfanann duine ar fhreagra, athraíonn sruthú SSE (Imeachtaí Seolta ón bhFreastalaí) an tuiscint go radacach. Gan é, stareálann an t-úsáideoir ar chúrsóir agus an tsamhail ag giniúint 500 token; leis, feictear na chéad fhocail tar éis cúpla céad millisoicind agus tosaíonn an léamh le linn na giniúna. Tá an t-am iomlán mar an gcéanna, ach gearrtar an t-am a mhothaítear faoi fhachtóir iliomad.
import requests
import json
def appel_streaming(messages, model="grok-4.20"):
reponse = requests.post(
"https://api.x.ai/v1/chat/completions",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"model": model,
"messages": messages,
"stream": True
},
stream=True
)
for ligne in reponse.iter_lines():
if ligne and ligne.startswith(b"data: "):
donnees = ligne[6:]
if donnees == b"[DONE]":
break
chunk = json.loads(donnees)
token = chunk["choices"][0]["delta"].get("content", "")
yield token
Ní athraíonn an paraiméadar stream: True líon na dtoken a bhilleáiltear ná a ráta. Is é an TTFT—an t-am go dtí an chéad token—an rud a fheabhsaíonn tú. Tabhair faoi deara gur gineadóir í an fheidhm: tugann sí smachas token ar token, rud a ligeann duit scríobh go díreach chuig freagra HTTP do fhreastalaí gan an ghiniúint iomlán a choinneáil sa chuimhne.
Do Shamhail a Roghnú le haghaidh Moille
Is é roghnú na samhla an dara luamhán moille, agus braitheann sé go príomha ar an iarracht réasúnaíochta. Cruthaíonn samhail réasúnaíochta tokení réasúnaíochta dofheicthe sula ndéanann sí a freagra a dhréachtú: méadaíonn an cháilíocht, ach méadaíonn an mhoill freisin. Ag na foircinn, is é grok-build-0.1 an ceann is tapúla sa chatalóg, rud a fhágann go bhfuil sé oiriúnach le húsáidí fíor-ama cosúil le haicmiú ar an eitilt nó uathchríochnú; tairgeann grok-4.20-0309 sa leagan gan réasúnaíocht agus grok-4.3 comhréir réasúnta idir cáilíocht agus luas; tá grok-4.5 le réasúnaíocht dhomhain ag an gceann eile, curtha in áirithe do thascanna a éilíonn é go fírinneach.
Is é an toradh praiticiúil ná nach roghnaíonn tú samhail d’fheidhmchlár, ach do chéim. Is gnáthphatrún é glaoch tosaigh tapa a bheith ann chun a chinneadh—an bhfuil an t-iarratas seo suarach, doiléir, nó casta?—agus ansin ní sheolann tú ach an codán de chásanna a thuilleann é chuig samhail réasúnaíochta. Roinneann tú an mheánmhoill agus an meánchostas gan cásanna deacra a dhíghrádú.
Earráidí a Láimhseáil Gan Rudaí a Dhéanamh Níos Measa
Ní hé an cód 429 a clúdaíodh i gCeacht 3 an t-aon cheann a bhuailfidh tú leis. Tá an difríocht lárnach idir earráidí a thuilleann iarracht athuair agus iad siúd nach ndéanann an t-iarracht athuair ach trácht nach gá a chur leis.
| Cód | Cineál | Gníomh |
|---|---|---|
| 429 Too Many Requests | In-aisghabhála | Cúlú easpónantúil (Ceacht 3) |
| 500 Internal Server Error | In-aisghabhála | Déan iarracht athuair le cúlú; is earráid taobh an fhreastalaí í |
| 502 / 503 Service Unavailable | In-aisghabhála | Déan iarracht athuair tar éis cúpla soicind |
| 400 Bad Request | Críochnaitheach | Iarratas míchumtha; deisigh an t-ualach |
| 401 Unauthorized | Críochnaitheach | Eochair API neamhbhailí nó as dáta |
| 413 Payload Too Large | Críochnaitheach | Sáraíonn an leid an teorainn comhthéacs |
Is féidir leat an riail seo a chódú i dtrí líne, agus fiú é a scaradh i bhfeidhm seachas ráitis if a scaipeadh i ngach áit:
def classifier_erreur(status_code):
recuperable = {429, 500, 502, 503}
return status_code in recuperable
Teorainneacha Ama agus Athléimneacht
Cruthaíonn teorainn ama a shocraítear go dona dhá fhadhb mhalartacha: ró-ghearr, agus tréigeadh sé iarratais a d’éireodh leo; ró-fhada, agus bacann sé do oibrithe agus fadaítear an ciú. Socraigh trí cinn ar leithligh. Caithfidh an nasc bunú laistigh de 10 soicind; thairis sin, is fadhb líonra í. Scálaíonn an léamh i mód neamh-shruthúcháin leis an tsamhail: 120 soicind do shamhail réasúnaíochta, 60 soicind do grok-build-0.1. I sruthú, ní hé an fad iomlán an tairseach ábhartha ach an t-eatramh idir píosaí, socraithe timpeall 30 soicind.
Is pointe é a thuilleann rabhadh fíor: nuair a théann teorainn ama in éag ar ghiniúint fhada, ná tosaigh arís go huathoibríoch. B’fhéidir go bhfuil tokení réasúnaíochta ídithe ag an tsamhail cheana féin a íocfaidh tú astu faoi dhó, agus ní ráthaíonn aon rud nár éirigh leis an gcéad iarratas ar thaobh an fhreastalaí. Oibríonn meicníocht idempotency—eochair iarratais a choinníonn tú chun dúbailt a aithint—nó athshumú sainráite níos fearr ná iarracht dall.
Cad le hIonstraimiú
Is leor ceithre fhine méadrach chun formhór na dteagmhas a dhiagnóisiú.
| Méadrach | Cad a Nochtann sé | Sprioc |
|---|---|---|
| TTFT | Moill tosaigh a mhothaítear | Monatóireacht in aghaidh na samhla |
| Ráta Rathúlachta | Iontaofacht an chomhtháthaithe | Níos mó ná 99.5% |
| Ráta Taisce | Cáilíocht struchtúr an leid | Níos mó ná 50% |
| Costas in aghaidh an Iarratais | Claonadh buiséid, meán reatha | Cobhsaí le himeacht ama |
Cuir moill ag an 95ú céatadán leis. Cuireann an meán cásanna foircneacha i bhfolach i gcónaí, agus is iad siúd a spreagann ticéid tacaíochta: ciallaíonn P95 ag 8 soicind go bhfanann úsáideoir amháin as gach 20 ar feadh 8 soicind, rud nach nochtadh meán 1.2 soicind riamh.
Príomhphointí
- Laghdaíonn sruthú SSE an mhoill a mhothaítear gan tionchar a imirt ar an gcostas
- Roghnaigh samhail thapa le haghaidh fíor-ama agus samhail réasúnaíochta le haghaidh cáilíochta
- Déan idirdhealú idir earráidí in-aisghabhála (429, 500, 502/503) agus earráidí críochnaitheacha (400, 401)
- Cumraigh teorainneacha ama atá oiriúnach don tsamhail atá in úsáid
- Déan monatóireacht ar TTFT, ráta rathúlachta, ráta taisce, agus an meánchostas in aghaidh an iarratais