Jõudlus tootmises
Sellel lehel
Vahemälust kaugemale: üldine jõudlus
Vahemälu vähendab kulusid, kuid tootmisse integreerimine ei sõltu ainult arvestusest: olulised on kasutaja tajutav latentsus, püsiv läbilaskevõime, usaldusväärsus mööduvate vigade korral ja võime diagnoosida jõudluse langust. Rakendus, mis maksab vähe, kuid vastab 12 sekundi jooksul või ebaõnnestub iga 50 katse kohta üks kord, ei ole jõudluslik. See tund käsitleb nelja mõõdet, mis loevad pärast seda, kui oled kulud kontrolli alla saanud.
Voogedastus: aja säästmine ilma tegelikku aega säästmata
Igas liideses, kus inimene ootab vastust, muudab SSE (Server-Sent Events) voogedastus tajutavat aega radikaalselt. Ilma sellega vaatab kasutaja vilkuvat kursorit, samal ajal kui mudel genereerib 500 tokenit; voogedastuse korral ilmuvad esimesed sõnad paari saja millisekundi järel ja lugemine algab juba genereerimise käigus. Koguaeg jääb samaks, kuid tajutav aeg lüheneb mitmekordselt.
import requests
import json
def appel_streaming(messages, model="grok-4.20"):
reponse = requests.post(
"https://api.x.ai/v1/chat/completions",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"model": model,
"messages": messages,
"stream": True
},
stream=True
)
for ligne in reponse.iter_lines():
if ligne and ligne.startswith(b"data: "):
donnees = ligne[6:]
if donnees == b"[DONE]":
break
chunk = json.loads(donnees)
token = chunk["choices"][0]["delta"].get("content", "")
yield token
Parameeter stream: True ei muuda ei arveldatud tokenite arvu ega nende hinda. Mida sa parandad, on TTFT ehk aeg esimese tokenini. Pane tähele, et funktsioon on generaator: see loovutab kontrolli token haaval, võimaldades sul kirjutada otse oma serveri HTTP-vastusesse, hoidmata kogu genereeringut mälus.
Mudeli valik latentsuse jaoks
Teine latentsuse hoob on mudeli valik, mis sõltub peamiselt arutluskäigu mahust. Arutlev mudel toodab enne vastuse koostamist nähtamatuid arutlustokeneid: kvaliteet kasvab, kuid ka viivitus suureneb. Äärmustes on grok-build-0.1 kataloogi kiireim, sobides reaalajas kasutuseks, nagu lennuklassifikatsioon või automaatne täiendamine; grok-4.20-0309 mitte-arutlev variant ja grok-4.3 pakuvad mõistlikku kompromissi kvaliteedi ja kiiruse vahel; grok-4.5 sügava arutluskäiguga asub teises otsas, reserveeritud ülesannetele, mis seda tõeliselt nõuavad.
Praktiline järeldus on see, et sa ei vali mudelit rakenduse, vaid sammu jaoks. Levinud muster on kasutada kiiret esmast päringut otsustamiseks – kas see päring on triviaalne, mitmetimõistetav või keeruline? – ja saata arutlevale mudelile ainult need juhtumid, mis seda õigustavad. Nii vähendad nii keskmist latentsust kui ka keskmist kulu, halvendamata keerulisi juhtumeid.
Vigade käsitlemine olukorda halvendamata
Tunnis 3 käsitletud kood 429 pole ainus, mida kohtad. Põhiline erinevus seisneb vigades, mis väärivad uuesti proovimist, ja neis, kus uuesti proovimine tekitab vaid tarbetut liiklust.
| Kood | Olemus | Tegevus |
|---|---|---|
| 429 Too Many Requests | Taastatav | Eksponentsiaalne tagasitõmbumine (Tund 3) |
| 500 Internal Server Error | Taastatav | Proovi uuesti tagasitõmbumisega; viga on serveripoolne |
| 502 / 503 Service Unavailable | Taastatav | Proovi mõne sekundi pärast uuesti |
| 400 Bad Request | Lõplik | Vigane päring; paranda kasulikku koormust |
| 401 Unauthorized | Lõplik | Vigane või aegunud API-võti |
| 413 Payload Too Large | Lõplik | Sisend ületab konteksti piiri |
Seda reeglit saad kodeerida kolme reaga ja see väärib eraldamist funktsiooni, mitte if-lauseste laialilaotamist üle koodi:
def classifier_erreur(status_code):
recuperable = {429, 500, 502, 503}
return status_code in recuperable
Aegumised ja vastupidavus
Valesti seatud aegumine tekitab kaks vastandlikku probleemi: liiga lühike katkestab päringud, mis oleksid õnnestunud; liiga pikk blokeerib töötajaid, samal ajal kui järjekord pikeneb. Määra kolm eraldi tähtaega. Ühendus peab looma 10 sekundi jooksul; pärast seda on probleem võrgus. Lugemine mitte-voogrežiimis skaalub vastavalt mudelile: 120 sekundit arutleva mudeli jaoks, 60 sekundit grok-build-0.1 jaoks. Voogedastusel ei ole asjakohane lävi mitte kogukestus, vaid intervall tükkide vahel, mis tuleks seada umbes 30 sekundile.
Üks punkt väärib erilist ettevaatust: kui pikk genereerimine aegub, ära taaskäivita seda automaatselt. Mudel võib olla juba tarbinud arutlustokeneid, mille eest maksad teist korda, ja miski ei garanteeri, et esimene päring serveris ei õnnestunud. Idempotentsusmehhanism – päringuvõti, mida hoiad dublikaadi äratundmiseks – või selge jätkamine toimib paremini kui pime uuesti proovimine.
Mida instrumenteerida
Enamiku intsidentide diagnoosimiseks piisab neljast mõõdikute perekonnast.
| Mõõdik | Mida see paljastab | Siht |
|---|---|---|
| TTFT | Tajutav algne latentsus | Jälgi mudeli lõikes |
| Õnnestumise määr | Integreerimise usaldusväärsus | Suurem kui 99,5% |
| Vahemälu määr | Sisendi struktuuri kvaliteet | Suurem kui 50% |
| Kulu päringu kohta | Eelarve kõrvalekalle, libisev keskmine | Ajas stabiilne |
Lisa latentsus 95. protsentiilil. Keskmine varjab alati äärmuslikke juhtumeid ja need on need, mis tekitavad tugipäringuid: P95 väärtus 8 sekundit tähendab, et iga 20. kasutaja ootab 8 sekundit, mida ükski 1,2-sekundiline keskmine ei paljastaks.
Peamised punktid
- SSE voogedastus vähendab tajutavat latentsust, mõjutamata kulusid
- Vali reaalajaks kiire mudel ja kvaliteedi jaoks arutlev mudel
- Tee vahet taastatavate vigade (429, 500, 502/503) ja lõplike vigade (400, 401) vahel
- Seadista kasutatavale mudelile sobivad aegumised
- Jälgi TTFT-i, õnnestumise määra, vahemälu määra ja keskmist kulu päringu kohta