Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Jõudlus tootmises

Õppetund 11 / 14 Värskendatud 29. juuli 2026 Edasijõudnutele
Sellel lehel
  1. Vahemälust kaugemale: üldine jõudlus
  2. Voogedastus: aja säästmine ilma tegelikku aega säästmata
  3. Mudeli valik latentsuse jaoks
  4. Vigade käsitlemine olukorda halvendamata
  5. Aegumised ja vastupidavus
  6. Mida instrumenteerida
  7. Peamised punktid

Vahemälust kaugemale: üldine jõudlus

Vahemälu vähendab kulusid, kuid tootmisse integreerimine ei sõltu ainult arvestusest: olulised on kasutaja tajutav latentsus, püsiv läbilaskevõime, usaldusväärsus mööduvate vigade korral ja võime diagnoosida jõudluse langust. Rakendus, mis maksab vähe, kuid vastab 12 sekundi jooksul või ebaõnnestub iga 50 katse kohta üks kord, ei ole jõudluslik. See tund käsitleb nelja mõõdet, mis loevad pärast seda, kui oled kulud kontrolli alla saanud.

Voogedastus: aja säästmine ilma tegelikku aega säästmata

Igas liideses, kus inimene ootab vastust, muudab SSE (Server-Sent Events) voogedastus tajutavat aega radikaalselt. Ilma sellega vaatab kasutaja vilkuvat kursorit, samal ajal kui mudel genereerib 500 tokenit; voogedastuse korral ilmuvad esimesed sõnad paari saja millisekundi järel ja lugemine algab juba genereerimise käigus. Koguaeg jääb samaks, kuid tajutav aeg lüheneb mitmekordselt.

import requests
import json

def appel_streaming(messages, model="grok-4.20"):
    reponse = requests.post(
        "https://api.x.ai/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": messages,
            "stream": True
        },
        stream=True
    )

    for ligne in reponse.iter_lines():
        if ligne and ligne.startswith(b"data: "):
            donnees = ligne[6:]
            if donnees == b"[DONE]":
                break
            chunk = json.loads(donnees)
            token = chunk["choices"][0]["delta"].get("content", "")
            yield token

Parameeter stream: True ei muuda ei arveldatud tokenite arvu ega nende hinda. Mida sa parandad, on TTFT ehk aeg esimese tokenini. Pane tähele, et funktsioon on generaator: see loovutab kontrolli token haaval, võimaldades sul kirjutada otse oma serveri HTTP-vastusesse, hoidmata kogu genereeringut mälus.

Mudeli valik latentsuse jaoks

Teine latentsuse hoob on mudeli valik, mis sõltub peamiselt arutluskäigu mahust. Arutlev mudel toodab enne vastuse koostamist nähtamatuid arutlustokeneid: kvaliteet kasvab, kuid ka viivitus suureneb. Äärmustes on grok-build-0.1 kataloogi kiireim, sobides reaalajas kasutuseks, nagu lennuklassifikatsioon või automaatne täiendamine; grok-4.20-0309 mitte-arutlev variant ja grok-4.3 pakuvad mõistlikku kompromissi kvaliteedi ja kiiruse vahel; grok-4.5 sügava arutluskäiguga asub teises otsas, reserveeritud ülesannetele, mis seda tõeliselt nõuavad.

Praktiline järeldus on see, et sa ei vali mudelit rakenduse, vaid sammu jaoks. Levinud muster on kasutada kiiret esmast päringut otsustamiseks – kas see päring on triviaalne, mitmetimõistetav või keeruline? – ja saata arutlevale mudelile ainult need juhtumid, mis seda õigustavad. Nii vähendad nii keskmist latentsust kui ka keskmist kulu, halvendamata keerulisi juhtumeid.

Vigade käsitlemine olukorda halvendamata

Tunnis 3 käsitletud kood 429 pole ainus, mida kohtad. Põhiline erinevus seisneb vigades, mis väärivad uuesti proovimist, ja neis, kus uuesti proovimine tekitab vaid tarbetut liiklust.

KoodOlemusTegevus
429 Too Many RequestsTaastatavEksponentsiaalne tagasitõmbumine (Tund 3)
500 Internal Server ErrorTaastatavProovi uuesti tagasitõmbumisega; viga on serveripoolne
502 / 503 Service UnavailableTaastatavProovi mõne sekundi pärast uuesti
400 Bad RequestLõplikVigane päring; paranda kasulikku koormust
401 UnauthorizedLõplikVigane või aegunud API-võti
413 Payload Too LargeLõplikSisend ületab konteksti piiri

Seda reeglit saad kodeerida kolme reaga ja see väärib eraldamist funktsiooni, mitte if-lauseste laialilaotamist üle koodi:

def classifier_erreur(status_code):
    recuperable = {429, 500, 502, 503}
    return status_code in recuperable

Aegumised ja vastupidavus

Valesti seatud aegumine tekitab kaks vastandlikku probleemi: liiga lühike katkestab päringud, mis oleksid õnnestunud; liiga pikk blokeerib töötajaid, samal ajal kui järjekord pikeneb. Määra kolm eraldi tähtaega. Ühendus peab looma 10 sekundi jooksul; pärast seda on probleem võrgus. Lugemine mitte-voogrežiimis skaalub vastavalt mudelile: 120 sekundit arutleva mudeli jaoks, 60 sekundit grok-build-0.1 jaoks. Voogedastusel ei ole asjakohane lävi mitte kogukestus, vaid intervall tükkide vahel, mis tuleks seada umbes 30 sekundile.

Üks punkt väärib erilist ettevaatust: kui pikk genereerimine aegub, ära taaskäivita seda automaatselt. Mudel võib olla juba tarbinud arutlustokeneid, mille eest maksad teist korda, ja miski ei garanteeri, et esimene päring serveris ei õnnestunud. Idempotentsusmehhanism – päringuvõti, mida hoiad dublikaadi äratundmiseks – või selge jätkamine toimib paremini kui pime uuesti proovimine.

Mida instrumenteerida

Enamiku intsidentide diagnoosimiseks piisab neljast mõõdikute perekonnast.

MõõdikMida see paljastabSiht
TTFTTajutav algne latentsusJälgi mudeli lõikes
Õnnestumise määrIntegreerimise usaldusväärsusSuurem kui 99,5%
Vahemälu määrSisendi struktuuri kvaliteetSuurem kui 50%
Kulu päringu kohtaEelarve kõrvalekalle, libisev keskmineAjas stabiilne

Lisa latentsus 95. protsentiilil. Keskmine varjab alati äärmuslikke juhtumeid ja need on need, mis tekitavad tugipäringuid: P95 väärtus 8 sekundit tähendab, et iga 20. kasutaja ootab 8 sekundit, mida ükski 1,2-sekundiline keskmine ei paljastaks.

Peamised punktid

  • SSE voogedastus vähendab tajutavat latentsust, mõjutamata kulusid
  • Vali reaalajaks kiire mudel ja kvaliteedi jaoks arutlev mudel
  • Tee vahet taastatavate vigade (429, 500, 502/503) ja lõplike vigade (400, 401) vahel
  • Seadista kasutatavale mudelile sobivad aegumised
  • Jälgi TTFT-i, õnnestumise määra, vahemälu määra ja keskmist kulu päringu kohta