Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Performanse gamyboje

Paskaita 11 iš 14 Atnaujinta 2026 m. liepos 29 d. Pažengusiems
Šiame puslapyje
  1. Ne tik talpykla: bendras performansas
  2. Srautinis perdavimas: laiko taupymas jo iš tikrųjų netaupant
  3. Modelio pasirinkimas delsos mažinimui
  4. Klaidų valdymas nepabloginant situacijos
  5. Laiko limitai ir atsparumas
  6. Ką stebėti
  7. Svarbiausi punktai

Ne tik talpykla: bendras performansas

Talpykla mažina išlaidas, tačiau integracija gamyboje priklauso ne tik nuo sąskaitos dydžio: vartotojo suvokiama delsos trukmė, tvarus pralaidumas, patikimumas susidūrus su laikinomis klaidomis ir gebėjimas diagnozuoti veikimo pablogėjimą. Programėlė, kuri kainuoja mažai, bet atsako per 12 sekundžių arba sugenda kas 50-ąjį kartą, nėra naši. Šioje pamokoje aptarsime keturis aspektus, kurie tampa svarbūs, kai jau esi įvaldęs kaštų valdymą.

Srautinis perdavimas: laiko taupymas jo iš tikrųjų netaupant

Bet kuriai sąsajai, kurioje žmogus laukia atsakymo, SSE (Server-Sent Events) srautinis perdavimas radikaliai keičia suvokimą. Be jo vartotojas žiūri į mirksintį žymeklį, kol modelis sugeneruoja 500 tokenų; su juo pirmieji žodžiai pasirodo po kelių šimtų milisekundžių, o skaitymas prasideda dar generavimo metu. Bendras laikas lieka toks pats, tačiau suvokiama trukmė sutrumpėja kelis kartus.

import requests
import json

def appel_streaming(messages, model="grok-4.20"):
    reponse = requests.post(
        "https://api.x.ai/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": messages,
            "stream": True
        },
        stream=True
    )

    for ligne in reponse.iter_lines():
        if ligne and ligne.startswith(b"data: "):
            donnees = ligne[6:]
            if donnees == b"[DONE]":
                break
            chunk = json.loads(donnees)
            token = chunk["choices"][0]["delta"].get("content", "")
            yield token

Parametras stream: True nekeičia nei apmokestinamų tokenų skaičiaus, nei jų kainos. Tai, ką gerini, yra TTFT – laikas iki pirmojo tokeno. Atkreipk dėmesį, kad ši funkcija yra generatorius: ji po vieną perduoda valdymą kiekvienam tokenui, leisdamas rašyti tiesiai į savo serverio HTTP atsakymą nelaikant viso sugeneruoto turinio atmintyje.

Modelio pasirinkimas delsos mažinimui

Antras svertas delsos mažinimui – modelio pasirinkimas, kuris daugiausia priklauso nuo samprotavimo pastangų. Samprotavimo modelis prieš sukurdamas atsakymą sugeneruoja nematomus samprotavimo tokenus: kokybė didėja, bet didėja ir delsos laikas. Ekstremumai tokie: grok-build-0.1 yra greičiausias kataloge, todėl tinka realiuoju laiku vykdomoms užduotims, pavyzdžiui, klasifikavimui vietoje arba automatiniam užbaigimui; grok-4.20-0309 (nesamprotuojanti versija) ir grok-4.3 siūlo pagrįstą kompromisą tarp kokybės ir greičio; grok-4.5 su giliu samprotavimu yra kitoje skalės pusėje ir skirtas tik toms užduotims, kuriose jis iš tiesų būtinas.

Praktinė išvada ta, kad modelį renki ne visai programėlei, o konkrečiam jos etapui. Dažnas šablonas – atlikti greitą pradinį kvietimą, kuris nuspręs, ar užklausa triviali, dviprasmiška, ar sudėtinga, ir tik tada tą dalį atvejų, kuriems tai pateisinama, siųsti samprotavimo modeliui. Taip sumažini tiek vidutinę delsą, tiek vidutines išlaidas nepablogindamas sudėtingų atvejų apdorojimo.

Klaidų valdymas nepabloginant situacijos

429 kodas, aptartas 3-ioje pamokoje, nėra vienintelis, su kuriuo susidursi. Esminis skirtumas slypi tarp klaidų, kurias verta bandyti kartoti, ir tų, kuriose kartojimas tik be reikalo didina tinklo apkrovą.

KodasPobūdisVeiksmas
429 Too Many RequestsAtstatomaEksponentinis delsos didinimas (3 pamoka)
500 Internal Server ErrorAtstatomaKartoti su delsa; klaida serverio pusėje
502 / 503 Service UnavailableAtstatomaKartoti po kelių sekundžių
400 Bad RequestGalutinėNetaisyklinga užklausa; taisyk duomenis
401 UnauthorizedGalutinėNeteisingas arba nebegaliojantis API raktas
413 Payload Too LargeGalutinėUžklausa viršija konteksto limitą

Šią taisyklę gali įgyvendinti trimis eilutėmis, ir verta ją išskirti į atskirą funkciją, užuot barstęs if sakinius visur:

def classifier_erreur(status_code):
    recuperable = {429, 500, 502, 503}
    return status_code in recuperable

Laiko limitai ir atsparumas

Neteisingai nustatytas laiko limitas sukelia dvi priešingas problemas: jei per trumpas – atsisakoma užklausų, kurios būtų pavykusios; jei per ilgas – tavo darbuotojai blokuojami, o eilė ilgėja. Nustatyk tris atskirus limitus. Ryšys turi užsimegzti per 10 sekundžių; jei ilgiau – problema tinkle. Skaitymas nesrautiniu režimu priklauso nuo modelio: 120 sekundžių samprotavimo modeliui, 60 sekundžių – grok-build-0.1. Srautiniu režimu svarbu ne bendra trukmė, o intervalas tarp fragmentų (chunk), kuris turėtų būti apie 30 sekundžių.

Vienas aspektas reikalauja ypatingo atsargumo: kai ilgai trunkančio generavimo metu baigiasi laiko limitas, automatiškai nepradėk iš naujo. Modelis galėjo jau sunaudoti samprotavimo tokenų, už kuriuos sumokėsi antrą kartą, ir niekas negarantuoja, kad pirmoji užklausa serverio pusėje nebuvo sėkminga. Idempotentiškumo mechanizmas – užklausos raktas, kurį saugai dublikatams atpažinti – arba aiškus tęsimas veikia geriau nei aklas kartojimas.

Ką stebėti

Keturių metrikų šeimų pakanka daugumai incidentų diagnozuoti.

MetrikaKą atskleidžiaTikslas
TTFTSuvokiama pradinė delsaStebėti pagal modelį
Sėkmės rodiklisIntegracijos patikimumasDidesnis nei 99,5 %
Talpyklos rodiklisUžklausų struktūros kokybėDidesnis nei 50 %
Kaina vienai užklausaiBiudžeto nukrypimai, slenkamasis vidurkisLaikui bėgant stabilus

Pridėk delsos matavimą 95-ajame percentile. Vidurkis visada maskuoja ekstremalius atvejus, o būtent jie sukelia palaikymo prašymus: jei P95 yra 8 sekundės, tai reiškia, kad vienas iš 20 vartotojų laukia 8 sekundes – to joks 1,2 sekundės vidurkis neparodytų.

Svarbiausi punktai

  • SSE srautinis perdavimas sumažina suvokiamą delsą nedarydamas įtakos išlaidoms
  • Realiojo laiko užduotims rinkis greitą modelį, kokybei – samprotavimo modelį
  • Atskirk atstatomas klaidas (429, 500, 502/503) nuo galutinių klaidų (400, 401)
  • Konfigūruok laiko limitus pagal naudojamą modelį
  • Stebėk TTFT, sėkmės rodiklį, talpyklos rodiklį ir vidutinę kainą vienai užklausai