Performanse gamyboje
Šiame puslapyje
Ne tik talpykla: bendras performansas
Talpykla mažina išlaidas, tačiau integracija gamyboje priklauso ne tik nuo sąskaitos dydžio: vartotojo suvokiama delsos trukmė, tvarus pralaidumas, patikimumas susidūrus su laikinomis klaidomis ir gebėjimas diagnozuoti veikimo pablogėjimą. Programėlė, kuri kainuoja mažai, bet atsako per 12 sekundžių arba sugenda kas 50-ąjį kartą, nėra naši. Šioje pamokoje aptarsime keturis aspektus, kurie tampa svarbūs, kai jau esi įvaldęs kaštų valdymą.
Srautinis perdavimas: laiko taupymas jo iš tikrųjų netaupant
Bet kuriai sąsajai, kurioje žmogus laukia atsakymo, SSE (Server-Sent Events) srautinis perdavimas radikaliai keičia suvokimą. Be jo vartotojas žiūri į mirksintį žymeklį, kol modelis sugeneruoja 500 tokenų; su juo pirmieji žodžiai pasirodo po kelių šimtų milisekundžių, o skaitymas prasideda dar generavimo metu. Bendras laikas lieka toks pats, tačiau suvokiama trukmė sutrumpėja kelis kartus.
import requests
import json
def appel_streaming(messages, model="grok-4.20"):
reponse = requests.post(
"https://api.x.ai/v1/chat/completions",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"model": model,
"messages": messages,
"stream": True
},
stream=True
)
for ligne in reponse.iter_lines():
if ligne and ligne.startswith(b"data: "):
donnees = ligne[6:]
if donnees == b"[DONE]":
break
chunk = json.loads(donnees)
token = chunk["choices"][0]["delta"].get("content", "")
yield token
Parametras stream: True nekeičia nei apmokestinamų tokenų skaičiaus, nei jų kainos. Tai, ką gerini, yra TTFT – laikas iki pirmojo tokeno. Atkreipk dėmesį, kad ši funkcija yra generatorius: ji po vieną perduoda valdymą kiekvienam tokenui, leisdamas rašyti tiesiai į savo serverio HTTP atsakymą nelaikant viso sugeneruoto turinio atmintyje.
Modelio pasirinkimas delsos mažinimui
Antras svertas delsos mažinimui – modelio pasirinkimas, kuris daugiausia priklauso nuo samprotavimo pastangų. Samprotavimo modelis prieš sukurdamas atsakymą sugeneruoja nematomus samprotavimo tokenus: kokybė didėja, bet didėja ir delsos laikas. Ekstremumai tokie: grok-build-0.1 yra greičiausias kataloge, todėl tinka realiuoju laiku vykdomoms užduotims, pavyzdžiui, klasifikavimui vietoje arba automatiniam užbaigimui; grok-4.20-0309 (nesamprotuojanti versija) ir grok-4.3 siūlo pagrįstą kompromisą tarp kokybės ir greičio; grok-4.5 su giliu samprotavimu yra kitoje skalės pusėje ir skirtas tik toms užduotims, kuriose jis iš tiesų būtinas.
Praktinė išvada ta, kad modelį renki ne visai programėlei, o konkrečiam jos etapui. Dažnas šablonas – atlikti greitą pradinį kvietimą, kuris nuspręs, ar užklausa triviali, dviprasmiška, ar sudėtinga, ir tik tada tą dalį atvejų, kuriems tai pateisinama, siųsti samprotavimo modeliui. Taip sumažini tiek vidutinę delsą, tiek vidutines išlaidas nepablogindamas sudėtingų atvejų apdorojimo.
Klaidų valdymas nepabloginant situacijos
429 kodas, aptartas 3-ioje pamokoje, nėra vienintelis, su kuriuo susidursi. Esminis skirtumas slypi tarp klaidų, kurias verta bandyti kartoti, ir tų, kuriose kartojimas tik be reikalo didina tinklo apkrovą.
| Kodas | Pobūdis | Veiksmas |
|---|---|---|
| 429 Too Many Requests | Atstatoma | Eksponentinis delsos didinimas (3 pamoka) |
| 500 Internal Server Error | Atstatoma | Kartoti su delsa; klaida serverio pusėje |
| 502 / 503 Service Unavailable | Atstatoma | Kartoti po kelių sekundžių |
| 400 Bad Request | Galutinė | Netaisyklinga užklausa; taisyk duomenis |
| 401 Unauthorized | Galutinė | Neteisingas arba nebegaliojantis API raktas |
| 413 Payload Too Large | Galutinė | Užklausa viršija konteksto limitą |
Šią taisyklę gali įgyvendinti trimis eilutėmis, ir verta ją išskirti į atskirą funkciją, užuot barstęs if sakinius visur:
def classifier_erreur(status_code):
recuperable = {429, 500, 502, 503}
return status_code in recuperable
Laiko limitai ir atsparumas
Neteisingai nustatytas laiko limitas sukelia dvi priešingas problemas: jei per trumpas – atsisakoma užklausų, kurios būtų pavykusios; jei per ilgas – tavo darbuotojai blokuojami, o eilė ilgėja. Nustatyk tris atskirus limitus. Ryšys turi užsimegzti per 10 sekundžių; jei ilgiau – problema tinkle. Skaitymas nesrautiniu režimu priklauso nuo modelio: 120 sekundžių samprotavimo modeliui, 60 sekundžių – grok-build-0.1. Srautiniu režimu svarbu ne bendra trukmė, o intervalas tarp fragmentų (chunk), kuris turėtų būti apie 30 sekundžių.
Vienas aspektas reikalauja ypatingo atsargumo: kai ilgai trunkančio generavimo metu baigiasi laiko limitas, automatiškai nepradėk iš naujo. Modelis galėjo jau sunaudoti samprotavimo tokenų, už kuriuos sumokėsi antrą kartą, ir niekas negarantuoja, kad pirmoji užklausa serverio pusėje nebuvo sėkminga. Idempotentiškumo mechanizmas – užklausos raktas, kurį saugai dublikatams atpažinti – arba aiškus tęsimas veikia geriau nei aklas kartojimas.
Ką stebėti
Keturių metrikų šeimų pakanka daugumai incidentų diagnozuoti.
| Metrika | Ką atskleidžia | Tikslas |
|---|---|---|
| TTFT | Suvokiama pradinė delsa | Stebėti pagal modelį |
| Sėkmės rodiklis | Integracijos patikimumas | Didesnis nei 99,5 % |
| Talpyklos rodiklis | Užklausų struktūros kokybė | Didesnis nei 50 % |
| Kaina vienai užklausai | Biudžeto nukrypimai, slenkamasis vidurkis | Laikui bėgant stabilus |
Pridėk delsos matavimą 95-ajame percentile. Vidurkis visada maskuoja ekstremalius atvejus, o būtent jie sukelia palaikymo prašymus: jei P95 yra 8 sekundės, tai reiškia, kad vienas iš 20 vartotojų laukia 8 sekundes – to joks 1,2 sekundės vidurkis neparodytų.
Svarbiausi punktai
- SSE srautinis perdavimas sumažina suvokiamą delsą nedarydamas įtakos išlaidoms
- Realiojo laiko užduotims rinkis greitą modelį, kokybei – samprotavimo modelį
- Atskirk atstatomas klaidas (429, 500, 502/503) nuo galutinių klaidų (400, 401)
- Konfigūruok laiko limitus pagal naudojamą modelį
- Stebėk TTFT, sėkmės rodiklį, talpyklos rodiklį ir vidutinę kainą vienai užklausai