Veiktspēja ražošanas vidē
Šajā lapā
Pāri kešatmiņai: kopējā veiktspēja
Kešatmiņa samazina izmaksas, taču integrācija ražošanas vidē ir atkarīga no vairāk nekā tikai rēķina: lietotāja uztvertā latentums, ilgtspējīga caurlaidspēja, uzticamība pret pārejošām kļūdām un spēja diagnosticēt pasliktināšanos. Lietotne, kas maksā maz, bet atbild 12 sekundēs vai neizdodas vienā gadījumā no 50, nav veiktspējīga. Šī nodarbība aptver četras dimensijas, kas ir svarīgas, tiklīdz esi apguvis izmaksu vadību.
Straumēšana: laika ietaupīšana, faktiski neietaupot laiku
Jebkuram saskarnes veidam, kur cilvēks gaida atbildi, SSE (Server-Sent Events) straumēšana radikāli maina uztveri. Bez tās lietotājs skatās uz kursoru, kamēr modelis ģenerē 500 tokenus; ar to pirmie vārdi parādās pēc dažām simtdaļām sekundes, un lasīšana sākas ģenerēšanas laikā. Kopējais laiks ir tāds pats, taču uztvertais laiks samazinās vairākas reizes.
import requests
import json
def appel_streaming(messages, model="grok-4.20"):
reponse = requests.post(
"https://api.x.ai/v1/chat/completions",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"model": model,
"messages": messages,
"stream": True
},
stream=True
)
for ligne in reponse.iter_lines():
if ligne and ligne.startswith(b"data: "):
donnees = ligne[6:]
if donnees == b"[DONE]":
break
chunk = json.loads(donnees)
token = chunk["choices"][0]["delta"].get("content", "")
yield token
Parametrs stream: True nemaina ne apmaksājamo tokenu skaitu, ne to ātrumu. Tu uzlabo TTFT – laiku līdz pirmajam tokenam. Ņem vērā, ka funkcija ir ģenerators: tā nodod vadību tokena pēc tokena, ļaujot rakstīt tieši servera HTTP atbildē, neglabājot visu ģenerāciju atmiņā.
Modeļa izvēle latentuma samazināšanai
Otrs latentuma sviras punkts ir modeļa izvēle, un tas galvenokārt ir atkarīgs no spriešanas piepūles. Spriešanas modelis pirms atbildes sagatavošanas rada neredzamus spriešanas tokenus: kvalitāte pieaug, bet pieaug arī aizture. Ekstrēmos gadījumos grok-build-0.1 ir ātrākais katalogā, padarot to piemērotu lietojumam reāllaikā, piemēram, klasifikācijai uzreiz vai automātiskai papildināšanai; grok-4.20-0309 nespriešanas variantā un grok-4.3 piedāvā saprātīgu kompromisu starp kvalitāti un ātrumu; grok-4.5 ar dziļu spriešanu atrodas otrā galā un ir paredzēts uzdevumiem, kuriem tas tiešām ir nepieciešams.
Praktiskas sekas ir tādas, ka tu neizvēlies modeli visai lietotnei, bet gan konkrētam solim. Izplatīts modelis ir veikt ātru sākotnēju izsaukumu, lai noteiktu – vai šis pieprasījums ir triviāls, neskaidrs vai sarežģīts? – un tad nosūtīt uz spriešanas modeli tikai to daļu gadījumu, kuri to attaisno. Tu samazini gan vidējo latentumu, gan vidējās izmaksas, nepasliktinot sarežģītos gadījumus.
Kļūdu apstrāde, nepasliktinot situāciju
429 kods, kas aplūkots 3. nodarbībā, nav vienīgais, ar ko sastapsies. Galvenā atšķirība slēpjas starp kļūdām, kuras ir vērts mēģināt atkārtot, un tām, kur atkārtošana tikai rada lieku datplūsmu.
| Kods | Raksturs | Darbība |
|---|---|---|
| 429 Too Many Requests | Atjaunojama | Eksponenciāla atkāpšanās (3. nodarbība) |
| 500 Internal Server Error | Atjaunojama | Atkārtot ar atkāpšanos; kļūda ir servera pusē |
| 502 / 503 Service Unavailable | Atjaunojama | Atkārtot pēc dažām sekundēm |
| 400 Bad Request | Galīga | Nepareizi noformēts pieprasījums; labo saturu |
| 401 Unauthorized | Galīga | Nederīga vai beigusies API atslēga |
| 413 Payload Too Large | Galīga | Uzvedne pārsniedz konteksta limitu |
Šo noteikumu vari iekodēt trīs rindās, un ir vērts to izolēt funkcijā, nevis izkaisīt if priekšrakstus visur:
def classifier_erreur(status_code):
recuperable = {429, 500, 502, 503}
return status_code in recuperable
Noildzes un noturība
Slikti iestatīts noildze rada divas pretējas problēmas: ja tas ir pārāk īss, tas pārtrauc pieprasījumus, kas būtu veiksmīgi beigušies; ja pārāk garš, tas bloķē tavus strādniekus, kamēr rinda garinās. Iestati trīs atsevišķus noildzes. Savienojumam ir jāizveidojas 10 sekundēs; pārsniedzot to, problēma ir tīklā. Lasīšana nestrāumēšanas režīmā mērogojas atkarībā no modeļa: 120 sekundes spriešanas modelim, 60 sekundes priekš grok-build-0.1. Straumēšanā būtisks slieksnis nav kopējais ilgums, bet gan intervāls starp fragmentiem, kas iestatāms ap 30 sekundēm.
Viens punkts prasa īpašu piesardzību: kad noildze beidzas garas ģenerēšanas laikā, automātiski neatkārto procesu. Modelis varētu jau būt patērējis spriešanas tokenus, par kuriem maksāsi otro reizi, un nekas negarantē, ka pirmais pieprasījums servera pusē nebija veiksmīgs. Idempotences mehānisms – pieprasījuma atslēga, ko glabā, lai atpazītu dublikātu – vai skaidra atsākšana strādā labāk nekā akls atkārtojums.
Ko instrumentēt
Lai diagnosticētu lielāko daļu incidentu, pietiek ar četrām metrikas ģimenēm.
| Metrika | Ko tā atklāj | Mērķis |
|---|---|---|
| TTFT | Uztvertais sākotnējais latentums | Uzraudzīt pa modeļiem |
| Veiksmes koeficients | Integrācijas uzticamība | Lielāks par 99,5% |
| Kešatmiņas koeficients | Uzvednes struktūras kvalitāte | Lielāks par 50% |
| Izmaksas par pieprasījumu | Budžeta novirze, ritošais vidējais | Laika gaitā stabils |
Pievieno latentumu 95. procentilē. Vidējais rādītājs vienmēr noslēpj ekstrēmus gadījumus, un tieši tie izraisa atbalsta pieprasījumus: P95 8 sekundes nozīmē, ka viens lietotājs no 20 gaida 8 sekundes, ko neatspoguļotu neviens 1,2 sekunžu vidējais rādītājs.
Galvenās atziņas
- SSE straumēšana samazina uztverto latentumu, neietekmējot izmaksas
- Izvēlies ātru modeli reāllaika lietojumam un spriešanas modeli kvalitātei
- Nošķir atjaunojamās kļūdas (429, 500, 502/503) no galīgajām kļūdām (400, 401)
- Konfigurē noildzes, kas pielāgotas izmantotajam modelim
- Uzraugi TTFT, veiksmes koeficientu, kešatmiņas koeficientu un vidējās izmaksas par pieprasījumu