Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Veiktspēja ražošanas vidē

Nodarbība 11 no 14 Atjaunota 2026. gada 29. jūlijs Augstākais
Šajā lapā
  1. Pāri kešatmiņai: kopējā veiktspēja
  2. Straumēšana: laika ietaupīšana, faktiski neietaupot laiku
  3. Modeļa izvēle latentuma samazināšanai
  4. Kļūdu apstrāde, nepasliktinot situāciju
  5. Noildzes un noturība
  6. Ko instrumentēt
  7. Galvenās atziņas

Pāri kešatmiņai: kopējā veiktspēja

Kešatmiņa samazina izmaksas, taču integrācija ražošanas vidē ir atkarīga no vairāk nekā tikai rēķina: lietotāja uztvertā latentums, ilgtspējīga caurlaidspēja, uzticamība pret pārejošām kļūdām un spēja diagnosticēt pasliktināšanos. Lietotne, kas maksā maz, bet atbild 12 sekundēs vai neizdodas vienā gadījumā no 50, nav veiktspējīga. Šī nodarbība aptver četras dimensijas, kas ir svarīgas, tiklīdz esi apguvis izmaksu vadību.

Straumēšana: laika ietaupīšana, faktiski neietaupot laiku

Jebkuram saskarnes veidam, kur cilvēks gaida atbildi, SSE (Server-Sent Events) straumēšana radikāli maina uztveri. Bez tās lietotājs skatās uz kursoru, kamēr modelis ģenerē 500 tokenus; ar to pirmie vārdi parādās pēc dažām simtdaļām sekundes, un lasīšana sākas ģenerēšanas laikā. Kopējais laiks ir tāds pats, taču uztvertais laiks samazinās vairākas reizes.

import requests
import json

def appel_streaming(messages, model="grok-4.20"):
    reponse = requests.post(
        "https://api.x.ai/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": messages,
            "stream": True
        },
        stream=True
    )

    for ligne in reponse.iter_lines():
        if ligne and ligne.startswith(b"data: "):
            donnees = ligne[6:]
            if donnees == b"[DONE]":
                break
            chunk = json.loads(donnees)
            token = chunk["choices"][0]["delta"].get("content", "")
            yield token

Parametrs stream: True nemaina ne apmaksājamo tokenu skaitu, ne to ātrumu. Tu uzlabo TTFT – laiku līdz pirmajam tokenam. Ņem vērā, ka funkcija ir ģenerators: tā nodod vadību tokena pēc tokena, ļaujot rakstīt tieši servera HTTP atbildē, neglabājot visu ģenerāciju atmiņā.

Modeļa izvēle latentuma samazināšanai

Otrs latentuma sviras punkts ir modeļa izvēle, un tas galvenokārt ir atkarīgs no spriešanas piepūles. Spriešanas modelis pirms atbildes sagatavošanas rada neredzamus spriešanas tokenus: kvalitāte pieaug, bet pieaug arī aizture. Ekstrēmos gadījumos grok-build-0.1 ir ātrākais katalogā, padarot to piemērotu lietojumam reāllaikā, piemēram, klasifikācijai uzreiz vai automātiskai papildināšanai; grok-4.20-0309 nespriešanas variantā un grok-4.3 piedāvā saprātīgu kompromisu starp kvalitāti un ātrumu; grok-4.5 ar dziļu spriešanu atrodas otrā galā un ir paredzēts uzdevumiem, kuriem tas tiešām ir nepieciešams.

Praktiskas sekas ir tādas, ka tu neizvēlies modeli visai lietotnei, bet gan konkrētam solim. Izplatīts modelis ir veikt ātru sākotnēju izsaukumu, lai noteiktu – vai šis pieprasījums ir triviāls, neskaidrs vai sarežģīts? – un tad nosūtīt uz spriešanas modeli tikai to daļu gadījumu, kuri to attaisno. Tu samazini gan vidējo latentumu, gan vidējās izmaksas, nepasliktinot sarežģītos gadījumus.

Kļūdu apstrāde, nepasliktinot situāciju

429 kods, kas aplūkots 3. nodarbībā, nav vienīgais, ar ko sastapsies. Galvenā atšķirība slēpjas starp kļūdām, kuras ir vērts mēģināt atkārtot, un tām, kur atkārtošana tikai rada lieku datplūsmu.

KodsRakstursDarbība
429 Too Many RequestsAtjaunojamaEksponenciāla atkāpšanās (3. nodarbība)
500 Internal Server ErrorAtjaunojamaAtkārtot ar atkāpšanos; kļūda ir servera pusē
502 / 503 Service UnavailableAtjaunojamaAtkārtot pēc dažām sekundēm
400 Bad RequestGalīgaNepareizi noformēts pieprasījums; labo saturu
401 UnauthorizedGalīgaNederīga vai beigusies API atslēga
413 Payload Too LargeGalīgaUzvedne pārsniedz konteksta limitu

Šo noteikumu vari iekodēt trīs rindās, un ir vērts to izolēt funkcijā, nevis izkaisīt if priekšrakstus visur:

def classifier_erreur(status_code):
    recuperable = {429, 500, 502, 503}
    return status_code in recuperable

Noildzes un noturība

Slikti iestatīts noildze rada divas pretējas problēmas: ja tas ir pārāk īss, tas pārtrauc pieprasījumus, kas būtu veiksmīgi beigušies; ja pārāk garš, tas bloķē tavus strādniekus, kamēr rinda garinās. Iestati trīs atsevišķus noildzes. Savienojumam ir jāizveidojas 10 sekundēs; pārsniedzot to, problēma ir tīklā. Lasīšana nestrāumēšanas režīmā mērogojas atkarībā no modeļa: 120 sekundes spriešanas modelim, 60 sekundes priekš grok-build-0.1. Straumēšanā būtisks slieksnis nav kopējais ilgums, bet gan intervāls starp fragmentiem, kas iestatāms ap 30 sekundēm.

Viens punkts prasa īpašu piesardzību: kad noildze beidzas garas ģenerēšanas laikā, automātiski neatkārto procesu. Modelis varētu jau būt patērējis spriešanas tokenus, par kuriem maksāsi otro reizi, un nekas negarantē, ka pirmais pieprasījums servera pusē nebija veiksmīgs. Idempotences mehānisms – pieprasījuma atslēga, ko glabā, lai atpazītu dublikātu – vai skaidra atsākšana strādā labāk nekā akls atkārtojums.

Ko instrumentēt

Lai diagnosticētu lielāko daļu incidentu, pietiek ar četrām metrikas ģimenēm.

MetrikaKo tā atklājMērķis
TTFTUztvertais sākotnējais latentumsUzraudzīt pa modeļiem
Veiksmes koeficientsIntegrācijas uzticamībaLielāks par 99,5%
Kešatmiņas koeficientsUzvednes struktūras kvalitāteLielāks par 50%
Izmaksas par pieprasījumuBudžeta novirze, ritošais vidējaisLaika gaitā stabils

Pievieno latentumu 95. procentilē. Vidējais rādītājs vienmēr noslēpj ekstrēmus gadījumus, un tieši tie izraisa atbalsta pieprasījumus: P95 8 sekundes nozīmē, ka viens lietotājs no 20 gaida 8 sekundes, ko neatspoguļotu neviens 1,2 sekunžu vidējais rādītājs.

Galvenās atziņas

  • SSE straumēšana samazina uztverto latentumu, neietekmējot izmaksas
  • Izvēlies ātru modeli reāllaika lietojumam un spriešanas modeli kvalitātei
  • Nošķir atjaunojamās kļūdas (429, 500, 502/503) no galīgajām kļūdām (400, 401)
  • Konfigurē noildzes, kas pielāgotas izmantotajam modelim
  • Uzraugi TTFT, veiksmes koeficientu, kešatmiņas koeficientu un vidējās izmaksas par pieprasījumu