Suorituskyky tuotantoympäristössä
Tällä sivulla
Välimuistin tuolla puolen: kokonaissuorituskyky
Välimuisti leikkaa kustannuksia, mutta tuotantoon vieminen ei riipu pelkästään laskusta: käyttäjän havaitsema viive, jatkuva läpimeno, luotettavuus ohimenevien virheiden edessä ja kyky diagnosoida heikkenemistä ovat yhtä tärkeitä. Sovellus, joka maksaa vähän mutta vastaa 12 sekunnissa tai epäonnistuu joka 50. kerralla, ei ole suorituskykyinen. Tämä oppitunti käsittelee neljää ulottuvuutta, jotka ratkaisevat, kun olet hallinnut kustannukset.
Striimaus: ajan säästäminen ilman todellista ajan säästöä
Missä tahansa käyttöliittymässä, jossa ihminen odottaa vastausta, SSE-pohjainen (Server-Sent Events) striimaus muuttaa kokemusta radikaalisti. Ilman sitä käyttäjä tuijottaa kohdistinta mallin generoidessa 500 tokenia; sen kanssa ensimmäiset sanat ilmestyvät muutaman sadan millisekunnin kuluttua, ja lukeminen alkaa jo generoinnin aikana. Kokonaisaika on sama, mutta koettu aika lyhenee moninkertaisesti.
import requests
import json
def appel_streaming(messages, model="grok-4.20"):
reponse = requests.post(
"https://api.x.ai/v1/chat/completions",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"model": model,
"messages": messages,
"stream": True
},
stream=True
)
for ligne in reponse.iter_lines():
if ligne and ligne.startswith(b"data: "):
donnees = ligne[6:]
if donnees == b"[DONE]":
break
chunk = json.loads(donnees)
token = chunk["choices"][0]["delta"].get("content", "")
yield token
Parametri stream: True ei muuta laskutettavien tokenien määrää eikä niiden hintaa. Parannat TTFT:tä eli aikaa ensimmäiseen tokeniin. Huomaa, että funktio on generaattori: se luovuttaa kontrollin token kerrallaan, jolloin voit kirjoittaa suoraan palvelimesi HTTP-vastaukseen pitämättä koko generointia muistissa.
Mallin valinta viiveen perusteella
Toinen viiveen vivu on mallin valinta, ja se riippuu pääasiassa päättelytyön määrästä. Päättelymalli tuottaa näkymättömiä päättelytokeneita ennen vastauksen luonnostelua: laatu paranee, mutta viive kasvaa. Ääripäissä grok-build-0.1 on luettelon nopein, joten se sopii reaaliaikaisiin käyttötarkoituksiin, kuten lentävään luokitteluun tai automaattiseen täydennykseen; grok-4.20-0309 ei-päättelyvarianttina ja grok-4.3 tarjoavat kohtuullisen kompromissin laadun ja nopeuden välillä; grok-4.5 syvällä päättelyllä on toisessa ääripäässä, varattuna tehtäviin, jotka todella vaativat sitä.
Käytännön seuraus on, ettei mallia valita sovellusta vaan vaihetta varten. Yleinen malli on tehdä nopea alkukutsu päättämään, onko pyyntö triviaali, epäselvä vai monimutkainen, ja lähettää päättelymallille vain ne tapaukset, jotka sen perustelevat. Näin jaat sekä keskimääräisen viiveen että keskimääräisen kustannuksen heikentämättä vaikeita tapauksia.
Virheiden käsittely tilannetta pahentamatta
Oppitunnissa 3 käsitelty koodi 429 ei ole ainoa, jonka kohtaat. Avainero on virheiden välillä, jotka ansaitsevat uudelleenyrityksen, ja niiden välillä, joissa uudelleenyritys vain lisää turhaa liikennettä.
| Koodi | Luonne | Toimenpide |
|---|---|---|
| 429 Too Many Requests | Palautuva | Eksponentiaalinen viivästys (oppitunti 3) |
| 500 Internal Server Error | Palautuva | Yritä uudelleen viivästyksellä; virhe on palvelinpuolella |
| 502 / 503 Service Unavailable | Palautuva | Yritä uudelleen muutaman sekunnin kuluttua |
| 400 Bad Request | Lopullinen | Virheellinen pyyntö; korjaa hyötykuorma |
| 401 Unauthorized | Lopullinen | Virheellinen tai vanhentunut API-avain |
| 413 Payload Too Large | Lopullinen | Kehote ylittää kontekstirajan |
Voit koodata tämän säännön kolmella rivillä, ja se kannattaa eristää omaan funktioonsa sen sijaan, että hajottaisit if-lauseita kaikkialle:
def classifier_erreur(status_code):
recuperable = {429, 500, 502, 503}
return status_code in recuperable
Aikakatkaisut ja joustavuus
Huonosti asetettu aikakaisu luo kaksi vastakkaista ongelmaa: liian lyhyenä se hylkää pyynnöt, jotka olisivat onnistuneet; liian pitkänä se jumittaa työntekijäsi jonon kasvaessa. Aseta kolme erillistä rajaa. Yhteyden on muodostuttava 10 sekunnissa; tämän jälkeen ongelma on verkossa. Lukeminen ei-striimaustilassa skaalautuu mallin mukaan: 120 sekuntia päättelymallille, 60 sekuntia mallille grok-build-0.1. Striimauksessa oleellinen kynnys ei ole kokonaiskesto vaan chunkkien välinen aika, joka kannattaa asettaa noin 30 sekuntiin.
Yksi kohta vaatii erityistä varovaisuutta: kun aikakaisu umpeutuu pitkän generoinnin aikana, älä käynnistä automaattisesti uudelleen. Malli on saattanut jo kuluttaa päättelytokeneita, joista maksat toisen kerran, eikä mikään takaa, etteikö ensimmäinen pyyntö olisi onnistunut palvelinpuolella. Idempotenssimekanismi – pyyntöavain, jonka avulla tunnistat kaksoiskappaleen – tai nimenomainen jatkaminen toimii paremmin kuin sokea uudelleenyritys.
Mitä instrumentoida
Neljä mittariryhmää riittää useimpien häiriöiden diagnosointiin.
| Mittari | Mitä se paljastaa | Tavoite |
|---|---|---|
| TTFT | Koettu alkuvaiheen viive | Seuraa mallikohtaisesti |
| Onnistumisaste | Integroinnin luotettavuus | Yli 99,5 % |
| Välimuistiosuma | Kehotteen rakenteen laatu | Yli 50 % |
| Kustannus pyyntöä kohden | Budjetin heilahtelu, liukuva keskiarvo | Vakaa ajan myötä |
Lisää viive 95. persentiilissä. Keskiarvo peittää aina ääritapaukset, ja juuri ne laukaisevat tukipyynnöt: P95-arvo 8 sekuntia tarkoittaa, että yksi käyttäjä 20:stä odottaa 8 sekuntia, mitä mikään 1,2 sekunnin keskiarvo ei paljastaisi.
Keskeiset asiat
- SSE-striimaus vähentää koettua viivettä vaikuttamatta kustannuksiin
- Valitse nopea malli reaaliaikaisuuteen ja päättelymalli laatuun
- Erota palautuvat virheet (429, 500, 502/503) lopullisista virheistä (400, 401)
- Määritä käytössä olevaan malliin sopivat aikakaisut
- Seuraa TTFT:tä, onnistumisastetta, välimuistiosumaa ja keskimääräistä kustannusta pyyntöä kohden