Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Suorituskyky tuotantoympäristössä

Oppitunti 11 / 14 Päivitetty 29. heinäkuuta 2026 Edistynyt
Tällä sivulla
  1. Välimuistin tuolla puolen: kokonaissuorituskyky
  2. Striimaus: ajan säästäminen ilman todellista ajan säästöä
  3. Mallin valinta viiveen perusteella
  4. Virheiden käsittely tilannetta pahentamatta
  5. Aikakatkaisut ja joustavuus
  6. Mitä instrumentoida
  7. Keskeiset asiat

Välimuistin tuolla puolen: kokonaissuorituskyky

Välimuisti leikkaa kustannuksia, mutta tuotantoon vieminen ei riipu pelkästään laskusta: käyttäjän havaitsema viive, jatkuva läpimeno, luotettavuus ohimenevien virheiden edessä ja kyky diagnosoida heikkenemistä ovat yhtä tärkeitä. Sovellus, joka maksaa vähän mutta vastaa 12 sekunnissa tai epäonnistuu joka 50. kerralla, ei ole suorituskykyinen. Tämä oppitunti käsittelee neljää ulottuvuutta, jotka ratkaisevat, kun olet hallinnut kustannukset.

Striimaus: ajan säästäminen ilman todellista ajan säästöä

Missä tahansa käyttöliittymässä, jossa ihminen odottaa vastausta, SSE-pohjainen (Server-Sent Events) striimaus muuttaa kokemusta radikaalisti. Ilman sitä käyttäjä tuijottaa kohdistinta mallin generoidessa 500 tokenia; sen kanssa ensimmäiset sanat ilmestyvät muutaman sadan millisekunnin kuluttua, ja lukeminen alkaa jo generoinnin aikana. Kokonaisaika on sama, mutta koettu aika lyhenee moninkertaisesti.

import requests
import json

def appel_streaming(messages, model="grok-4.20"):
    reponse = requests.post(
        "https://api.x.ai/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": messages,
            "stream": True
        },
        stream=True
    )

    for ligne in reponse.iter_lines():
        if ligne and ligne.startswith(b"data: "):
            donnees = ligne[6:]
            if donnees == b"[DONE]":
                break
            chunk = json.loads(donnees)
            token = chunk["choices"][0]["delta"].get("content", "")
            yield token

Parametri stream: True ei muuta laskutettavien tokenien määrää eikä niiden hintaa. Parannat TTFT:tä eli aikaa ensimmäiseen tokeniin. Huomaa, että funktio on generaattori: se luovuttaa kontrollin token kerrallaan, jolloin voit kirjoittaa suoraan palvelimesi HTTP-vastaukseen pitämättä koko generointia muistissa.

Mallin valinta viiveen perusteella

Toinen viiveen vivu on mallin valinta, ja se riippuu pääasiassa päättelytyön määrästä. Päättelymalli tuottaa näkymättömiä päättelytokeneita ennen vastauksen luonnostelua: laatu paranee, mutta viive kasvaa. Ääripäissä grok-build-0.1 on luettelon nopein, joten se sopii reaaliaikaisiin käyttötarkoituksiin, kuten lentävään luokitteluun tai automaattiseen täydennykseen; grok-4.20-0309 ei-päättelyvarianttina ja grok-4.3 tarjoavat kohtuullisen kompromissin laadun ja nopeuden välillä; grok-4.5 syvällä päättelyllä on toisessa ääripäässä, varattuna tehtäviin, jotka todella vaativat sitä.

Käytännön seuraus on, ettei mallia valita sovellusta vaan vaihetta varten. Yleinen malli on tehdä nopea alkukutsu päättämään, onko pyyntö triviaali, epäselvä vai monimutkainen, ja lähettää päättelymallille vain ne tapaukset, jotka sen perustelevat. Näin jaat sekä keskimääräisen viiveen että keskimääräisen kustannuksen heikentämättä vaikeita tapauksia.

Virheiden käsittely tilannetta pahentamatta

Oppitunnissa 3 käsitelty koodi 429 ei ole ainoa, jonka kohtaat. Avainero on virheiden välillä, jotka ansaitsevat uudelleenyrityksen, ja niiden välillä, joissa uudelleenyritys vain lisää turhaa liikennettä.

KoodiLuonneToimenpide
429 Too Many RequestsPalautuvaEksponentiaalinen viivästys (oppitunti 3)
500 Internal Server ErrorPalautuvaYritä uudelleen viivästyksellä; virhe on palvelinpuolella
502 / 503 Service UnavailablePalautuvaYritä uudelleen muutaman sekunnin kuluttua
400 Bad RequestLopullinenVirheellinen pyyntö; korjaa hyötykuorma
401 UnauthorizedLopullinenVirheellinen tai vanhentunut API-avain
413 Payload Too LargeLopullinenKehote ylittää kontekstirajan

Voit koodata tämän säännön kolmella rivillä, ja se kannattaa eristää omaan funktioonsa sen sijaan, että hajottaisit if-lauseita kaikkialle:

def classifier_erreur(status_code):
    recuperable = {429, 500, 502, 503}
    return status_code in recuperable

Aikakatkaisut ja joustavuus

Huonosti asetettu aikakaisu luo kaksi vastakkaista ongelmaa: liian lyhyenä se hylkää pyynnöt, jotka olisivat onnistuneet; liian pitkänä se jumittaa työntekijäsi jonon kasvaessa. Aseta kolme erillistä rajaa. Yhteyden on muodostuttava 10 sekunnissa; tämän jälkeen ongelma on verkossa. Lukeminen ei-striimaustilassa skaalautuu mallin mukaan: 120 sekuntia päättelymallille, 60 sekuntia mallille grok-build-0.1. Striimauksessa oleellinen kynnys ei ole kokonaiskesto vaan chunkkien välinen aika, joka kannattaa asettaa noin 30 sekuntiin.

Yksi kohta vaatii erityistä varovaisuutta: kun aikakaisu umpeutuu pitkän generoinnin aikana, älä käynnistä automaattisesti uudelleen. Malli on saattanut jo kuluttaa päättelytokeneita, joista maksat toisen kerran, eikä mikään takaa, etteikö ensimmäinen pyyntö olisi onnistunut palvelinpuolella. Idempotenssimekanismi – pyyntöavain, jonka avulla tunnistat kaksoiskappaleen – tai nimenomainen jatkaminen toimii paremmin kuin sokea uudelleenyritys.

Mitä instrumentoida

Neljä mittariryhmää riittää useimpien häiriöiden diagnosointiin.

MittariMitä se paljastaaTavoite
TTFTKoettu alkuvaiheen viiveSeuraa mallikohtaisesti
OnnistumisasteIntegroinnin luotettavuusYli 99,5 %
VälimuistiosumaKehotteen rakenteen laatuYli 50 %
Kustannus pyyntöä kohdenBudjetin heilahtelu, liukuva keskiarvoVakaa ajan myötä

Lisää viive 95. persentiilissä. Keskiarvo peittää aina ääritapaukset, ja juuri ne laukaisevat tukipyynnöt: P95-arvo 8 sekuntia tarkoittaa, että yksi käyttäjä 20:stä odottaa 8 sekuntia, mitä mikään 1,2 sekunnin keskiarvo ei paljastaisi.

Keskeiset asiat

  • SSE-striimaus vähentää koettua viivettä vaikuttamatta kustannuksiin
  • Valitse nopea malli reaaliaikaisuuteen ja päättelymalli laatuun
  • Erota palautuvat virheet (429, 500, 502/503) lopullisista virheistä (400, 401)
  • Määritä käytössä olevaan malliin sopivat aikakaisut
  • Seuraa TTFT:tä, onnistumisastetta, välimuistiosumaa ja keskimääräistä kustannusta pyyntöä kohden