Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Uspešnost v produkcijskem okolju

Lekcija 11 od 14 Posodobljeno 29. julij 2026 Napredni
Na tej strani
  1. Onkraj predpomnilnika: Splošna uspešnost
  2. Pretakanje: Prihranek časa brez dejanskega prihranka časa
  3. Izbira modela glede na zakasnitev
  4. Ravnanje z napakami brez poslabšanja stanja
  5. Časovne omejitve in odpornost
  6. Kaj instrumentirati
  7. Ključne ugotovitve

Onkraj predpomnilnika: Splošna uspešnost

Predpomnilnik znižuje stroške, vendar je integracija v produkcijsko okolje odvisna od več kot le računa: zaznana zakasnitev za uporabnika, vzdržljiva prepustnost, zanesljivost ob začasnih napakah in sposobnost diagnosticiranja poslabšanj. Aplikacija, ki stane malo, a odgovori v 12 sekundah ali odpove enkrat na 50 klicev, ni uspešna. Ta lekcija pokriva štiri dimenzije, ki so pomembne, ko enkrat obvladaš stroške.

Pretakanje: Prihranek časa brez dejanskega prihranka časa

Za vsak vmesnik, kjer človek čaka na odgovor, pretakanje SSE (Server-Sent Events) korenito spremeni zaznavo. Brez njega uporabnik strmi v utripajoči kazalec, medtem ko model generira 500 žetonov; z njim se prve besede pojavijo po nekaj sto milisekundah in branje se začne med generiranjem. Skupni čas je enak, vendar se zaznani čas skrajša za večkratnik.

import requests
import json

def appel_streaming(messages, model="grok-4.20"):
    reponse = requests.post(
        "https://api.x.ai/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": messages,
            "stream": True
        },
        stream=True
    )

    for ligne in reponse.iter_lines():
        if ligne and ligne.startswith(b"data: "):
            donnees = ligne[6:]
            if donnees == b"[DONE]":
                break
            chunk = json.loads(donnees)
            token = chunk["choices"][0]["delta"].get("content", "")
            yield token

Parameter stream: True ne spremeni niti števila zaračunanih žetonov niti njihove stopnje. Izboljšaš TTFT – čas do prvega žetona (time to first token). Upoštevaj, da je funkcija generator: vrača nadzor žeton za žetonom in ti omogoča neposredno pisanje v HTTP-odgovor tvojega strežnika, ne da bi celotno generiranje hranil v pomnilniku.

Izbira modela glede na zakasnitev

Druga vzvod za zakasnitev je izbira modela, ki temelji predvsem na naporu sklepanja. Model za sklepanje proizvede nevidne žetone za sklepanje, preden sestavi odgovor: kakovost naraste, zakasnitev prav tako. Na skrajnih polih je grok-build-0.1 najhitrejši v katalogu, kar ga dela primernega za uporabo v realnem času, kot sta razvrščanje v letu ali samodejno dopolnjevanje; grok-4.20-0309 v različici brez sklepanja in grok-4.3 ponujata razumen kompromis med kakovostjo in hitrostjo; grok-4.5 z globokim sklepanjem je na drugem koncu in je rezerviran za naloge, ki to resnično zahtevajo.

Praktična posledica je, da modela ne izbiraš za celotno aplikacijo, temveč za posamezen korak. Pogost vzorec je hiter začetni klic, ki odloči – ali je ta zahtevek trivialen, dvoumen ali kompleksen? – nato pa le del primerov, ki to upravičujejo, pošlješ modelu za sklepanje. Tako zmanjšaš tako povprečno zakasnitev kot povprečni strošek, ne da bi poslabšal obravnavo težkih primerov.

Ravnanje z napakami brez poslabšanja stanja

Koda 429, obravnavana v lekciji 3, ni edina, na katero boš naletel. Ključna razlika je med napakami, ki si zaslužijo ponovni poskus, in tistimi, kjer ponovni poskus le dodaja nepotreben promet.

KodaNaravaUkrep
429 Too Many RequestsObnovljivaEksponentno zamikanje (lekcija 3)
500 Internal Server ErrorObnovljivaPonovni poskus z zamikom; napaka je na strani strežnika
502 / 503 Service UnavailableObnovljivaPonovni poskus po nekaj sekundah
400 Bad RequestKončnaNepravilno oblikovan zahtevek; popravi vsebino
401 UnauthorizedKončnaNeveljaven ali potekel ključ API
413 Payload Too LargeKončnaPoziv presega omejitev konteksta

To pravilo lahko kodiraš v treh vrsticah in vredno jo je izolirati v funkcijo, namesto da bi stavke if razpršil povsod:

def classifier_erreur(status_code):
    recuperable = {429, 500, 502, 503}
    return status_code in recuperable

Časovne omejitve in odpornost

Slabo nastavljena časovna omejitev ustvari dva nasprotna problema: če je prekratka, opusti zahtevke, ki bi bili uspešni; če je predolga, blokira tvoje delavce, medtem ko se dolžina čakalne vrste povečuje. Nastavi tri ločene omejitve. Povezava se mora vzpostaviti v 10 sekundah; dlje od tega kaže na težavo v omrežju. Branje v načinu brez pretakanja se skalira z modelom: 120 sekund za model za sklepanje, 60 sekund za grok-build-0.1. Pri pretakanju relevantni prag ni skupno trajanje, temveč interval med delčki (chunks), nastavljen na približno 30 sekund.

Ena točka zahteva posebno previdnost: ko časovna omejitev poteče pri dolgem generiranju, ne začni samodejno znova. Model je morda že porabil žetone za sklepanje, za katere boš plačal drugič, in nič ne zagotavlja, da prvi zahtevek na strani strežnika ni bil uspešen. Mehanizem idempotentnosti – ključ zahtevka, ki ga hraniš za prepoznavanje duplikata – ali eksplicitno nadaljevanje deluje bolje od slepega ponovnega poskusa.

Kaj instrumentirati

Za diagnosticiranje večine incidentov zadostujejo štiri družine metrik.

MetrikaKaj razkrivaCilj
TTFTZaznana začetna zakasnitevSpremljaj po modelu
Stopnja uspešnostiZanesljivost integracijeVeč kot 99,5 %
Stopnja predpomnenjaKakovost strukture pozivaVeč kot 50 %
Strošek na zahtevekOdstopanje proračuna, drseče povprečjeStabilno skozi čas

Dodaj še zakasnitev na 95. percentili. Povprečje vedno prikrije skrajne primere, prav ti pa sprožijo prijave podpori: P95 pri 8 sekundah pomeni, da eden od 20 uporabnikov čaka 8 sekund, česar nobeno povprečje 1,2 sekunde ne bi razkrilo.

Ključne ugotovitve

  • Pretakanje SSE zmanjša zaznano zakasnitev, ne da bi vplivalo na stroške
  • Za delovanje v realnem času izberi hiter model, za kakovost pa model za sklepanje
  • Razlikuj med obnovljivimi napakami (429, 500, 502/503) in končnimi napakami (400, 401)
  • Konfiguriraj časovne omejitve, prilagojene uporabljenemu modelu
  • Spremljaj TTFT, stopnjo uspešnosti, stopnjo predpomnenja in povprečni strošek na zahtevek