Uspešnost v produkcijskem okolju
Na tej strani
Onkraj predpomnilnika: Splošna uspešnost
Predpomnilnik znižuje stroške, vendar je integracija v produkcijsko okolje odvisna od več kot le računa: zaznana zakasnitev za uporabnika, vzdržljiva prepustnost, zanesljivost ob začasnih napakah in sposobnost diagnosticiranja poslabšanj. Aplikacija, ki stane malo, a odgovori v 12 sekundah ali odpove enkrat na 50 klicev, ni uspešna. Ta lekcija pokriva štiri dimenzije, ki so pomembne, ko enkrat obvladaš stroške.
Pretakanje: Prihranek časa brez dejanskega prihranka časa
Za vsak vmesnik, kjer človek čaka na odgovor, pretakanje SSE (Server-Sent Events) korenito spremeni zaznavo. Brez njega uporabnik strmi v utripajoči kazalec, medtem ko model generira 500 žetonov; z njim se prve besede pojavijo po nekaj sto milisekundah in branje se začne med generiranjem. Skupni čas je enak, vendar se zaznani čas skrajša za večkratnik.
import requests
import json
def appel_streaming(messages, model="grok-4.20"):
reponse = requests.post(
"https://api.x.ai/v1/chat/completions",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"model": model,
"messages": messages,
"stream": True
},
stream=True
)
for ligne in reponse.iter_lines():
if ligne and ligne.startswith(b"data: "):
donnees = ligne[6:]
if donnees == b"[DONE]":
break
chunk = json.loads(donnees)
token = chunk["choices"][0]["delta"].get("content", "")
yield token
Parameter stream: True ne spremeni niti števila zaračunanih žetonov niti njihove stopnje. Izboljšaš TTFT – čas do prvega žetona (time to first token). Upoštevaj, da je funkcija generator: vrača nadzor žeton za žetonom in ti omogoča neposredno pisanje v HTTP-odgovor tvojega strežnika, ne da bi celotno generiranje hranil v pomnilniku.
Izbira modela glede na zakasnitev
Druga vzvod za zakasnitev je izbira modela, ki temelji predvsem na naporu sklepanja. Model za sklepanje proizvede nevidne žetone za sklepanje, preden sestavi odgovor: kakovost naraste, zakasnitev prav tako. Na skrajnih polih je grok-build-0.1 najhitrejši v katalogu, kar ga dela primernega za uporabo v realnem času, kot sta razvrščanje v letu ali samodejno dopolnjevanje; grok-4.20-0309 v različici brez sklepanja in grok-4.3 ponujata razumen kompromis med kakovostjo in hitrostjo; grok-4.5 z globokim sklepanjem je na drugem koncu in je rezerviran za naloge, ki to resnično zahtevajo.
Praktična posledica je, da modela ne izbiraš za celotno aplikacijo, temveč za posamezen korak. Pogost vzorec je hiter začetni klic, ki odloči – ali je ta zahtevek trivialen, dvoumen ali kompleksen? – nato pa le del primerov, ki to upravičujejo, pošlješ modelu za sklepanje. Tako zmanjšaš tako povprečno zakasnitev kot povprečni strošek, ne da bi poslabšal obravnavo težkih primerov.
Ravnanje z napakami brez poslabšanja stanja
Koda 429, obravnavana v lekciji 3, ni edina, na katero boš naletel. Ključna razlika je med napakami, ki si zaslužijo ponovni poskus, in tistimi, kjer ponovni poskus le dodaja nepotreben promet.
| Koda | Narava | Ukrep |
|---|---|---|
| 429 Too Many Requests | Obnovljiva | Eksponentno zamikanje (lekcija 3) |
| 500 Internal Server Error | Obnovljiva | Ponovni poskus z zamikom; napaka je na strani strežnika |
| 502 / 503 Service Unavailable | Obnovljiva | Ponovni poskus po nekaj sekundah |
| 400 Bad Request | Končna | Nepravilno oblikovan zahtevek; popravi vsebino |
| 401 Unauthorized | Končna | Neveljaven ali potekel ključ API |
| 413 Payload Too Large | Končna | Poziv presega omejitev konteksta |
To pravilo lahko kodiraš v treh vrsticah in vredno jo je izolirati v funkcijo, namesto da bi stavke if razpršil povsod:
def classifier_erreur(status_code):
recuperable = {429, 500, 502, 503}
return status_code in recuperable
Časovne omejitve in odpornost
Slabo nastavljena časovna omejitev ustvari dva nasprotna problema: če je prekratka, opusti zahtevke, ki bi bili uspešni; če je predolga, blokira tvoje delavce, medtem ko se dolžina čakalne vrste povečuje. Nastavi tri ločene omejitve. Povezava se mora vzpostaviti v 10 sekundah; dlje od tega kaže na težavo v omrežju. Branje v načinu brez pretakanja se skalira z modelom: 120 sekund za model za sklepanje, 60 sekund za grok-build-0.1. Pri pretakanju relevantni prag ni skupno trajanje, temveč interval med delčki (chunks), nastavljen na približno 30 sekund.
Ena točka zahteva posebno previdnost: ko časovna omejitev poteče pri dolgem generiranju, ne začni samodejno znova. Model je morda že porabil žetone za sklepanje, za katere boš plačal drugič, in nič ne zagotavlja, da prvi zahtevek na strani strežnika ni bil uspešen. Mehanizem idempotentnosti – ključ zahtevka, ki ga hraniš za prepoznavanje duplikata – ali eksplicitno nadaljevanje deluje bolje od slepega ponovnega poskusa.
Kaj instrumentirati
Za diagnosticiranje večine incidentov zadostujejo štiri družine metrik.
| Metrika | Kaj razkriva | Cilj |
|---|---|---|
| TTFT | Zaznana začetna zakasnitev | Spremljaj po modelu |
| Stopnja uspešnosti | Zanesljivost integracije | Več kot 99,5 % |
| Stopnja predpomnenja | Kakovost strukture poziva | Več kot 50 % |
| Strošek na zahtevek | Odstopanje proračuna, drseče povprečje | Stabilno skozi čas |
Dodaj še zakasnitev na 95. percentili. Povprečje vedno prikrije skrajne primere, prav ti pa sprožijo prijave podpori: P95 pri 8 sekundah pomeni, da eden od 20 uporabnikov čaka 8 sekund, česar nobeno povprečje 1,2 sekunde ne bi razkrilo.
Ključne ugotovitve
- Pretakanje SSE zmanjša zaznano zakasnitev, ne da bi vplivalo na stroške
- Za delovanje v realnem času izberi hiter model, za kakovost pa model za sklepanje
- Razlikuj med obnovljivimi napakami (429, 500, 502/503) in končnimi napakami (400, 401)
- Konfiguriraj časovne omejitve, prilagojene uporabljenemu modelu
- Spremljaj TTFT, stopnjo uspešnosti, stopnjo predpomnenja in povprečni strošek na zahtevek