Výkon v produkcii
Na tejto strane
Okrem cache: Celkový výkon
Cache znižuje náklady, no integrácia do produkcie závisí od viac než len od faktúry: od latencie vnímanej používateľom, udržateľnej priepustnosti, spoľahlivosti voči prechodným chybám a schopnosti diagnostikovať zhoršenie výkonu. Aplikácia, ktorá stojí málo, ale odpovedá za 12 sekúnd alebo zlyhá raz z päťdesiatich pokusov, nie je výkonná. Táto lekcia pokrýva štyri dimenzie, na ktorých záleží, keď už máš pod kontrolou náklady.
Streamovanie: Úspora času bez skutočnej úspory času
Pre akékoľvek rozhranie, kde človek čaká na odpoveď, streamovanie cez SSE (Server-Sent Events) radikálne mení vnímanie. Bez neho používateľ hľadí na kurzor, kým model vygeneruje 500 tokenov; s ním sa prvé slová objavia po niekoľkých stovkách milisekúnd a čítanie začína už počas generovania. Celkový čas zostáva rovnaký, no vnímaný čas sa skracuje násobne.
import requests
import json
def appel_streaming(messages, model="grok-4.20"):
reponse = requests.post(
"https://api.x.ai/v1/chat/completions",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"model": model,
"messages": messages,
"stream": True
},
stream=True
)
for ligne in reponse.iter_lines():
if ligne and ligne.startswith(b"data: "):
donnees = ligne[6:]
if donnees == b"[DONE]":
break
chunk = json.loads(donnees)
token = chunk["choices"][0]["delta"].get("content", "")
yield token
Parameter stream: True nemení ani počet fakturovaných tokenov, ani ich sadzbu. To, čo zlepšuješ, je TTFT – time to first token (čas do prvého tokenu). Všimni si, že funkcia je generátor: odovzdáva riadenie token po tokene, čo ti umožňuje zapisovať priamo do HTTP odpovede tvojho servera bez toho, aby si musel celé generovanie uchovávať v pamäti.
Výber modelu pre latenciu
Druhým pákou pre latenciu je výber modelu, ktorý závisí najmä od úsilia potrebného na logické uvažovanie (reasoning). Model založený na uvažovaní produkuje neviditeľné tokeny úvahy skôr, než načrtne svoju odpoveď: kvalita stúpa, ale oneskorenie tiež. V extrémnych prípadoch je grok-build-0.1 najrýchlejší v katalógu, čo ho robí vhodným pre použitie v reálnom čase, ako je klasifikácia za letu alebo automatické dopĺňanie; grok-4.20-0309 vo variante bez uvažovania a grok-4.3 ponúkajú rozumný kompromis medzi kvalitou a rýchlosťou; grok-4.5 s hlbokým uvažovaním stojí na opačnom konci a je vyhradený pre úlohy, ktoré si to skutočne vyžadujú.
Praktickým dôsledkom je, že model nevyberáš pre celú aplikáciu, ale pre konkrétny krok. Bežným vzorom je mať rýchly počiatočný volanie, ktoré rozhodne – je táto požiadavka triviálna, nejednoznačná alebo zložitá? – a následne poslať do modelu s uvažovaním len tú časť prípadov, ktorá to odôvodňuje. Rozdelíš tak priemernú latenciu aj priemerné náklady bez zhoršenia náročných prípadov.
Spracovanie chýb bez zhoršovania situácie
Kód 429 pokrytý v lekcii 3 nie je jediný, s ktorým sa stretneš. Kľúčový rozdiel spočíva medzi chybami, ktoré si zaslúžia opakovanie, a tými, kde opakovanie len pridáva zbytočnú prevádzku.
| Kód | Povaha | Akcia |
|---|---|---|
| 429 Too Many Requests | Obnoviteľná | Exponenciálne oneskorenie (lekcia 3) |
| 500 Internal Server Error | Obnoviteľná | Opakovať s oneskorením; chyba je na strane servera |
| 502 / 503 Service Unavailable | Obnoviteľná | Opakovať po niekoľkých sekundách |
| 400 Bad Request | Konečná | Chybne vytvorená požiadavka; oprav payload |
| 401 Unauthorized | Konečná | Neplatný alebo expirovaný API kľúč |
| 413 Payload Too Large | Konečná | Prompt presahuje limit kontextu |
Toto pravidlo môžeš zakódovať na tri riadky a oplatí sa ho izolovať do funkcie, namiesto toho, aby si rozhadzoval príkazy if všade okolo:
def classifier_erreur(status_code):
recuperable = {429, 500, 502, 503}
return status_code in recuperable
Časové limity a odolnosť
Zle nastavený časový limit vytvára dva opačné problémy: ak je príliš krátky, opúšťa požiadavky, ktoré by boli úspešné; ak je príliš dlhý, blokuje tvoje workery, kým sa dĺžka frontu zväčšuje. Nastav tri limity samostatne. Pripojenie sa musí nadviazať do 10 sekúnd; nad tento limit je problémom sieť. Čítanie v režime bez streamovania sa škáluje podľa modelu: 120 sekúnd pre model s uvažovaním, 60 sekúnd pre grok-build-0.1. Pri streamovaní nie je relevantným prahom celkové trvanie, ale interval medzi chunkmi, ktorý nastav okolo 30 sekúnd.
Jeden bod si zaslúži skutočnú opatrnosť: keď časový limit vyprší počas dlhého generovania, automaticky nereštartuj. Model mohol už spotrebovať tokeny úvahy, za ktoré zaplatíš druhýkrát, a nič nezaručuje, že prvá požiadavka na strane servera neuspela. Mechanizmus idempotencie – kľúč požiadavky, ktorý si uchováš na rozpoznanie duplikátu – alebo explicitné obnovenie funguje lepšie než slepé opakovanie.
Čo inštrumentovať
Na diagnostiku väčšiny incidentov stačia štyri rodiny metrík.
| Metrika | Čo odhaľuje | Cieľ |
|---|---|---|
| TTFT | Vnímaná počiatočná latencia | Monitorovať podľa modelu |
| Miera úspešnosti | Spoľahlivosť integrácie | Väčšia ako 99,5 % |
| Miera cache | Kvalita štruktúry promptu | Väčšia ako 50 % |
| Náklady na požiadavku | Odchýlka rozpočtu, kĺzavý priemer | Stabilné v čase |
Pridaj latenciu na 95. percentile. Priemer vždy maskuje extrémne prípady a práve tie spúšťajú tikety podpory: P95 na úrovni 8 sekúnd znamená, že jeden používateľ z dvadsiatich čaká 8 sekúnd, čo žiadny priemer 1,2 sekundy neodhalí.
Kľúčové poznatky
- Streamovanie SSE znižuje vnímanú latenciu bez ovplyvnenia nákladov
- Pre reálny čas vyber rýchly model, pre kvalitu model s uvažovaním
- Rozlišuj obnoviteľné chyby (429, 500, 502/503) od konečných chýb (400, 401)
- Konfiguruj časové limity vhodné pre používaný model
- Monitoruj TTFT, mieru úspešnosti, mieru cache a priemerné náklady na požiadavku