Výkon v produkci
Na této stránce
Za hranicemi cache: Celkový výkon
Cache snižuje náklady, ale nasazení do produkce závisí na více než jen na účtu: na latenci vnímané uživatelem, udržované propustnosti, spolehlivosti vůči přechodným chybám a schopnosti diagnostikovat degradaci. Aplikace, která stojí málo, ale odpovídá za 12 sekund nebo selže jednou z padesáti případů, není výkonná. Tato lekce pokrývá čtyři dimenze, na kterých záleží, jakmile zvládneš náklady.
Streamování: Úspora času bez skutečné úspory času
Pro jakékoli rozhraní, kde člověk čeká na odpověď, streamování přes SSE (Server-Sent Events) radikálně mění vnímání. Bez něj uživatel zírá na kurzor, zatímco model generuje 500 tokenů; s ním se první slova objeví po několika stovkách milisekund a čtení začíná během generování. Celkový čas je stejný, ale vnímaný čas se zkrátí několikanásobně.
import requests
import json
def appel_streaming(messages, model="grok-4.20"):
reponse = requests.post(
"https://api.x.ai/v1/chat/completions",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"model": model,
"messages": messages,
"stream": True
},
stream=True
)
for ligne in reponse.iter_lines():
if ligne and ligne.startswith(b"data: "):
donnees = ligne[6:]
if donnees == b"[DONE]":
break
chunk = json.loads(donnees)
token = chunk["choices"][0]["delta"].get("content", "")
yield token
Parametr stream: True nemění ani počet fakturovaných tokenů, ani jejich rychlost. Co zlepšuješ, je TTFT – time to first token (čas k prvnímu tokenu). Všimni si, že funkce je generátor: předává řízení token po tokenu, což ti umožňuje zapisovat přímo do HTTP odpovědi tvého serveru, aniž bys musel držet celou generaci v paměti.
Výběr modelu pro latenci
Druhou pákou pro latenci je výběr modelu, který závisí především na úsilí věnovaném usuzování. Model zaměřený na usuzování produkuje neviditelné tokeny úvahy před tím, než načrtne svou odpověď: kvalita roste, ale roste i prodleva. V extrémech je grok-build-0.1 nejrychlejší v katalogu, což jej činí vhodným pro použití v reálném čase, jako je klasifikace za běhu nebo automatické doplňování; grok-4.20-0309 ve variantě bez usuzování a grok-4.3 nabízejí rozumný kompromis mezi kvalitou a rychlostí; grok-4.5 s hlubokým usuzováním stojí na druhém konci spektra a je vyhrazen pro úkoly, které to skutečně vyžadují.
Praktickým důsledkem je, že nevybíráš model pro celou aplikaci, ale pro konkrétní krok. Běžným vzorcem je mít rychlý počáteční volání, které rozhodne – je tento požadavek triviální, nejednoznačný, nebo složitý? – a poté poslat pouze zlomek případů, které to ospravedlňují, modelu zaměřenému na usuzování. Tím rozdělíš průměrnou latenci i průměrné náklady, aniž bys zhoršil obtížné případy.
Zvládání chyb bez zhoršení situace
Kód 429 probíraný v lekci 3 není jediný, se kterým se setkáš. Klíčový rozdíl spočívá mezi chybami, které si zaslouží opakování, a těmi, kde opakování pouze přidává zbytečný provoz.
| Kód | Povaha | Akce |
|---|---|---|
| 429 Too Many Requests | Obnovitelná | Exponenciální backoff (lekce 3) |
| 500 Internal Server Error | Obnovitelná | Opakovat s backoffem; chyba je na straně serveru |
| 502 / 503 Service Unavailable | Obnovitelná | Opakovat po několika sekundách |
| 400 Bad Request | Konečná | Chybně formátovaný požadavek; oprav payload |
| 401 Unauthorized | Konečná | Neplatný nebo vypršelý API klíč |
| 413 Payload Too Large | Konečná | Prompt překračuje limit kontextu |
Toto pravidlo můžeš zakódovat na tři řádky a stojí za to jej izolovat do funkce, místo abys rozhazoval příkazy if všude kolem:
def classifier_erreur(status_code):
recuperable = {429, 500, 502, 503}
return status_code in recuperable
Časové limity a odolnost
Špatně nastavený časový limit vytváří dva opačné problémy: příliš krátký a opouštíš požadavky, které by uspěly; příliš dlouhý a blokuješ své pracovníky, zatímco se prodlužuje fronta. Nastav tři limity odděleně. Připojení se musí navázat do 10 sekund; nad tuto hranici je problém v síti. Čtení v režimu bez streamování se škáluje s modelem: 120 sekund pro model zaměřený na usuzování, 60 sekund pro grok-build-0.1. Při streamování není relevantním prahem celková doba trvání, ale interval mezi chunky, nastavený přibližně na 30 sekund.
Jeden bod si zaslouží skutečnou opatrnost: když vyprší časový limit u dlouhé generace, automaticky nerestartuj. Model možná již spotřeboval tokeny úvahy, za které zaplatíš podruhé, a nic nezaručuje, že první požadavek na straně serveru neuspěl. Mechanismus idempotence – klíč požadavku, který si uchováš pro rozpoznání duplikátu – nebo explicitní obnovení funguje lépe než slepé opakování.
Co instrumentovat
K diagnostice většiny incidentů stačí čtyři rodiny metrik.
| Metrika | Co odhaluje | Cíl |
|---|---|---|
| TTFT | Vnímaná počáteční latence | Sledovat podle modelu |
| Míra úspěšnosti | Spolehlivost integrace | Větší než 99,5 % |
| Míra cache | Kvalita struktury promptu | Větší než 50 % |
| Náklady na požadavek | Odchylka rozpočtu, klouzavý průměr | Stabilní v čase |
Přidej latenci na 95. percentilu. Průměr vždy maskuje extrémní případy a právě ty spouštějí supportní tickety: P95 na 8 sekundách znamená, že jeden uživatel z dvaceti čeká 8 sekund, což žádný průměr 1,2 sekundy neodhalí.
Klíčové poznatky
- Streamování SSE snižuje vnímanou latenci, aniž by ovlivnilo náklady
- Pro reálný čas zvol rychlý model, pro kvalitu model zaměřený na usuzování
- Rozlišuj obnovitelné chyby (429, 500, 502/503) od konečných chyb (400, 401)
- Nakonfiguruj časové limity vhodné pro používaný model
- Sleduj TTFT, míru úspěšnosti, míru cache a průměrné náklady na požadavek