Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Výkon v produkci

Lekce 11 z 14 Aktualizováno 29. července 2026 Pokročilý
Na této stránce
  1. Za hranicemi cache: Celkový výkon
  2. Streamování: Úspora času bez skutečné úspory času
  3. Výběr modelu pro latenci
  4. Zvládání chyb bez zhoršení situace
  5. Časové limity a odolnost
  6. Co instrumentovat
  7. Klíčové poznatky

Za hranicemi cache: Celkový výkon

Cache snižuje náklady, ale nasazení do produkce závisí na více než jen na účtu: na latenci vnímané uživatelem, udržované propustnosti, spolehlivosti vůči přechodným chybám a schopnosti diagnostikovat degradaci. Aplikace, která stojí málo, ale odpovídá za 12 sekund nebo selže jednou z padesáti případů, není výkonná. Tato lekce pokrývá čtyři dimenze, na kterých záleží, jakmile zvládneš náklady.

Streamování: Úspora času bez skutečné úspory času

Pro jakékoli rozhraní, kde člověk čeká na odpověď, streamování přes SSE (Server-Sent Events) radikálně mění vnímání. Bez něj uživatel zírá na kurzor, zatímco model generuje 500 tokenů; s ním se první slova objeví po několika stovkách milisekund a čtení začíná během generování. Celkový čas je stejný, ale vnímaný čas se zkrátí několikanásobně.

import requests
import json

def appel_streaming(messages, model="grok-4.20"):
    reponse = requests.post(
        "https://api.x.ai/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": messages,
            "stream": True
        },
        stream=True
    )

    for ligne in reponse.iter_lines():
        if ligne and ligne.startswith(b"data: "):
            donnees = ligne[6:]
            if donnees == b"[DONE]":
                break
            chunk = json.loads(donnees)
            token = chunk["choices"][0]["delta"].get("content", "")
            yield token

Parametr stream: True nemění ani počet fakturovaných tokenů, ani jejich rychlost. Co zlepšuješ, je TTFT – time to first token (čas k prvnímu tokenu). Všimni si, že funkce je generátor: předává řízení token po tokenu, což ti umožňuje zapisovat přímo do HTTP odpovědi tvého serveru, aniž bys musel držet celou generaci v paměti.

Výběr modelu pro latenci

Druhou pákou pro latenci je výběr modelu, který závisí především na úsilí věnovaném usuzování. Model zaměřený na usuzování produkuje neviditelné tokeny úvahy před tím, než načrtne svou odpověď: kvalita roste, ale roste i prodleva. V extrémech je grok-build-0.1 nejrychlejší v katalogu, což jej činí vhodným pro použití v reálném čase, jako je klasifikace za běhu nebo automatické doplňování; grok-4.20-0309 ve variantě bez usuzování a grok-4.3 nabízejí rozumný kompromis mezi kvalitou a rychlostí; grok-4.5 s hlubokým usuzováním stojí na druhém konci spektra a je vyhrazen pro úkoly, které to skutečně vyžadují.

Praktickým důsledkem je, že nevybíráš model pro celou aplikaci, ale pro konkrétní krok. Běžným vzorcem je mít rychlý počáteční volání, které rozhodne – je tento požadavek triviální, nejednoznačný, nebo složitý? – a poté poslat pouze zlomek případů, které to ospravedlňují, modelu zaměřenému na usuzování. Tím rozdělíš průměrnou latenci i průměrné náklady, aniž bys zhoršil obtížné případy.

Zvládání chyb bez zhoršení situace

Kód 429 probíraný v lekci 3 není jediný, se kterým se setkáš. Klíčový rozdíl spočívá mezi chybami, které si zaslouží opakování, a těmi, kde opakování pouze přidává zbytečný provoz.

KódPovahaAkce
429 Too Many RequestsObnovitelnáExponenciální backoff (lekce 3)
500 Internal Server ErrorObnovitelnáOpakovat s backoffem; chyba je na straně serveru
502 / 503 Service UnavailableObnovitelnáOpakovat po několika sekundách
400 Bad RequestKonečnáChybně formátovaný požadavek; oprav payload
401 UnauthorizedKonečnáNeplatný nebo vypršelý API klíč
413 Payload Too LargeKonečnáPrompt překračuje limit kontextu

Toto pravidlo můžeš zakódovat na tři řádky a stojí za to jej izolovat do funkce, místo abys rozhazoval příkazy if všude kolem:

def classifier_erreur(status_code):
    recuperable = {429, 500, 502, 503}
    return status_code in recuperable

Časové limity a odolnost

Špatně nastavený časový limit vytváří dva opačné problémy: příliš krátký a opouštíš požadavky, které by uspěly; příliš dlouhý a blokuješ své pracovníky, zatímco se prodlužuje fronta. Nastav tři limity odděleně. Připojení se musí navázat do 10 sekund; nad tuto hranici je problém v síti. Čtení v režimu bez streamování se škáluje s modelem: 120 sekund pro model zaměřený na usuzování, 60 sekund pro grok-build-0.1. Při streamování není relevantním prahem celková doba trvání, ale interval mezi chunky, nastavený přibližně na 30 sekund.

Jeden bod si zaslouží skutečnou opatrnost: když vyprší časový limit u dlouhé generace, automaticky nerestartuj. Model možná již spotřeboval tokeny úvahy, za které zaplatíš podruhé, a nic nezaručuje, že první požadavek na straně serveru neuspěl. Mechanismus idempotence – klíč požadavku, který si uchováš pro rozpoznání duplikátu – nebo explicitní obnovení funguje lépe než slepé opakování.

Co instrumentovat

K diagnostice většiny incidentů stačí čtyři rodiny metrik.

MetrikaCo odhalujeCíl
TTFTVnímaná počáteční latenceSledovat podle modelu
Míra úspěšnostiSpolehlivost integraceVětší než 99,5 %
Míra cacheKvalita struktury promptuVětší než 50 %
Náklady na požadavekOdchylka rozpočtu, klouzavý průměrStabilní v čase

Přidej latenci na 95. percentilu. Průměr vždy maskuje extrémní případy a právě ty spouštějí supportní tickety: P95 na 8 sekundách znamená, že jeden uživatel z dvaceti čeká 8 sekund, což žádný průměr 1,2 sekundy neodhalí.

Klíčové poznatky

  • Streamování SSE snižuje vnímanou latenci, aniž by ovlivnilo náklady
  • Pro reálný čas zvol rychlý model, pro kvalitu model zaměřený na usuzování
  • Rozlišuj obnovitelné chyby (429, 500, 502/503) od konečných chyb (400, 401)
  • Nakonfiguruj časové limity vhodné pro používaný model
  • Sleduj TTFT, míru úspěšnosti, míru cache a průměrné náklady na požadavek