Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Výkon v produkcii

Lekcia 11 z 14 Aktualizované 29. júla 2026 Pokročilý
Na tejto strane
  1. Okrem cache: Celkový výkon
  2. Streamovanie: Úspora času bez skutočnej úspory času
  3. Výber modelu pre latenciu
  4. Spracovanie chýb bez zhoršovania situácie
  5. Časové limity a odolnosť
  6. Čo inštrumentovať
  7. Kľúčové poznatky

Okrem cache: Celkový výkon

Cache znižuje náklady, no integrácia do produkcie závisí od viac než len od faktúry: od latencie vnímanej používateľom, udržateľnej priepustnosti, spoľahlivosti voči prechodným chybám a schopnosti diagnostikovať zhoršenie výkonu. Aplikácia, ktorá stojí málo, ale odpovedá za 12 sekúnd alebo zlyhá raz z päťdesiatich pokusov, nie je výkonná. Táto lekcia pokrýva štyri dimenzie, na ktorých záleží, keď už máš pod kontrolou náklady.

Streamovanie: Úspora času bez skutočnej úspory času

Pre akékoľvek rozhranie, kde človek čaká na odpoveď, streamovanie cez SSE (Server-Sent Events) radikálne mení vnímanie. Bez neho používateľ hľadí na kurzor, kým model vygeneruje 500 tokenov; s ním sa prvé slová objavia po niekoľkých stovkách milisekúnd a čítanie začína už počas generovania. Celkový čas zostáva rovnaký, no vnímaný čas sa skracuje násobne.

import requests
import json

def appel_streaming(messages, model="grok-4.20"):
    reponse = requests.post(
        "https://api.x.ai/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": messages,
            "stream": True
        },
        stream=True
    )

    for ligne in reponse.iter_lines():
        if ligne and ligne.startswith(b"data: "):
            donnees = ligne[6:]
            if donnees == b"[DONE]":
                break
            chunk = json.loads(donnees)
            token = chunk["choices"][0]["delta"].get("content", "")
            yield token

Parameter stream: True nemení ani počet fakturovaných tokenov, ani ich sadzbu. To, čo zlepšuješ, je TTFT – time to first token (čas do prvého tokenu). Všimni si, že funkcia je generátor: odovzdáva riadenie token po tokene, čo ti umožňuje zapisovať priamo do HTTP odpovede tvojho servera bez toho, aby si musel celé generovanie uchovávať v pamäti.

Výber modelu pre latenciu

Druhým pákou pre latenciu je výber modelu, ktorý závisí najmä od úsilia potrebného na logické uvažovanie (reasoning). Model založený na uvažovaní produkuje neviditeľné tokeny úvahy skôr, než načrtne svoju odpoveď: kvalita stúpa, ale oneskorenie tiež. V extrémnych prípadoch je grok-build-0.1 najrýchlejší v katalógu, čo ho robí vhodným pre použitie v reálnom čase, ako je klasifikácia za letu alebo automatické dopĺňanie; grok-4.20-0309 vo variante bez uvažovania a grok-4.3 ponúkajú rozumný kompromis medzi kvalitou a rýchlosťou; grok-4.5 s hlbokým uvažovaním stojí na opačnom konci a je vyhradený pre úlohy, ktoré si to skutočne vyžadujú.

Praktickým dôsledkom je, že model nevyberáš pre celú aplikáciu, ale pre konkrétny krok. Bežným vzorom je mať rýchly počiatočný volanie, ktoré rozhodne – je táto požiadavka triviálna, nejednoznačná alebo zložitá? – a následne poslať do modelu s uvažovaním len tú časť prípadov, ktorá to odôvodňuje. Rozdelíš tak priemernú latenciu aj priemerné náklady bez zhoršenia náročných prípadov.

Spracovanie chýb bez zhoršovania situácie

Kód 429 pokrytý v lekcii 3 nie je jediný, s ktorým sa stretneš. Kľúčový rozdiel spočíva medzi chybami, ktoré si zaslúžia opakovanie, a tými, kde opakovanie len pridáva zbytočnú prevádzku.

KódPovahaAkcia
429 Too Many RequestsObnoviteľnáExponenciálne oneskorenie (lekcia 3)
500 Internal Server ErrorObnoviteľnáOpakovať s oneskorením; chyba je na strane servera
502 / 503 Service UnavailableObnoviteľnáOpakovať po niekoľkých sekundách
400 Bad RequestKonečnáChybne vytvorená požiadavka; oprav payload
401 UnauthorizedKonečnáNeplatný alebo expirovaný API kľúč
413 Payload Too LargeKonečnáPrompt presahuje limit kontextu

Toto pravidlo môžeš zakódovať na tri riadky a oplatí sa ho izolovať do funkcie, namiesto toho, aby si rozhadzoval príkazy if všade okolo:

def classifier_erreur(status_code):
    recuperable = {429, 500, 502, 503}
    return status_code in recuperable

Časové limity a odolnosť

Zle nastavený časový limit vytvára dva opačné problémy: ak je príliš krátky, opúšťa požiadavky, ktoré by boli úspešné; ak je príliš dlhý, blokuje tvoje workery, kým sa dĺžka frontu zväčšuje. Nastav tri limity samostatne. Pripojenie sa musí nadviazať do 10 sekúnd; nad tento limit je problémom sieť. Čítanie v režime bez streamovania sa škáluje podľa modelu: 120 sekúnd pre model s uvažovaním, 60 sekúnd pre grok-build-0.1. Pri streamovaní nie je relevantným prahom celkové trvanie, ale interval medzi chunkmi, ktorý nastav okolo 30 sekúnd.

Jeden bod si zaslúži skutočnú opatrnosť: keď časový limit vyprší počas dlhého generovania, automaticky nereštartuj. Model mohol už spotrebovať tokeny úvahy, za ktoré zaplatíš druhýkrát, a nič nezaručuje, že prvá požiadavka na strane servera neuspela. Mechanizmus idempotencie – kľúč požiadavky, ktorý si uchováš na rozpoznanie duplikátu – alebo explicitné obnovenie funguje lepšie než slepé opakovanie.

Čo inštrumentovať

Na diagnostiku väčšiny incidentov stačia štyri rodiny metrík.

MetrikaČo odhaľujeCieľ
TTFTVnímaná počiatočná latenciaMonitorovať podľa modelu
Miera úspešnostiSpoľahlivosť integrácieVäčšia ako 99,5 %
Miera cacheKvalita štruktúry promptuVäčšia ako 50 %
Náklady na požiadavkuOdchýlka rozpočtu, kĺzavý priemerStabilné v čase

Pridaj latenciu na 95. percentile. Priemer vždy maskuje extrémne prípady a práve tie spúšťajú tikety podpory: P95 na úrovni 8 sekúnd znamená, že jeden používateľ z dvadsiatich čaká 8 sekúnd, čo žiadny priemer 1,2 sekundy neodhalí.

Kľúčové poznatky

  • Streamovanie SSE znižuje vnímanú latenciu bez ovplyvnenia nákladov
  • Pre reálny čas vyber rýchly model, pre kvalitu model s uvažovaním
  • Rozlišuj obnoviteľné chyby (429, 500, 502/503) od konečných chýb (400, 401)
  • Konfiguruj časové limity vhodné pre používaný model
  • Monitoruj TTFT, mieru úspešnosti, mieru cache a priemerné náklady na požiadavku