Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Optimalizácia od konca ku koncu: od promptu po sieť

Lekcia 2 z 20 Aktualizované 3. novembra 2026 Pokročilý
Na tejto strane
  1. Optimalizácia je systém, nie parameter
  2. Optimalizuj prompt
  3. Optimalizuj parametre API
  4. Optimalizuj sieť
  5. Optimalizuj postspracovanie
  6. Kľúčové poznatky

Lekcia aktualizovaná 3. novembra 2026 na základe dokumentácie OpenAI: parametre temperature a top_p sú akceptované len pri úsilí o logické uvažovanie (reasoning effort) nastavenom na none, zatiaľ čo modely GPT-5.6 predvolene uvažujú (medium). Volania, ktoré nastavujú tieto parametre, preto musia špecifikovať reasoning={"effort": "none"} (Responses API) alebo reasoning_effort="none" (Chat Completions). Zdroje: Používanie GPT-6 · GPT-5.6 Terra.

Optimalizácia je systém, nie parameter

Zníženie latencie a nákladov pre aplikáciu s LLM nie je len o výbere rýchlejšieho modelu. Je to reťazec optimalizácií tiahnuci sa od promptu až po konfiguráciu siete a najslabší článok určuje výkon celku. Tím, ktorý zmenší veľkosť systémového promptu na polovicu, ale nechá server otvárať nové TLS spojenie pre každú požiadavku, stratí v sieťovej réžii to, čo ušetril na tokenoch.

Poradie, v akom sa týmito pákami zaoberáš, je kľúčové. Začni promptom, pretože ovplyvňuje náklady aj latenciu bez potreby zmien v infraštruktúre. Nasledujú parametre API, potom konfigurácia siete a nakoniec spôsob, akým tvoja aplikácia spracováva odpoveď. Táto lekcia ťa prevedie každou z týchto pák v uvedenom poradí.

Optimalizuj prompt

Každý vstupný token stojí čas aj peniaze a väčšina produkčných promptov nesie záťaž z fázy prototypovania: inštrukcie pridávané jedna po druhej, pričom každá prepisuje tú predchádzajúcu. Tvojou prvou reakciou by malo byť husté prepísanie promptu, odstránenie zdvorilostných formulácií a opakovaní, pričom nezmeníš skutočné obmedzenia odovzdané modelu.

# ❌ Rozvláčny prompt
prompt_long = """
Ste expertný asistent pre finančnú analýzu. Vždy musíte
odpovedať profesionálnym a štruktúrovaným spôsobom. Musíte používať
číselné údaje, keď je to možné. Musíte sa vyhýbať zbytočnému žargónu.
Musíte byť struční, ale úplní.
Analyzujte nasledujúcu štvrťročnú správu: ...
"""

# ✅ Optimalizovaný prompt (rovnaký výsledok, menej tokenov)
prompt_court = """Rola: Senior finančný analytik.
Obmedzenia: Štruktúrované, číselné, stručné.
Úloha: Analyzuj túto štvrťročnú správu: ..."""

Obe verzie prenášajú presne tých istých päť obmedzení; druhá tak robí bez piatich fráz „Musíte“, ktoré modelu nič nepridávajú. Pri službe spracúvajúcej desaťtisíc správ denne sa táto tridsaťsekundová úprava zaplatí sama každý deň.

Vyber správny model pre úlohu

Druhou pákou je fakt, že nie každé volanie vyžaduje rovnaký model. Smerovanie úlohy extrakcie poľa na model s vysokou úrovňou logického uvažovania znamená platiť za kapacitu, ktorú úloha nevyužíva, a čakať dlhšie na identický výsledok.

Typ úlohyOdporúčaný modelDôvod
Klasifikácia / extrakciagpt-5.6-lunaRýchly, ekonomický
Komplexné uvažovaniegpt-5.6-terra so stredným uvažovanímNajlepší pomer kvality a ceny
Kritické úlohygpt-5.6-sol s vysokým uvažovanímNajvyššia kvalita, pomalší
Vysoký objemgpt-5.6-luna cez Batch API-50 % nákladov

V praxi zakóduj túto voľbu do smerovacej funkcie namiesto toho, aby si ju nechal na uvážení vývojárov; inak vždy zvíťazí predvolený model:

import openai

client = openai.OpenAI()

def route_model(task: str, complexity: str) -> str:
    """Vyberie optimálny model na základe úlohy."""
    if complexity == "low":
        return "gpt-5.6-luna"
    elif task in ("reasoning", "math", "code"):
        return "gpt-5.6-terra"
    elif complexity == "critical":
        return "gpt-5.6-sol"
    return "gpt-5.6-terra"

def optimized_call(prompt: str, task: str, complexity: str) -> str:
    model = route_model(task, complexity)
    response = client.responses.create(
        model=model,
        input=prompt,
    )
    return response.output_text

Optimalizuj parametre API

Príliš dlhá odpoveď plytvá časom generovania, ktorý si nikto neprečíta. Vždy špecifikuj max_output_tokens: je to pevný limit, ktorý chráni tvoj účet aj rozhranie a zabraňuje tomu, aby sa zle formulovaný prompt rozrástol do dvojtisíc slovnej digresie.

response = client.responses.create(
    model="gpt-5.6-terra",
    reasoning={"effort": "none"},  # temperature vyžaduje effort none
    input="Zhrň tento text do jednej vety.",
    max_output_tokens=100,  # Pevný limit
    temperature=0.0,         # Deterministické = rýchlejšie
)

Parametre vzorkovania fungujú rovnakým smerom. Nastavenie temperature=0 robí odpovede deterministickými a o niečo rýchlejšími, čo je presne to, čo chceš pri úlohách extrakcie alebo klasifikácie, kde je kreativita zdrojom variability, nie prínosom. Zníženie top_p na 0,1 obmedzuje vyhľadávací priestor a urýchľuje generovanie; toto nastavenie si rezervuj pre úlohy, kde je prípustná len jedna formulácia, a predvolené hodnoty ponechaj tam, kde je bohatosť odpovede súčasťou produktu.

Optimalizuj sieť

Náklady na cestu paketov sa pri každom volaní sčítavajú, no v metrikách tvojej aplikácie zostávajú neviditeľné. API OpenAI je primárne hostené na východnom pobreží USA: umiestnenie servera tvojej aplikácie do rovnakého regiónu ako koncový bod môže priniesť potenciálny zisk 50 až 150 milisekúnd v sieťovej latencii. Pre konverzačnú aplikáciu je to významná časť času do prvého tokenu (TTFT).

Druhým ziskom je opätovné použitie spojenia. Bez poolu každá požiadavka znovu prehrá TLS handshake, čo pridá niekoľko kôl komunikácie predtým, než začnú tiecť akékoľvek užitočné dáta. Konfigurácia HTTP klienta raz a navždy tento problém rieši:

import httpx

# Klient s trvalým poolom spojení
client_http = httpx.Client(
    base_url="https://api.openai.com/v1",
    timeout=60.0,
    limits=httpx.Limits(
        max_connections=20,
        max_keepalive_connections=10,
    ),
)

Optimalizuj postspracovanie

Posledný článok je často tým, na ktorý ľudia zabúdajú: aplikácia, ktorá prijíma streamovanú odpoveď, ale čaká do jej konca, aby ju zobrazila, ruší všetky výhody streamovania. Spracúvaj odpoveď za behu, nie až po jej úplnom prijatí.

async def progressive_processing(prompt: str):
    """Spracuje každý chunk hneď, ako dorazí."""
    stream = client.responses.create(
        model="gpt-5.6-terra",
        input=prompt,
        stream=True,
    )

    buffer = ""
    for event in stream:
        if event.type == "response.output_text.delta":
            buffer += event.delta
            # Spracuj po úplnej vete
            if buffer.endswith((".", "!", "?")):
                yield buffer.strip()
                buffer = ""

Rozdelenie podľa úplných viet je premyslený kompromis: emitovanie každého tokenu produkuje trhavý displej, zatiaľ čo čakanie na celý odsek recreates pocit čakania. Veta je jednotka, ktorú čitatelia prirodzene konzumujú. Tento vzor znovu využij vždy, keď tvoje rozhranie potrebuje zobrazovať, čítať nahlas alebo streamovať to, čo model produkuje.

Kľúčové poznatky

  • Najprv optimalizuj prompt: menej tokenov = menšia latencia a náklady
  • Smeruj na správny model na základe zložitosti úlohy
  • Obmedz max_output_tokens a používaj temperature=0, keď je to možné
  • Opätovne využívaj HTTP spojenia a spracúvaj odpovede cez streamovanie