Optimalizace end-to-end: od promptu po síť
Na této stránce
Lekce aktualizována 3. listopadu 2026 na základě dokumentace OpenAI: parametry
temperatureatop_pjsou akceptovány pouze při úsilí o uvažování (reasoning effort) nastaveném nanone, zatímco modely řady GPT-5.6 ve výchozím nastavení uvažují (medium). Volání, která tyto parametry nastavují, musí proto explicitně určitreasoning={"effort": "none"}(Responses API) neboreasoning_effort="none"(Chat Completions). Zdroje: Používání GPT-6 · GPT-5.6 Terra.
Optimalizace je systém, nikoliv jen parametr
Snížení latence a nákladů u aplikace s LLM neznamená pouze výběr rychlejšího modelu. Jde o řetězec optimalizací táhnoucí se od promptu až po konfiguraci sítě, přičemž nejslabší článek určuje výkon celého zbytku. Tým, který sice zmenší svůj systémový prompt na polovinu, ale nechá server otevírat pro každý požadavek nové TLS spojení, ztratí v síťové režii vše, co ušetřil na tokenech.
Pořadí, v jakém se těmito pákami zabýváš, je klíčové. Začni promptem, protože ovlivňuje náklady i latenci bez nutnosti měnit infrastrukturu. Následují parametry API, poté konfigurace sítě a nakonec způsob, jakým tvoje aplikace zpracovává odpověď. Tato lekce tě provede každou z těchto páček v uvedeném pořadí.
Optimalizuj prompt
Každý vstupní token stojí čas i peníze a většina produkčních promptů nese zátěž z fáze prototypování: pokyny přidávané jeden po druhém, kde každý přeformulovává ten předchozí. Tvým prvním reflexem by mělo být přepsání promptu do hutné podoby, odstranění zdvořilostních formulací a opakování, aniž bys změnil skutečná omezení předávaná modelu.
# ❌ Ukecaný prompt
prompt_long = """
Jsi expertní asistent pro finanční analýzu. Vždy musíš
odpovídat profesionálním a strukturovaným způsobem. Musíš používat
číselná data, kdykoli je to možné. Musíš se vyhýbat zbytečnému žargonu.
Musíš být stručný, ale vyčerpávající.
Analyzuj následující čtvrtletní zprávu: ...
"""
# ✅ Optimalizovaný prompt (stejný výsledek, méně tokenů)
prompt_court = """Role: Senior finanční analytik.
Omezení: Strukturovaně, číselně, stručně.
Úkol: Analyzuj tuto čtvrtletní zprávu: ..."""
Obě verze přenášejí přesně stejných pět omezení; druhá tak však činí bez pěti frází „Musíš“, které modelu nic nepřinášejí. U služby zpracovávající deset tisíc zpráv denně se tato třicetivteřinová úprava zaplatí každý den sama.
Vyber pro úkol správný model
Druhou pákou je fakt, že ne každý požadavek potřebuje stejný model. Směrování úlohy extrakce polí na model s vysokou mírou uvažování znamená, že platíš za kapacitu, kterou úkol nevyužije, a čekáš déle na identický výsledek.
| Typ úlohy | Doporučený model | Důvod |
|---|---|---|
| Klasifikace / extrakce | gpt-5.6-luna | Rychlý, úsporný |
| Složité uvažování | gpt-5.6-terra s medium uvažováním | Nejlepší poměr kvalita/cena |
| Kritické úlohy | gpt-5.6-sol s high uvažováním | Nejvyšší kvalita, pomalejší |
| Vysoký objem | gpt-5.6-luna přes Batch API | -50 % nákladů |
V praxi toto rozhodnutí zakóduj do směrovací funkce, místo abys ho nechával na uvážení vývojářů; jinak vždy zvítězí výchozí model:
import openai
client = openai.OpenAI()
def route_model(task: str, complexity: str) -> str:
"""Vybere optimální model na základě úlohy."""
if complexity == "low":
return "gpt-5.6-luna"
elif task in ("reasoning", "math", "code"):
return "gpt-5.6-terra"
elif complexity == "critical":
return "gpt-5.6-sol"
return "gpt-5.6-terra"
def optimized_call(prompt: str, task: str, complexity: str) -> str:
model = route_model(task, complexity)
response = client.responses.create(
model=model,
input=prompt,
)
return response.output_text
Optimalizuj parametry API
Příliš dlouhá odpověď plýtvá časem generování, který si stejně nikdo nepřečte. Vždy specifikuj max_output_tokens: jde o tvrdý limit, který chrání jak tvůj účet, tak tvé rozhraní, a brání tomu, aby špatně formulovaný prompt sklouzl do dvoustránkového odbočení.
response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature vyžaduje effort none
input="Shrň tento text do jedné věty.",
max_output_tokens=100, # Tvrdý limit
temperature=0.0, # Deterministické = rychlejší
)
Parametry vzorkování fungují stejným směrem. Nastavení temperature=0 činí odpovědi deterministickými a mírně rychlejšími, což je přesně to, co chceš u úloh extrakce nebo klasifikace, kde je kreativita zdrojem variance, nikoliv přínosem. Snížení top_p na 0.1 omezuje prohledávací prostor a urychluje generování; toto nastavení si rezervuj pro úlohy, kde je přijatelné pouze jedno znění, a tam, kde je bohatost odpovědi součástí produktu, ponech výchozí hodnoty.
Optimalizuj síť
Cena za cestu paketů se u každého volání sčítá, přesto zůstává v metrikách tvé aplikace neviditelná. API OpenAI je primárně hostováno na východním pobřeží USA: umístění serveru tvoje aplikace do stejné oblasti jako koncový bod může přinést potenciální zisk 50 až 150 milisekund v síťové latenci. U konverzační aplikace jde o významnou část času do prvního tokenu (TTFT).
Druhý zisk plyne z opětovného použití připojení. Bez poolu každý požadavek znovu přehraje TLS handshake, což přidá několik round-tripů ještě předtím, než začnou téct jakákoli užitečná data. Jednorázová konfigurace HTTP klienta tento problém řeší:
import httpx
# Klient s trvalým poolem připojení
client_http = httpx.Client(
base_url="https://api.openai.com/v1",
timeout=60.0,
limits=httpx.Limits(
max_connections=20,
max_keepalive_connections=10,
),
)
Optimalizuj post-processing
Poslední článek řetězce je často tím, na který se zapomíná: aplikace, která přijme streamovanou odpověď, ale čeká až do jejího konce, než ji zobrazí, ruší všechny výhody streamování. Zpracovávej odpověď za chodu, nikoliv až po jejím úplném přijetí.
async def progressive_processing(prompt: str):
"""Zpracuje každý chunk, jakmile dorazí."""
stream = client.responses.create(
model="gpt-5.6-terra",
input=prompt,
stream=True,
)
buffer = ""
for event in stream:
if event.type == "response.output_text.delta":
buffer += event.delta
# Zpracování po celých větách
if buffer.endswith((".", "!", "?")):
yield buffer.strip()
buffer = ""
Rozdělení podle celých vět je záměrným kompromisem: vysílání každého tokenu produkuje trhavý displej, zatímco čekání na celý odstavec znovu vytváří pocit čekání. Věta je jednotka, kterou čtenáři přirozeně konzumují. Tento vzor znovu využij vždy, když tvé rozhraní potřebuje zobrazit, předčítat nebo streamovat to, co model vytváří.
Klíčové poznatky
- Nejprve optimalizuj prompt: méně tokenů = menší latence a náklady
- Směřuj požadavky na správný model podle složitosti úlohy
- Omez
max_output_tokensa kde to jde, použijtemperature=0 - Opakovaně využívej HTTP připojení a zpracovávej odpovědi prostřednictvím streamování