Optimizacija od konca do konca: od poziva do omrežja
Na tej strani
Lekcija posodobljena 3. novembra 2026 na podlagi dokumentacije OpenAI: parametra
temperatureintop_psta sprejeta le pri naporu razmišljanja (reasoning effort) vrednostinone, medtem ko modeli GPT-5.6 privzeto razmišljajo (medium). Klici, ki nastavljajo te parametre, morajo zato določitireasoning={"effort": "none"}(Responses API) alireasoning_effort="none"(Chat Completions). Viri: Uporaba GPT-6 · GPT-5.6 Terra.
Optimizacija je sistem, ne parameter
Zmanjšanje zakasnitve in stroškov za aplikacijo z velikim jezikovnim modelom (LLM) ni zgolj izbira hitrejšega modela. Gre za verigo optimizacij, ki se razteza od poziva do konfiguracije omrežja, pri čemer najšibkejši člen določa zmogljivost celote. Ekipa, ki prepolovi velikost sistemskega poziva, a pustiti strežniku, da za vsako zahtevo odpre novo TLS povezavo, bo v omrežnih stroških izgubila vse, kar je prihranila pri žetonih.
Vrstni red obravnave teh vzvodov je ključen. Začni s pozivom, saj vpliva tako na stroške kot na zakasnitev, ne da bi zahteval spremembe infrastrukture. Sledijo parametri API-ja, nato konfiguracija omrežja in nazadnje način, kako tvoja aplikacija porabi odgovor. Ta lekcija te vodi skozi vsak vzvod v tem vrstnem redu.
Optimiziraj poziv
Vsak vhodni žeton stane čas in denar, večina produkcijskih pozivov pa nosi prtljago iz faze prototipiranja: navodila, dodana eno za drugim, pri čemer vsako ponovno oblikuje prejšnje. Tvoj prvi refleks naj bo gosto prepisovanje poziva z odstranitvijo nagovorov in ponavljanj, ne da bi se dotaknil dejanskih omejitev, posredovanih modelu.
# ❌ Obširen poziv
prompt_long = """
You are an expert financial analysis assistant. You must always
respond in a professional and structured manner. You must use
numerical data when possible. You must avoid unnecessary jargon.
You must be concise but complete.
Analyze the following quarterly report: ...
"""
# ✅ Optimiziran poziv (isti rezultat, manj žetonov)
prompt_court = """Role: Senior financial analyst.
Constraints: Structured, numerical, concise.
Task: Analyze this quarterly report: ..."""
Obe različici preneseta točno pet istih omejitev; druga to stori brez petih fraz „You must”, ki modelu ne dodajo ničesar. Pri storitvi, ki obdela deset tisoč poročil na dan, se ta tridesetsekundni prepis dnevno sam poplača.
Izberi pravi model za nalogo
Drugi vzvod temelji na dejstvu, da ne zahteva vsak klic istega modela. Preusmeritev naloge ekstrakcije polj na model z visokim razmišljanjem pomeni plačevanje zmogljivosti, ki je naloga ne uporablja, in daljše čakanje na identičen rezultat.
| Vrsta naloge | Priporočeni model | Razlog |
|---|---|---|
| Klasifikacija / ekstrakcija | gpt-5.6-luna | Hitro, ekonomično |
| Kompleksno razmišljanje | gpt-5.6-terra s srednjim razmišljanjem | Najboljše razmerje med kakovostjo in stroški |
| Kritične naloge | gpt-5.6-sol z visokim razmišljanjem | Najvišja kakovost, počasneje |
| Velika količina | gpt-5.6-luna prek Batch API | -50 % stroškov |
V praksi to izbiro kodificiraj v funkciji za usmerjanje, namesto da jo prepustiš presoji razvijalcev; sicer bo vedno zmagal privzeti model:
import openai
client = openai.OpenAI()
def route_model(task: str, complexity: str) -> str:
"""Izbere optimalni model glede na nalogo."""
if complexity == "low":
return "gpt-5.6-luna"
elif task in ("reasoning", "math", "code"):
return "gpt-5.6-terra"
elif complexity == "critical":
return "gpt-5.6-sol"
return "gpt-5.6-terra"
def optimized_call(prompt: str, task: str, complexity: str) -> str:
model = route_model(task, complexity)
response = client.responses.create(
model=model,
input=prompt,
)
return response.output_text
Optimiziraj parametre API-ja
Predolg odgovor zapravlja čas generiranja, ki ga nihče ne bo prebral. Vedno določi max_output_tokens: to je trda omejitev, ki ščiti tvoj račun in vmesnik ter preprečuje, da bi slabo oblikovan poziv prerasel v dvatisočbesedno digresijo.
response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature zahteva effort none
input="Summarize this text in one sentence.",
max_output_tokens=100, # Trda omejitev
temperature=0.0, # Deterministično = hitreje
)
Parametri vzorčenja delujejo v isto smer. Nastavitev temperature=0 naredi odgovore deterministične in nekoliko hitrejše, kar je točno tisto, kar želiš pri nalogah ekstrakcije ali klasifikacije, kjer je ustvarjalnost vir variance, ne prednost. Zmanjšanje top_p na 0,1 omeji iskalni prostor in pospeši generiranje; to nastavitev uporabi le za naloge, kjer je sprejemljivo le eno oblikovanje, privzete vrednosti pa obdrži tam, kjer je bogastvo odgovora del izdelka.
Optimiziraj omrežje
Stroški potovanja paketov se pri vsakem klicu seštevajo, a v metrikah tvoje aplikacije ostanejo nevidni. API OpenAI je primarno gostovan na vzhodni obali ZDA: postavitev strežnika tvoje aplikacije v isto regijo kot končna točka lahko prinese potencialni prihranek od 50 do 150 milisekund v omrežni zakasnitvi. Za konverzacijsko aplikacijo je to značilen delež časa do prvega žetona (TTFT).
Drugi prihranek izvira iz ponovne uporabe povezave. Brez sklada vsaka zahteva znova odigra rokovanje TLS, kar doda več krožnih potovanj, preden stečejo kakršni koli koristni podatki. To rešiš s konfiguracijo odjemalca HTTP enkrat za vselej:
import httpx
# Odjemalec s stalnim skladom povezav
client_http = httpx.Client(
base_url="https://api.openai.com/v1",
timeout=60.0,
limits=httpx.Limits(
max_connections=20,
max_keepalive_connections=10,
),
)
Optimiziraj naknadno obdelavo
Zadnji člen je pogosto tisti, na katerega pozabijo: aplikacija, ki prejme pretočni odgovor, a čaka do konca, da ga prikaže, poniči vse prednosti pretoka. Odgovor obdeluj sproti, namesto po popolnem prejemu.
async def progressive_processing(prompt: str):
"""Obdela vsak kos takoj, ko prispe."""
stream = client.responses.create(
model="gpt-5.6-terra",
input=prompt,
stream=True,
)
buffer = ""
for event in stream:
if event.type == "response.output_text.delta":
buffer += event.delta
# Obdelava po celotnem stavku
if buffer.endswith((".", "!", "?")):
yield buffer.strip()
buffer = ""
Razdelitev po celotnih stavkih je namern kompromis: oddajanje vsakega žetona povzroči trepetajoč prikaz, čakanje na celoten odstavek pa ponovno ustvari občutek čakanja. Stavek je enota, ki jo bralci naravno uživajo. Ta vzorec ponovno uporabi kadarkoli tvoj vmesnik potrebuje prikaz, branje na glas ali pretok tega, kar ustvari model.
Ključne ugotovitve
- Najprej optimiziraj poziv: manj žetonov = manjša zakasnitev in stroški
- Usmeri na pravi model glede na kompleksnost naloge
- Omeji
max_output_tokensin uporabitemperature=0, kadar je mogoče - Ponovno uporabi povezave HTTP in obdeluj odgovore s pretokom