Optimizacija od kraja do kraja: od upita do mreže
Na ovoj stranici
Lekcija ažurirana 3. studenoga 2026. na temelju OpenAI dokumentacije: parametri
temperatureitop_pprihvaćeni su samo uz napor rezoniranja (reasoning effort) postavljen nanone, dok modeli GPT-5.6 prema zadanim postavkama rezoniraju s razinommedium. Pozivi koji postavljaju ove parametre stoga moraju specificiratireasoning={"effort": "none"}(Responses API) ilireasoning_effort="none"(Chat Completions). Izvori: Korištenje GPT-6 · GPT-5.6 Terra.
Optimizacija je sustav, a ne parametar
Smanjenje kašnjenja i troškova za aplikaciju temeljenu na LLM-u nije samo pitanje odabira bržeg modela. Radi se o lancu optimizacija koji se proteže od upita (prompta) do konfiguracije mreže, pri čemu najslabija karika diktira performanse cijelog sustava. Tim koji prepolovi veličinu svog sistemskog upita, ali ostavi poslužitelj da otvara novu TLS vezu za svaki zahtjev, izgubit će u mrežnom opterećenju ono što je uštedio na tokenima.
Redoslijed kojim rješavaš ove poluge je bitan. Kreni s upitom jer utječe i na trošak i na kašnjenje bez potrebe za promjenama infrastrukture. Zatim slijede parametri API-ja, potom konfiguracija mreže i naposljetku način na koji tvoja aplikacija troši odgovor. Ova tečajnica vodi te kroz svaku polugu tim redoslijedom.
Optimiziraj upit (Prompt)
Svaki ulazni token košta vrijeme i novac, a većina produkcijskih upita nosi prtljagu iz faze izrade prototipa: upute dodavane jedna po jedna, od kojih svaka prepričava prethodnu. Tvoj prvi refleks trebao bi biti gusto prepisivanje upita, uklanjajući obrasce obraćanja i ponavljanja, a da pritom ne diraš stvarna ograničenja koja se prenose modelu.
# ❌ Opširan upit
prompt_long = """
You are an expert financial analysis assistant. You must always
respond in a professional and structured manner. You must use
numerical data when possible. You must avoid unnecessary jargon.
You must be concise but complete.
Analyze the following quarterly report: ...
"""
# ✅ Optimizirani upit (isti rezultat, manje tokena)
prompt_court = """Role: Senior financial analyst.
Constraints: Structured, numerical, concise.
Task: Analyze this quarterly report: ..."""
Obje verzije prenose točno istih pet ograničenja; druga to čini bez pet fraza „You must“ koje modelu ne donose ništa. Na servisu koji obrađuje deset tisuća izvješća dnevno, ovaj tridesetosekundni prepis isplati se svakodnevno.
Odaberi pravi model za zadatak
Druga poluga oslanja se na činjenicu da ne zahtijeva svaki poziv isti model. Usmjeravanje zadatka izvlačenja podataka na model visokog rezoniranja znači plaćanje kapaciteta koji zadatak ne koristi i dulje čekanje na identičan rezultat.
| Vrsta zadatka | Preporučeni model | Razlog |
|---|---|---|
| Klasifikacija / izvlačenje | gpt-5.6-luna | Brzo, ekonomično |
| Kompleksno rezoniranje | gpt-5.6-terra sa srednjim rezoniranjem | Najbolji omjer kvalitete i cijene |
| Kritični zadaci | gpt-5.6-sol s visokim rezoniranjem | Najviša kvaliteta, sporije |
| Veliki obujam | gpt-5.6-luna putem Batch API-ja | -50% troška |
U praksi kodiraj ovaj odabir u funkciju za usmjeravanje umjesto da ga prepuštaš diskreciji developera; u suprotnom, model po zadanim postavkama uvijek pobjeđuje:
import openai
client = openai.OpenAI()
def route_model(task: str, complexity: str) -> str:
"""Odabire optimalni model na temelju zadatka."""
if complexity == "low":
return "gpt-5.6-luna"
elif task in ("reasoning", "math", "code"):
return "gpt-5.6-terra"
elif complexity == "critical":
return "gpt-5.6-sol"
return "gpt-5.6-terra"
def optimized_call(prompt: str, task: str, complexity: str) -> str:
model = route_model(task, complexity)
response = client.responses.create(
model=model,
input=prompt,
)
return response.output_text
Optimiziraj parametre API-ja
Odgovor koji je predugačak troši vrijeme generiranja koje nitko neće pročitati. Uvijek specificiraj max_output_tokens: ovo je tvrdo ograničenje koje štiti i tvoj račun i tvoje sučelje, sprječavajući da loše formuliran upit eskalira u digresiju od dvije tisuće riječi.
response = client.responses.create(
model="gpt-5.6-terra",
reasoning={"effort": "none"}, # temperature zahtijeva effort none
input="Summarize this text in one sentence.",
max_output_tokens=100, # Tvrdo ograničenje
temperature=0.0, # Deterministički = brže
)
Parametri uzorkovanja rade u istom smjeru. Postavljanje temperature=0 čini odgovore determinističkima i nešto bržima, što je točno ono što želiš za zadatke izvlačenja ili klasifikacije gdje je kreativnost izvor varijance, a ne prednost. Smanjenje top_p na 0.1 sužava prostor pretraživanja i ubrzava generiranje; ovu postavku rezerviraj za zadatke gdje je prihvatljiv samo jedan način formuliranja, a zadane vrijednosti zadrži tamo gdje je bogatstvo odgovora dio proizvoda.
Optimiziraj mrežu
Troškovi putovanja paketa zbrajaju se pri svakom pozivu, no u metrikama tvoje aplikacije ostaju nevidljivi. OpenAI API primarno je hostiran na istočnoj obali SAD-a: postavljanje poslužitelja tvoje aplikacije u istu regiju kao i krajnja točka (endpoint) može donijeti potencijalnu dobit od 50 do 150 milisekundi u mrežnom kašnjenju. Za konverzacijsku aplikaciju to je značajan udio vremena do prvog tokena (TTFT).
Druga dobit dolazi od ponovne upotrebe veze. Bez poola, svaki zahtjev ponovno izvodi TLS rukovanje (handshake), dodajući nekoliko povratnih putovanja prije nego što bilo koji koristan podatak poteče. Jednokratna konfiguracija HTTP klijenta rješava ovo:
import httpx
# Klijent s trajnim poolom veza
client_http = httpx.Client(
base_url="https://api.openai.com/v1",
timeout=60.0,
limits=httpx.Limits(
max_connections=20,
max_keepalive_connections=10,
),
)
Optimiziraj post-obradu
Posljednja karika često je ona koju ljudi zaborave: aplikacija koja primi streamani odgovor, ali čeka kraj da bi ga prikazala, poništava sve prednosti streamanja. Obrađuj odgovor u letu, a ne nakon potpunog prijema.
async def progressive_processing(prompt: str):
"""Obrađuje svaki dio čim stigne."""
stream = client.responses.create(
model="gpt-5.6-terra",
input=prompt,
stream=True,
)
buffer = ""
for event in stream:
if event.type == "response.output_text.delta":
buffer += event.delta
# Obrada po potpunim rečenicama
if buffer.endswith((".", "!", "?")):
yield buffer.strip()
buffer = ""
Cijepanje po potpunim rečenicama namjerni je kompromis: emitiranje svakog tokena proizvodi isprekidan prikaz, dok čekanje cijelog odlomka ponovno stvara osjećaj čekanja. Rečenica je jedinica koju čitatelji prirodno konzumiraju. Ponovno iskoristi ovaj obrazac kad god tvoje sučelje treba prikazati, naglas pročitati ili streamati ono što model proizvodi.
Ključne točke
- Prvo optimiziraj upit: manje tokena = manje kašnjenja i troškova
- Usmjeri na pravi model na temelju složenosti zadatka
- Ograniči
max_output_tokensi koristitemperature=0kada je moguće - Ponovno iskoristi HTTP veze i obrađuj odgovore putem streamanja