Mjerenje i analiza latencije
Na ovoj stranici
Zašto je latencija tvoja najvažnija metrika
Kada deployaš aplikaciju pokretanu LLM-om u produkciju, latencija koju korisnici osjete izravno određuje usvajanje. Odgovor koji se pojavi tek nakon 8 sekundi otjera 70 % korisnika: oni zatvaraju karticu, ponavljaju zahtjev ili zaključe da alat ne radi. Nikakvo poboljšanje kvalitete ne može nadoknaditi taj gubitak jer se događa prije nego što korisnik uopće pročita odgovor.
Izazov u produkciji je što „sporo je“ nije dijagnoza. Istih osam sekundi trajanja može proizaći iz prevelikog sistemskog prompta, pretjerano ambiciozne postavke rezoniranja, loše postavljene aplikacijske poslužiteljske instance ili post-obrade koja čeka cijeli odgovor prije nego što išta prikaže. Svaki uzrok zahtijeva drugačije rješenje, a popravljanje pogrešnog ništa ne mijenja. Ova lekcija naučit će te mjeriti, rastavljati i dijagnosticirati latenciju od kraja do kraja kako bi pritužbu pretvorio u broj na koji možeš djelovati.
Komponente latencije
Ukupna latencija API poziva dijeli se na četiri segmenta koje moraš razdvojiti. Mrežna latencija je vrijeme putovanja između tvog poslužitelja i OpenAI API-ja; nevidljiva je u zapisima tvoje aplikacije, ali može premašiti 100 milisekundi ako je tvoj poslužitelj daleko od krajnje točke. Vrijeme do prvog tokena (TTFT) mjeri kašnjenje prije generiranja prvog tokena: to je segment koji korisnici osjete kao „čekanje“ jer ekran ostaje prazan dok se ne završi. Vrijeme po izlaznom tokenu (TPOT) zatim opisuje brzinu generiranja za svaki sljedeći token; pomnoženo s duljinom odgovora, daje trajanje klizanja teksta. Naposljetku, aplikacijska latencija pokriva sve što tvoj vlastiti poslužitelj radi prije i nakon poziva: dohvaćanje dokumenata, sastavljanje prompta, validaciju izlaznog JSON-a i zapisivanje u bazu podataka.
Ova dekompozicija nije akademska vježba. Tim koji otkrije da mu je TTFT u redu, ali da aplikacijska latencija dodaje dvije sekunde, neće mijenjati modele: ispitat će svoj SQL upit za dohvaćanje konteksta.
Mjerenje s Pythonom
Evo kako instrumentirati poziv Responses API-ju za hvatanje svakog segmenta:
import time
import openai
client = openai.OpenAI()
def measure_latency(prompt: str, model: str = "gpt-5.6-terra") -> dict:
"""Measure decomposed latency of an API call."""
metrics = {}
start_total = time.perf_counter()
# Stream the call to measure TTFT
stream = client.responses.create(
model=model,
input=prompt,
stream=True,
)
first_token = True
output_tokens = 0
for event in stream:
if event.type == "response.output_text.delta":
if first_token:
metrics["ttft"] = time.perf_counter() - start_total
start_generation = time.perf_counter()
first_token = False
output_tokens += 1
metrics["total_duration"] = time.perf_counter() - start_total
metrics["output_tokens"] = output_tokens
if output_tokens > 1:
metrics["tpot"] = (
(metrics["total_duration"] - metrics["ttft"]) / (output_tokens - 1)
)
return metrics
result = measure_latency("Explain Bayes' theorem in 3 sentences.")
for key, value in result.items():
print(f"{key}: {value:.4f}" if isinstance(value, float) else f"{key}: {value}")
Ključna poruka ovog koda je korištenje stream=True. Bez strimovanja ne možeš izolirati TTFT: API vraća podatke tek nakon potpunog odgovora, pa mjeriš samo ukupno vrijeme. Tajmer pokrećeš prije poziva, zaustavljaš ga pri prvom delta teksta, a preostalo trajanje podijeljeno s brojem preostalih tokena daje TPOT. Pokreni isti prompt protiv dva modela ili dviju postavki rezoniranja i, u roku od nekoliko minuta, imat ćeš kvantitativnu usporedbu koja zamjenjuje nagađanja tvog tima.
Dijagnosticiranje uskih grla
Visok TTFT, iznad dvije sekunde, upućuje na tri uzroka. Najčešći je predugačak sistemski prompt koji nije keširan: model mora progutati nekoliko tisuća tokena prije nego što počne pisati, pri svakom pozivu. Sljedeći je visoka postavka rezoniranja – high, xhigh ili max na GPT-5.6 – koja namjerno tjera model da razmišlja prije proizvodnje bilo kakvog vidljivog izlaza; to nije bug, već očekivano ponašanje, ali mora biti svjesni izbor, a ne postavka naslijeđena iz prototipa. Naposljetku, moglo bi doći do skoka opterećenja na strani OpenAI-ja, na što ne možeš utjecati: upravo zato trebaš kontinuirano mjerenje, a ne jednokratnu provjeru, kako bi to razlikovao od druga dva uzroka.
Visok TPOT, iznad 50 ms po tokenu, čita se drugačije. Vrlo visok max_output_tokens tjera model da proizvodi duge sekvence, pa se ukupno trajanje mehanički povećava čak i ako svaki token stiže normalnom brzinom. Korištenje složenog pozivanja funkcija s mnogo deklariranih alata također opterećuje generiranje. Konkretno, tim koji je ostavio petnaest alata u svojoj shemi kada se polovica njih više ne koristi, plaćat će taj trošak pri svakom pozivu.
Alati za nadzor
Jednokratno mjerenje nije dovoljno: moraš pratiti distribuciju tijekom vremena jer rep distribucije generira tikete za podršku. Za kontinuirani nadzor u produkciji integriraj ove metrike u svoj stack za opservabilnost:
import logging
from dataclasses import dataclass, field
@dataclass
class LatencyMetrics:
"""Aggregates latency metrics over a sliding window."""
measurements: list[dict] = field(default_factory=list)
def add(self, measurement: dict) -> None:
self.measurements.append(measurement)
if len(self.measurements) > 1000:
self.measurements = self.measurements[-1000:]
@property
def ttft_p50(self) -> float:
values = sorted(m["ttft"] for m in self.measurements if "ttft" in m)
if not values:
return 0.0
return values[len(values) // 2]
@property
def ttft_p99(self) -> float:
values = sorted(m["ttft"] for m in self.measurements if "ttft" in m)
if not values:
return 0.0
idx = int(len(values) * 0.99)
return values[min(idx, len(values) - 1)]
def report(self) -> str:
return (
f"TTFT p50={self.ttft_p50:.3f}s p99={self.ttft_p99:.3f}s | "
f"Samples: {len(self.measurements)}"
)
Klizni prozor od tisuću mjerenja sprječava neograničen rast memorije dok zadržava reprezentativan uzorak nedavnog prometa. Ključno je da ova klasa izlaže dva percentila, a ne prosjek: p50 od 700 ms s p99 od 6 sekundi opisuje uslugu koju većina korisnika smatra brzom, a manjina neupotrebljivom. Prosjek bi prikrivao obje stvarnosti. Spoji report() sa svojim alatom za metrike i postavi prag upozorenja na p99 prije nego što diraš ostatak sustava.
Ključne točke
- Latencija se rastavlja na TTFT + generiranje (TPOT × tokeni) + mreža
- Uvijek mjeri sa strimovanjem da dobiješ stvarni TTFT
- Prati percentile p50 i p99, a ne samo prosjek
- Izbor modela i postavke rezoniranja izravno utječu na latenciju: GPT-5.6 Terra s niskim rezoniranjem odgovara brže od GPT-5.6 Sol s visokim rezoniranjem