Performanse u proizvodnji
Na ovoj stranici
Izvan keša: Ukupne performanse
Keš smanjuje troškove, ali integracija u proizvodnji ovisi o više od same cijene: o kašnjenju koje korisnik osjeća, održivoj propusnosti, pouzdanosti nasuprot prolaznim greškama i sposobnosti dijagnosticiranja degradacije. Aplikacija koja malo košta, ali odgovara za 12 sekundi ili zakaže jednom u 50 pokušaja, nije performantna. Ova lekcija pokriva četiri dimenzije koje su bitne nakon što savladaš troškove.
Strujanje: Ušteda vremena bez stvarne uštede vremena
Za svako sučelje gdje čovjek čeka odgovor, strujanje putem SSE-a (Server-Sent Events) radikalno mijenja percepciju. Bez njega, korisnik bulji u kursor dok model generira 500 tokena; s njim, prve riječi se pojavljuju nakon nekoliko stotina milisekundi i čitanje počinje tijekom generiranja. Ukupno vrijeme je isto, ali percipirano vrijeme smanjuje se nekoliko puta.
import requests
import json
def appel_streaming(messages, model="grok-4.20"):
reponse = requests.post(
"https://api.x.ai/v1/chat/completions",
headers={
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
},
json={
"model": model,
"messages": messages,
"stream": True
},
stream=True
)
for ligne in reponse.iter_lines():
if ligne and ligne.startswith(b"data: "):
donnees = ligne[6:]
if donnees == b"[DONE]":
break
chunk = json.loads(donnees)
token = chunk["choices"][0]["delta"].get("content", "")
yield token
Parametar stream: True ne mijenja ni broj naplaćenih tokena ni njihovu stopu. Ono što poboljšavaš jest TTFT – vrijeme do prvog tokena. Imaj na umu da je funkcija generator: vraća kontrolu token po token, omogućujući ti da pišeš izravno u HTTP odgovor svog poslužitelja bez držanja cijele generacije u memoriji.
Odabir modela za kašnjenje
Druga poluga za kašnjenje je odabir modela, a on prvenstveno ovisi o naporu zaključivanja. Model za zaključivanje proizvodi nevidljive tokene razmišljanja prije nego što sastavi odgovor: kvaliteta raste, ali raste i kašnjenje. Na ekstremima, grok-build-0.1 je najbrži u katalogu, što ga čini prikladnim za uporabu u stvarnom vremenu poput klasifikacije u letu ili automatskog dovršavanja; grok-4.20-0309 u varijanti bez zaključivanja i grok-4.3 nude razuman kompromis između kvalitete i brzine; grok-4.5 s dubokim zaključivanjem nalazi se na drugom kraju, rezerviran za zadatke koji to doista zahtijevaju.
Praktična posljedica je da ne biraš model za cijelu aplikaciju, već za korak. Čest obrazac je imati brzi početni poziv koji odlučuje – je li ovaj zahtjev trivijalan, dvosmislen ili složen? – zatim poslati samo onaj dio slučajeva koji to opravdava modelu za zaključivanje. Time dijeliš i prosječno kašnjenje i prosječni trošak, a da pritom ne degradiraš teške slučajeve.
Rukovanje greškama bez pogoršavanja situacije
Kod 429 obrađen u Lekciji 3 nije jedini s kojim ćeš se susresti. Ključna razlika leži između grešaka koje zaslužuju ponovni pokušaj i onih gdje ponavljanje samo dodaje nepotreban promet.
| Kod | Priroda | Radnja |
|---|---|---|
| 429 Too Many Requests | Obnovljivo | Eksponencijalno kašnjenje (Lekcija 3) |
| 500 Internal Server Error | Obnovljivo | Ponovni pokušaj s kašnjenjem; greška je na strani poslužitelja |
| 502 / 503 Service Unavailable | Obnovljivo | Ponovni pokušaj nakon nekoliko sekundi |
| 400 Bad Request | Konačno | Neispravan zahtjev; ispravi sadržaj (payload) |
| 401 Unauthorized | Konačno | Nevažeći ili istekli API ključ |
| 413 Payload Too Large | Konačno | Upit premašuje ograničenje konteksta |
Ovo pravilo možeš kodirati u tri retka i vrijedi ga izdvojiti u funkciju umjesto raspršivanja if izjava posvuda:
def classifier_erreur(status_code):
recuperable = {429, 500, 502, 503}
return status_code in recuperable
Vremenska ograničenja i otpornost
Loše postavljeno vremensko ograničenje stvara dva suprotna problema: prekratko i napuštaš zahtjeve koji bi uspjeli; predugo i blokiraš svoje radnike dok se duljina reda povećava. Postavi tri odvojena. Veza se mora uspostaviti u 10 sekundi; nakon toga, problem je u mreži. Čitanje u načinu bez strujanja skalira se s modelom: 120 sekundi za model za zaključivanje, 60 sekundi za grok-build-0.1. Kod strujanja, relevantan prag nije ukupno trajanje već interval između chunkova, postavljen na oko 30 sekundi.
Jedna točka zaslužuje pravi oprez: kada vremensko ograničenje istekne tijekom duge generacije, nemoj automatski ponovno pokretati zahtjev. Model je možda već potrošio tokene za razmišljanje za koje ćeš platiti drugi put, i ništa ne jamči da prvi zahtjev nije uspio na strani poslužitelja. Mehanizam idempotentnosti – ključ zahtjeva koji zadržavaš kako bi prepoznao duplikat – ili eksplicitno nastavak rada funkcioniraju bolje od slijepog ponovnog pokušaja.
Što instrumentirati
Četiri obitelji metrika dovoljne su za dijagnosticiranje većine incidenata.
| Metrika | Što otkriva | Cilj |
|---|---|---|
| TTFT | Percipirano početno kašnjenje | Praćenje po modelu |
| Stopa uspjeha | Pouzdanost integracije | Veća od 99,5% |
| Stopa keširanja | Kvaliteta strukture upita | Veća od 50% |
| Trošak po zahtjevu | Odstupanje proračuna, pomični prosjek | Stabilno tijekom vremena |
Dodaj kašnjenje na 95. percentilu. Prosjek uvijek maskira ekstremne slučajeve, a oni su ti koji pokreću tikete za podršku: P95 od 8 sekundi znači da jedan korisnik od 20 čeka 8 sekundi, što nijedan prosjek od 1,2 sekunde ne bi otkrio.
Ključne točke
- SSE strujanje smanjuje percipirano kašnjenje bez utjecaja na trošak
- Odaberi brzi model za rad u stvarnom vremenu, a model za zaključivanje za kvalitetu
- Razlikuj obnovljive greške (429, 500, 502/503) od konačnih grešaka (400, 401)
- Konfiguriraj vremenska ograničenja prilagođena modelu koji se koristi
- Prati TTFT, stopu uspjeha, stopu keširanja i prosječni trošak po zahtjevu