Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Performanse u proizvodnji

Lekcija 11 od 14 Ažurirano 29. srpnja 2026. Napredno
Na ovoj stranici
  1. Izvan keša: Ukupne performanse
  2. Strujanje: Ušteda vremena bez stvarne uštede vremena
  3. Odabir modela za kašnjenje
  4. Rukovanje greškama bez pogoršavanja situacije
  5. Vremenska ograničenja i otpornost
  6. Što instrumentirati
  7. Ključne točke

Izvan keša: Ukupne performanse

Keš smanjuje troškove, ali integracija u proizvodnji ovisi o više od same cijene: o kašnjenju koje korisnik osjeća, održivoj propusnosti, pouzdanosti nasuprot prolaznim greškama i sposobnosti dijagnosticiranja degradacije. Aplikacija koja malo košta, ali odgovara za 12 sekundi ili zakaže jednom u 50 pokušaja, nije performantna. Ova lekcija pokriva četiri dimenzije koje su bitne nakon što savladaš troškove.

Strujanje: Ušteda vremena bez stvarne uštede vremena

Za svako sučelje gdje čovjek čeka odgovor, strujanje putem SSE-a (Server-Sent Events) radikalno mijenja percepciju. Bez njega, korisnik bulji u kursor dok model generira 500 tokena; s njim, prve riječi se pojavljuju nakon nekoliko stotina milisekundi i čitanje počinje tijekom generiranja. Ukupno vrijeme je isto, ali percipirano vrijeme smanjuje se nekoliko puta.

import requests
import json

def appel_streaming(messages, model="grok-4.20"):
    reponse = requests.post(
        "https://api.x.ai/v1/chat/completions",
        headers={
            "Authorization": f"Bearer {api_key}",
            "Content-Type": "application/json"
        },
        json={
            "model": model,
            "messages": messages,
            "stream": True
        },
        stream=True
    )

    for ligne in reponse.iter_lines():
        if ligne and ligne.startswith(b"data: "):
            donnees = ligne[6:]
            if donnees == b"[DONE]":
                break
            chunk = json.loads(donnees)
            token = chunk["choices"][0]["delta"].get("content", "")
            yield token

Parametar stream: True ne mijenja ni broj naplaćenih tokena ni njihovu stopu. Ono što poboljšavaš jest TTFT – vrijeme do prvog tokena. Imaj na umu da je funkcija generator: vraća kontrolu token po token, omogućujući ti da pišeš izravno u HTTP odgovor svog poslužitelja bez držanja cijele generacije u memoriji.

Odabir modela za kašnjenje

Druga poluga za kašnjenje je odabir modela, a on prvenstveno ovisi o naporu zaključivanja. Model za zaključivanje proizvodi nevidljive tokene razmišljanja prije nego što sastavi odgovor: kvaliteta raste, ali raste i kašnjenje. Na ekstremima, grok-build-0.1 je najbrži u katalogu, što ga čini prikladnim za uporabu u stvarnom vremenu poput klasifikacije u letu ili automatskog dovršavanja; grok-4.20-0309 u varijanti bez zaključivanja i grok-4.3 nude razuman kompromis između kvalitete i brzine; grok-4.5 s dubokim zaključivanjem nalazi se na drugom kraju, rezerviran za zadatke koji to doista zahtijevaju.

Praktična posljedica je da ne biraš model za cijelu aplikaciju, već za korak. Čest obrazac je imati brzi početni poziv koji odlučuje – je li ovaj zahtjev trivijalan, dvosmislen ili složen? – zatim poslati samo onaj dio slučajeva koji to opravdava modelu za zaključivanje. Time dijeliš i prosječno kašnjenje i prosječni trošak, a da pritom ne degradiraš teške slučajeve.

Rukovanje greškama bez pogoršavanja situacije

Kod 429 obrađen u Lekciji 3 nije jedini s kojim ćeš se susresti. Ključna razlika leži između grešaka koje zaslužuju ponovni pokušaj i onih gdje ponavljanje samo dodaje nepotreban promet.

KodPrirodaRadnja
429 Too Many RequestsObnovljivoEksponencijalno kašnjenje (Lekcija 3)
500 Internal Server ErrorObnovljivoPonovni pokušaj s kašnjenjem; greška je na strani poslužitelja
502 / 503 Service UnavailableObnovljivoPonovni pokušaj nakon nekoliko sekundi
400 Bad RequestKonačnoNeispravan zahtjev; ispravi sadržaj (payload)
401 UnauthorizedKonačnoNevažeći ili istekli API ključ
413 Payload Too LargeKonačnoUpit premašuje ograničenje konteksta

Ovo pravilo možeš kodirati u tri retka i vrijedi ga izdvojiti u funkciju umjesto raspršivanja if izjava posvuda:

def classifier_erreur(status_code):
    recuperable = {429, 500, 502, 503}
    return status_code in recuperable

Vremenska ograničenja i otpornost

Loše postavljeno vremensko ograničenje stvara dva suprotna problema: prekratko i napuštaš zahtjeve koji bi uspjeli; predugo i blokiraš svoje radnike dok se duljina reda povećava. Postavi tri odvojena. Veza se mora uspostaviti u 10 sekundi; nakon toga, problem je u mreži. Čitanje u načinu bez strujanja skalira se s modelom: 120 sekundi za model za zaključivanje, 60 sekundi za grok-build-0.1. Kod strujanja, relevantan prag nije ukupno trajanje već interval između chunkova, postavljen na oko 30 sekundi.

Jedna točka zaslužuje pravi oprez: kada vremensko ograničenje istekne tijekom duge generacije, nemoj automatski ponovno pokretati zahtjev. Model je možda već potrošio tokene za razmišljanje za koje ćeš platiti drugi put, i ništa ne jamči da prvi zahtjev nije uspio na strani poslužitelja. Mehanizam idempotentnosti – ključ zahtjeva koji zadržavaš kako bi prepoznao duplikat – ili eksplicitno nastavak rada funkcioniraju bolje od slijepog ponovnog pokušaja.

Što instrumentirati

Četiri obitelji metrika dovoljne su za dijagnosticiranje većine incidenata.

MetrikaŠto otkrivaCilj
TTFTPercipirano početno kašnjenjePraćenje po modelu
Stopa uspjehaPouzdanost integracijeVeća od 99,5%
Stopa keširanjaKvaliteta strukture upitaVeća od 50%
Trošak po zahtjevuOdstupanje proračuna, pomični prosjekStabilno tijekom vremena

Dodaj kašnjenje na 95. percentilu. Prosjek uvijek maskira ekstremne slučajeve, a oni su ti koji pokreću tikete za podršku: P95 od 8 sekundi znači da jedan korisnik od 20 čeka 8 sekundi, što nijedan prosjek od 1,2 sekunde ne bi otkrio.

Ključne točke

  • SSE strujanje smanjuje percipirano kašnjenje bez utjecaja na trošak
  • Odaberi brzi model za rad u stvarnom vremenu, a model za zaključivanje za kvalitetu
  • Razlikuj obnovljive greške (429, 500, 502/503) od konačnih grešaka (400, 401)
  • Konfiguriraj vremenska ograničenja prilagođena modelu koji se koristi
  • Prati TTFT, stopu uspjeha, stopu keširanja i prosječni trošak po zahtjevu