Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Optimiziraj stopu pogodaka predmemorije

Lekcija 10 od 14 Ažurirano 29. srpnja 2026. Napredno
Na ovoj stranici
  1. Strukturiraj svoje upite za predmemoriranje
  2. Zlatno pravilo: Ne mijenjaj povijest
  3. Arhitektura upita koja se dobro predmemorira
  4. Refleks koji sve ruši: skraćivanje povijesti
  5. Mjeri i poboljšavaj
  6. Ključne točke

Strukturiraj svoje upite za predmemoriranje

Predmemorija Grok API-ja radi putem podudaranja prefiksa. Tokeni se predmemoriraju redom, od prvog do zadnjeg, a podudaranje se zaustavlja kod prvog različitog znaka. Posljedica je ozbiljna: izmijeniš li token usred svog upita, sve što slijedi gubi predmemoriju, čak i ako je ostatak riječ-po-riječ identičan. Dvadesetoznakovna vremenska oznaka na početku upita dovoljna je da aktivira punu cijenu za 50.000 tokena koji slijede. Strukturiranje upita nije inženjerska taština – to je ono što razdvaja račun od 200 $ od računa od 1.000 $ za istu uslugu.

Zlatno pravilo: Ne mijenjaj povijest

Najčešća zamka u proizvodnji je dotjerivanje povijesti poruka između zahtjeva. Ponovno formatiranje prethodne poruke, promjena redoslijeda razmjena, ubacivanje trenutnog datuma ili ID-a sesije u sistemski upit: svaka od ovih radnji, naizgled bezopasna, poništava predmemoriju od točke izmjene pa nadalje. Najrašireniji slučaj stane u jedan redak koda:

# BAD: timestamp in system prompt
messages = [
    {"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
    # ...
]

Ova se vremenska oznaka mijenja pri svakom pozivu. Budući da se nalazi u samoj prvoj poruci, podudaranje prefiksa ne uspijeva već na prvom tokenu, pa se cijeli upit naplaćuje po standardnoj stopi, razgovor za razgovorom. Ako tvoj model doista treba znati datum, stavi ga u zadnju korisničku poruku, gdje košta samo nekoliko desetaka nepredmemoriranih tokena.

Ispravna verzija istog upita zadržava strogo fiksno zaglavlje, povijest koja se samo nadograđuje i svu novost koncentrira na kraj:

# GOOD: static content first, variables at the end
messages = [
    {"role": "system", "content": "You are a customer support specialist assistant."},
    # UNCHANGED conversation history
    {"role": "user", "content": "Previous question..."},
    {"role": "assistant", "content": "Previous response..."},
    # Only the last message is new
    {"role": "user", "content": "User's new question"}
]

Arhitektura upita koja se dobro predmemorira

Načelo staje u jednu rečenicu: od najstabilnijeg prema najpromjenjivijem. Konkretno, četiri sloja slijede ovim redoslijedom.

  1. Sistemski upit (stabilan): opće upute, persona, pravila
  2. Referentni kontekst (stabilan): dokumentacija, baza znanja
  3. Povijest razgovora (inkrementalna): samo nadograđivanje, nikada izmjena
  4. Trenutna poruka (promjenjiva): novi zahtjev korisnika

Ovim rasporedom slojevi 1 do 3 padaju u predmemoriju, a samo se sloj 4 naplaćuje po standardnoj stopi. U aplikaciji gdje sistemski upit i repozitorij teže 8.000 tokena, korisničko pitanje od 60 tokena naplaćuje se po punoj cijeni samo za tih 60 tokena.

Ova se logika proteže i na manje očite slučajeve. Ako se tvoja aplikacija oslanja na dugačak referentni kontekst – dokumentaciju o proizvodu, često postavljana pitanja, tehničke specifikacije – smjesti ga odmah nakon sistemskog upita: bit će predmemoriran od drugog zahtjeva u svakom razgovoru nadalje. Suprotno uobičajenoj pretpostavci, korist nije ograničena na jednu sesiju: dva različita razgovora koja dijele isti prefiks, isti sistemski upit i isti referentni kontekst, međusobno se predmemoriraju. U aplikaciji s više korisnika koja koristi zajednički upit, svaki korisnik ima koristi od prometa drugih, čineći dugačak, stabilan sistemski upit daleko manje skupim nego što se čini.

Refleks koji sve ruši: skraćivanje povijesti

Kada se razgovor produži i približi ograničenju konteksta, instinkt je izrezati najranije poruke. To je upravo ono što ne smiješ učiniti: uklanjanjem početka pomičeš sve ostalo i uništavaš podudaranje prefiksa. Uštediš nekoliko tisuća tokena, a platiš pedeset tisuća po punoj cijeni. Daj prednost sažimanju, koje sažima stare razmjene u jednom prepisani sistemski upit, ostavljajući nedavne poruke netaknutima:

# Instead of truncating history:
# messages = messages[-10:]  # BAD: breaks cache

# Summarize old messages into the system prompt:
messages = [
    {"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
    # Recent messages unmodified
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "New question"}
]

Mjeri i poboljšavaj

Prati dnevnu stopu pogodaka predmemorije kao proizvodni metrik sam po sebi, baš kao i stopu pogrešaka. Evo kako protumačiti vrijednost koju opažaš.

Stopa predmemorijeTumačenje
Manje od 30%Loše strukturirani upiti ili promjenjivi elementi na početku niza
30 do 60%Prihvatljivo za kratke razgovore, može se poboljšati duljim, stabilnim sistemskim upitom
Više od 60%Dobar rezultat, tipičan za dobro strukturirane upite
Više od 80%Izvrsno, uštede su značajne

Vrijednost ovog praćenja uglavnom je diferencijalna. Stabilna vrijednost od 65% koja preko noći padne na 20% ukazuje na neispravno uvođenje unutar nekoliko sati: u gotovo svim slučajevima, upravo je uvedena promjenjiva varijabla na početak upita. Isprobaj to sam na svojoj trenutnoj aplikaciji – uzmi prosječnu stopu kroz sto zahtjeva, premjesti promjenjivi element na kraj upita i usporedi.

Ključne točke

  • Predmemorija radi putem podudaranja prefiksa: nikada ne mijenjaj tokene na početku upita
  • Strukturiraj svoje upite od najstabilnijeg prema najpromjenjivijem
  • Nikada ne dodajuj promjenjive podatke (vremenska oznaka, ID-ovi) u sistemski upit
  • Daj prednost sažimanju umjesto skraćivanju kako bi sačuvao predmemoriju u dugim razgovorima
  • Prati svoju dnevnu stopu pogodaka predmemorije kao financijski metrik uspješnosti