Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Optimizirajte stopnjo zadetkov predpomnilnika

Lekcija 10 od 14 Posodobljeno 29. julij 2026 Napredni
Na tej strani
  1. Strukturiraj svoje pozive za predpomnilnik
  2. Zlato pravilo: ne spreminjaj zgodovine
  3. Arhitektura poziva, ki se dobro predpomni
  4. Refleks, ki vse pokvari: krajšanje zgodovine
  5. Meri in izboljšuj
  6. Ključne ugotovitve

Strukturiraj svoje pozive za predpomnilnik

Predpomnilnik API-ja Grok deluje na podlagi ujemanja prefiksov. Žetoni so predpomnjeni po vrsti, od prvega do zadnjega, ujemanje pa se ustavi pri prvem različnem znaku. Posledica je huda: če spremeniš žeton sredi svojega poziva, vse, kar sledi, izgubi predpomnilnik, tudi če je preostanek beseda za besedo identičen. Dvajsetznakovni časovni žig na začetku poziva zadostuje, da se za naslednjih 50.000 žetonov zaračuna polna cena. Strukturiranje pozivov ni inženirsko samovšečnost – to je tisto, kar loči račun za 200 $ od računa za 1.000 $ za isto storitev.

Zlato pravilo: ne spreminjaj zgodovine

Najpogostejša napaka v proizvodnem okolju je prilagajanje zgodovine sporočil med zahtevami. Preoblikovanje prejšnjega sporočila, prerazporeditev potez, vstavljanje trenutnega datuma ali ID-ja seje v sistemski poziv: vsako od teh dejanj, ki se zdijo neškodljiva, razveljavi predpomnilnik od točke spremembe naprej. Najpogostejši primer se prilega v eno vrstico kode:

# BAD: timestamp in system prompt
messages = [
    {"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
    # ...
]

Ta časovni žig se spremeni pri vsakem klicu. Ker se nahaja v popolnoma prvem sporočilu, ujemanje prefiksov odpove že pri prvem žetonu in celoten poziv se zaračuna po standardni tarifi, pogovor za pogovorom. Če tvoj model resnično potrebuje vedeti datum, ga postavi v zadnje uporabniško sporočilo, kjer stane le nekaj ducatov nepredpomnjenih žetonov.

Pravilna različica istega poziva ohranja strogo fiksno glavo, zgodovino, ki jo je mogoče le dodajati, in vso novost koncentrira na konec:

# GOOD: static content first, variables at the end
messages = [
    {"role": "system", "content": "You are a customer support specialist assistant."},
    # UNCHANGED conversation history
    {"role": "user", "content": "Previous question..."},
    {"role": "assistant", "content": "Previous response..."},
    # Only the last message is new
    {"role": "user", "content": "User's new question"}
]

Arhitektura poziva, ki se dobro predpomni

Načelo se prilega v en stavek: od najbolj stabilnega do najbolj spremenljivega. Konkretno sledijo štiri plasti v tem vrstnem redu.

  1. Sistemski poziv (stabilen): splošna navodila, persona, pravila
  2. Referenčni kontekst (stabilen): dokumentacija, baza znanja
  3. Zgodovina pogovora (inkrementalna): samo dodajanje, nikoli spreminjanje
  4. Trenutno sporočilo (spremenljivo): nova zahteva uporabnika

S to razporeditvijo plasti od 1 do 3 pridejo v predpomnilnik, obračuna se le plast 4 po standardni tarifi. Pri aplikaciji, kjer sistemski poziv in skladišče tehtata 8.000 žetonov, se za 60-žetonsko uporabniško vprašanje zaračuna le teh 60 žetonov po polni ceni.

Ta logika velja tudi za manj očitne primere. Če tvoja aplikacija temelji na dolgem referenčnem kontekstu – dokumentaciji o izdelku, pogostih vprašanjih, tehničnih specifikacijah – ga postavi takoj za sistemski poziv: predpomnjen bo od druge zahteve vsakega pogovora naprej. In v nasprotju s splošnim prepričanjem korist ni omejena na eno sejo: dva različna pogovora, ki si delita isti prefiks, isti sistemski poziv in isti referenčni kontekst, si medsebojno koristita s predpomnilnikom. V večuporabniški aplikaciji s skupnim pozivom vsak uporabnik koristi od prometa drugih, zaradi česar je dolg, stabilen sistemski poziv veliko manj stroškovno zahteven, kot se zdi.

Refleks, ki vse pokvari: krajšanje zgodovine

Ko se pogovor podaljša in se približa omejitvi konteksta, je nagon, da se odreže najstarejša sporočila. To je točno tisto, česar ne smeš storiti: z odstranitvijo začetka premakneš vse ostalo in uničiš ujemanje prefiksov. Prihraniš nekaj tisoč žetonov, plačaš pa nazaj petdeset tisoč po polni ceni. Raje uporabi povzemanje, ki stare izmenjave kondenzira v enkrat prepisan sistemski poziv, nedavna sporočila pa pusti nedotaknjena:

# Instead of truncating history:
# messages = messages[-10:]  # BAD: breaks cache

# Summarize old messages into the system prompt:
messages = [
    {"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
    # Recent messages unmodified
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "New question"}
]

Meri in izboljšuj

Sledi dnevni stopnji zadetkov predpomnilnika kot proizvodnemu metrika sama po sebi, tako kot stopnji napak. Tukaj je razlaga vrednosti, ki jo opaziš.

Stopnja predpomnilnikaRazlaga
Manj kot 30 %Slabo strukturirani pozivi ali spremenljivi elementi na začetku zaporedja
30 do 60 %Sprejemljivo za kratke pogovore, izboljšljivo z daljšim, stabilnim sistemskim pozivom
Več kot 60 %Dober rezultat, značilen za dobro strukturirane pozive
Več kot 80 %Odlično, prihranki so znatni

Vrednost tega sledenja je predvsem diferencialna. Stabilna vrednost pri 65 %, ki čez noč pade na 20 %, kaže na okvarjeno uvedbo v nekaj urah: v skoraj vseh primerih je bil na začetek poziva pravkar uveden spremenljiv element. Preizkusi to sam na svoji trenutni aplikaciji – vzemi povprečno stopnjo čez sto zahtev, premakni spremenljiv element na konec poziva in primerjaj.

Ključne ugotovitve

  • Predpomnilnik deluje preko ujemanja prefiksov: nikoli ne spreminjaj žetonov na začetku poziva
  • Strukturiraj svoje pozive od najbolj stabilnega do najbolj spremenljivega
  • Nikoli ne dodajaj spremenljivih podatkov (časovni žig, ID-ji) v sistemski poziv
  • Raje uporabi povzemanje namesto krajšanja, da ohraniš predpomnilnik pri dolgih pogovorih
  • Spremljaj svojo dnevno stopnjo zadetkov predpomnilnika kot finančni kazalnik uspešnosti