Optimizirajte stopnjo zadetkov predpomnilnika
Na tej strani
Strukturiraj svoje pozive za predpomnilnik
Predpomnilnik API-ja Grok deluje na podlagi ujemanja prefiksov. Žetoni so predpomnjeni po vrsti, od prvega do zadnjega, ujemanje pa se ustavi pri prvem različnem znaku. Posledica je huda: če spremeniš žeton sredi svojega poziva, vse, kar sledi, izgubi predpomnilnik, tudi če je preostanek beseda za besedo identičen. Dvajsetznakovni časovni žig na začetku poziva zadostuje, da se za naslednjih 50.000 žetonov zaračuna polna cena. Strukturiranje pozivov ni inženirsko samovšečnost – to je tisto, kar loči račun za 200 $ od računa za 1.000 $ za isto storitev.
Zlato pravilo: ne spreminjaj zgodovine
Najpogostejša napaka v proizvodnem okolju je prilagajanje zgodovine sporočil med zahtevami. Preoblikovanje prejšnjega sporočila, prerazporeditev potez, vstavljanje trenutnega datuma ali ID-ja seje v sistemski poziv: vsako od teh dejanj, ki se zdijo neškodljiva, razveljavi predpomnilnik od točke spremembe naprej. Najpogostejši primer se prilega v eno vrstico kode:
# BAD: timestamp in system prompt
messages = [
{"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
# ...
]
Ta časovni žig se spremeni pri vsakem klicu. Ker se nahaja v popolnoma prvem sporočilu, ujemanje prefiksov odpove že pri prvem žetonu in celoten poziv se zaračuna po standardni tarifi, pogovor za pogovorom. Če tvoj model resnično potrebuje vedeti datum, ga postavi v zadnje uporabniško sporočilo, kjer stane le nekaj ducatov nepredpomnjenih žetonov.
Pravilna različica istega poziva ohranja strogo fiksno glavo, zgodovino, ki jo je mogoče le dodajati, in vso novost koncentrira na konec:
# GOOD: static content first, variables at the end
messages = [
{"role": "system", "content": "You are a customer support specialist assistant."},
# UNCHANGED conversation history
{"role": "user", "content": "Previous question..."},
{"role": "assistant", "content": "Previous response..."},
# Only the last message is new
{"role": "user", "content": "User's new question"}
]
Arhitektura poziva, ki se dobro predpomni
Načelo se prilega v en stavek: od najbolj stabilnega do najbolj spremenljivega. Konkretno sledijo štiri plasti v tem vrstnem redu.
- Sistemski poziv (stabilen): splošna navodila, persona, pravila
- Referenčni kontekst (stabilen): dokumentacija, baza znanja
- Zgodovina pogovora (inkrementalna): samo dodajanje, nikoli spreminjanje
- Trenutno sporočilo (spremenljivo): nova zahteva uporabnika
S to razporeditvijo plasti od 1 do 3 pridejo v predpomnilnik, obračuna se le plast 4 po standardni tarifi. Pri aplikaciji, kjer sistemski poziv in skladišče tehtata 8.000 žetonov, se za 60-žetonsko uporabniško vprašanje zaračuna le teh 60 žetonov po polni ceni.
Ta logika velja tudi za manj očitne primere. Če tvoja aplikacija temelji na dolgem referenčnem kontekstu – dokumentaciji o izdelku, pogostih vprašanjih, tehničnih specifikacijah – ga postavi takoj za sistemski poziv: predpomnjen bo od druge zahteve vsakega pogovora naprej. In v nasprotju s splošnim prepričanjem korist ni omejena na eno sejo: dva različna pogovora, ki si delita isti prefiks, isti sistemski poziv in isti referenčni kontekst, si medsebojno koristita s predpomnilnikom. V večuporabniški aplikaciji s skupnim pozivom vsak uporabnik koristi od prometa drugih, zaradi česar je dolg, stabilen sistemski poziv veliko manj stroškovno zahteven, kot se zdi.
Refleks, ki vse pokvari: krajšanje zgodovine
Ko se pogovor podaljša in se približa omejitvi konteksta, je nagon, da se odreže najstarejša sporočila. To je točno tisto, česar ne smeš storiti: z odstranitvijo začetka premakneš vse ostalo in uničiš ujemanje prefiksov. Prihraniš nekaj tisoč žetonov, plačaš pa nazaj petdeset tisoč po polni ceni. Raje uporabi povzemanje, ki stare izmenjave kondenzira v enkrat prepisan sistemski poziv, nedavna sporočila pa pusti nedotaknjena:
# Instead of truncating history:
# messages = messages[-10:] # BAD: breaks cache
# Summarize old messages into the system prompt:
messages = [
{"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
# Recent messages unmodified
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."},
{"role": "user", "content": "New question"}
]
Meri in izboljšuj
Sledi dnevni stopnji zadetkov predpomnilnika kot proizvodnemu metrika sama po sebi, tako kot stopnji napak. Tukaj je razlaga vrednosti, ki jo opaziš.
| Stopnja predpomnilnika | Razlaga |
|---|---|
| Manj kot 30 % | Slabo strukturirani pozivi ali spremenljivi elementi na začetku zaporedja |
| 30 do 60 % | Sprejemljivo za kratke pogovore, izboljšljivo z daljšim, stabilnim sistemskim pozivom |
| Več kot 60 % | Dober rezultat, značilen za dobro strukturirane pozive |
| Več kot 80 % | Odlično, prihranki so znatni |
Vrednost tega sledenja je predvsem diferencialna. Stabilna vrednost pri 65 %, ki čez noč pade na 20 %, kaže na okvarjeno uvedbo v nekaj urah: v skoraj vseh primerih je bil na začetek poziva pravkar uveden spremenljiv element. Preizkusi to sam na svoji trenutni aplikaciji – vzemi povprečno stopnjo čez sto zahtev, premakni spremenljiv element na konec poziva in primerjaj.
Ključne ugotovitve
- Predpomnilnik deluje preko ujemanja prefiksov: nikoli ne spreminjaj žetonov na začetku poziva
- Strukturiraj svoje pozive od najbolj stabilnega do najbolj spremenljivega
- Nikoli ne dodajaj spremenljivih podatkov (časovni žig, ID-ji) v sistemski poziv
- Raje uporabi povzemanje namesto krajšanja, da ohraniš predpomnilnik pri dolgih pogovorih
- Spremljaj svojo dnevno stopnjo zadetkov predpomnilnika kot finančni kazalnik uspešnosti