A gyorsítótár-találati arány optimalizálása
Ezen az oldalon
A promptok strukturálása a gyorsítótárazáshoz
A Grok API gyorsítótára előtag-egyeztetéssel (prefix matching) működik. A tokenek sorrendben, az elsőtől az utolsóig kerülnek gyorsítótárba, és az egyezés az első eltérő karakternél megszakad. Ennek súlyos következményei vannak: ha módosítasz egy tokent a prompt közepén, minden azt követő rész elveszíti a gyorsítótárazott státuszát, még akkor is, ha a maradék szó szerint megegyezik. Egy húsz karakteres időbélyeg a prompt elején elegendő ahhoz, hogy a rá következő 50 000 token után teljes árat számoljanak fel. A promptok megfelelő strukturálása nem mérnöki hiúság – ez választja el a 200 dolláros számlát az 1000 dollárostól ugyanazon szolgáltatás esetén.
Az aranyszabály: Soha ne módosítsd a történetet
A leggyakoribb hiba éles környezetben az üzenetelőzmények finomhangolása a kérések között. Egy korábbi üzenet újraformázása, a körök sorrendjének megváltoztatása, vagy egy aktuális dátum illetve munkamenet-azonosító beszúrása a rendszer-promptba: mindegyik, látszólag ártalmatlan mozdulat érvényteleníti a gyorsítótárat a módosítás pontjától kezdve. A legelterjedtebb eset egyetlen sor kódba sűríthető:
# ROSSZ: időbélyeg a rendszer-promptban
messages = [
{"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
# ...
]
Ez az időbélyeg minden híváskor megváltozik. Mivel az első üzenetben helyezkedik el, az előtag-egyeztetés már az első tokennél meghiúsul, és a teljes promptot standard áron számlázzák, beszélgetésről beszélgetésre. Ha a modellnek valóban szüksége van a dátum ismeretére, helyezd azt az utolsó felhasználói üzenetbe, ahol csak néhány tucat nem gyorsítótárazott token költségét jelenti.
Ugyanezen prompt helyes változata szigorúan rögzített fejlécet, csak bővíthető előzményeket tart fenn, és az összes újdonságot a végére koncentrálja:
# JÓ: először statikus tartalom, a változók a végén
messages = [
{"role": "system", "content": "You are a customer support specialist assistant."},
# VÁLTOZATLAN beszélgetési előzmények
{"role": "user", "content": "Previous question..."},
{"role": "assistant", "content": "Previous response..."},
# Csak az utolsó üzenet új
{"role": "user", "content": "User's new question"}
]
Egy jól gyorsítótárazható prompt-architektúra
Az elv egyetlen mondatba sűríthető: a legstabilabbtól a legváltozékonyabbig. Konkréten négy réteg követi egymást ebben a sorrendben.
- Rendszer-prompt (stabil): általános utasítások, szerepkör, szabályok
- Hivatkozási kontextus (stabil): dokumentáció, tudásbázis
- Beszélgetési előzmények (növekvő): csak bővíthető, soha ne módosítsd
- Aktuális üzenet (változó): a felhasználó új kérése
Ezzel az elrendezéssel az 1–3. rétegek a gyorsítótárba kerülnek, és csak a 4. réteget számlázzák standard áron. Olyan alkalmazásoknál, ahol a rendszer-prompt és a kódtár 8000 tokent nyom, egy 60 tokenes felhasználói kérdés esetén csak azt a 60 tokent kell teljes áron fizetni.
Ez a logika kevésbé kézenfekvő esetekre is kiterjed. Ha az alkalmazásod hosszú hivatkozási kontextusra támaszkodik – termékdokumentáció, GYIK, műszaki specifikációk –, helyezd azt közvetlenül a rendszer-prompt után: így a második kéréstől kezdve minden beszélgetésben gyorsítótárazva lesz. És ellentétben a gyakori feltételezéssel, az előny nem korlátozódik egyetlen munkamenetre: két különböző beszélgetés, amely ugyanazt az előtagot, ugyanazt a rendszer-promptot és ugyanazt a hivatkozási kontextust osztja meg, kölcsönösen gyorsítótárazza egymást. Többfelhasználós alkalmazásban, közös prompt esetén minden felhasználó profitál a többiek forgalmából, így egy hosszú, stabil rendszer-prompt sokkal kevésbé költséges, mint elsőre tűnik.
A reflex, ami mindent tönkretesz: az előzmények csonkolása
Amikor egy beszélgetés elhúzódik és megközelíti a kontextuslimitet, az ösztön azt diktálja, hogy vágd le a legkorábbi üzeneteket. Pontosan ezt nem szabad tenned: a kezdet eltávolásával minden mást eltolasz, és megsemmisíted az előtag-egyeztetést. Megspórolsz néhány ezer tokent, de cserébe ötvenezeret fizetsz ki teljes áron. Részesítsd előnyben az összefoglalást, amely az régi váltásokat egyetlen, átírt rendszer-prompttá sűríti, miközben a legfrissebb üzenetek érintetlenek maradnak:
# Az előzmények csonkolása helyett:
# messages = messages[-10:] # ROSSZ: megtöri a gyorsítótárat
# Foglald össze a régi üzeneteket a rendszer-promptban:
messages = [
{"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
# Legfrissebb üzenetek módosítatlanul
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."},
{"role": "user", "content": "New question"}
]
Mérés és fejlesztés
Kísérd figyelemmel a napi gyorsítótár-találati arányt (cache hit rate) mint önálló éles környezeti metrikát, ugyanúgy, mint a hibarátát. Íme, hogyan értelmezd a megfigyelt értéket.
| Gyorsítótár-arány | Értelmezés |
|---|---|
| 30% alatt | Rosszul strukturált promptok vagy változó elemek a szekvencia elején |
| 30–60% | Rövid beszélgetéseknél elfogadható; hosszabb, stabil rendszer-prompttal javítható |
| 60% felett | Jó eredmény, jól strukturált promptokra jellemző |
| 80% felett | Kiváló, a megtakarítás jelentős |
Ennek a nyomon követésnek az értéke elsősorban differenciális. Egy stabil 65%-os érték, amely egyik napról a másikra 20%-ra esik vissza, órákon belül rámutat a hibás telepítésre: szinte minden esetben egy változó elem került a prompt elejére. Teszteld le magad is a jelenlegi alkalmazásodon – vedd az átlagos arányt száz kérés alapján, helyezz át egy változó elemet a prompt végére, és hasonlítsd össze az eredményt.
Főbb megállapítások
- A gyorsítótár előtag-egyeztetéssel működik: soha ne módosíts tokeneket a prompt elején
- Strukturáld a promptokat a legstabilabbtól a legváltozékonyabbig
- Soha ne adj hozzá változó adatokat (időbélyeg, azonosítók) a rendszer-promptban
- Hosszú beszélgetéseknél a gyorsítótár megőrzése érdekében részesítsd előnyben az összefoglalást a csonkolással szemben
- Figyeld a napi gyorsítótár-találati arányodat pénzügyi teljesítménymutatóként