Optimalizace míry zásahu cache
Na této stránce
Strukturování promptů pro cache
Cache API Grok funguje na principu shody prefixů. Tokeny se ukládají do cache postupně, od prvního k poslednímu, a porovnávání se zastaví u prvního odlišného znaku. Důsledek je drtivý: změníš-li token uprostřed promptu, vše, co následuje, ztratí svou cache, i když je zbytek slovo od slova totožný. Stačí dvacetiznakové časové razítko na začátku promptu, aby se spustilo plné účtování za následujících 50 000 tokenů. Strukturování promptů není inženýrská marnivost – je to rozdíl mezi fakturou za 200 $ a za 1 000 $ za stejnou službu.
Zlaté pravidlo: Neměň historii
Nejčastější pastí v produkci je upravování historie zpráv mezi jednotlivými požadavky. Přeformátování předchozí zprávy, přeuspořádání tahů, vložení aktuálního data nebo ID relace do systémového promptu: každý z těchto zdánlivě neškodných gest zneplatní cache od místa úpravy až do konce. Nejrozšířenější případ se vejde do jediného řádku kódu:
# ŠPATNĚ: časové razítko v systémovém promptu
messages = [
{"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
# ...
]
Toto časové razítko se mění při každém volání. Protože se nachází v úplně první zprávě, shoda prefixů selže již u prvního tokenu a celý prompt je účtován standardní sazbou, konverzace za konverzací. Pokud tvůj model skutečně potřebuje znát datum, umísti jej do poslední zprávy uživatele, kde stojí pouze několik desítek tokenů mimo cache.
Správná verze téhož promptu udržuje striktně pevnou hlavičku, historii pouze doplňovanou (append-only) a veškerou novost soustředí na konec:
# DOBŘE: nejprve statický obsah, proměnné na konci
messages = [
{"role": "system", "content": "You are a customer support specialist assistant."},
# NEZMĚNĚNÁ historie konverzace
{"role": "user", "content": "Previous question..."},
{"role": "assistant", "content": "Previous response..."},
# Pouze poslední zpráva je nová
{"role": "user", "content": "User's new question"}
]
Architektura promptu, která dobře funguje s cache
Princip se vejde do jedné věty: od nejstabilnějšího k nejproměnlivějšímu. Konkrétně následují čtyři vrstvy v tomto pořadí:
- Systémový prompt (stabilní): obecné pokyny, persona, pravidla
- Referenční kontext (stabilní): dokumentace, znalostní báze
- Historie konverzace (inkrementální): pouze doplňovaná, nikdy neměněná
- Aktuální zpráva (proměnná): nový požadavek uživatele
S tímto uspořádáním spadnou vrstvy 1 až 3 do cache a pouze vrstva 4 je účtována standardní sazbou. V aplikaci, kde systémový prompt a repozitář váží 8 000 tokenů, je u 60tokenové otázky uživatele účtováno plnou cenou pouze těchto 60 tokenů.
Tato logika platí i pro méně zřejmé případy. Pokud tvoje aplikace spoléhá na dlouhý referenční kontext – produktovou dokumentaci, FAQ, technické specifikace – umísti jej hned za systémový prompt: od druhého požadavku každé konverzace bude v cache. A na rozdíl od běžného předpokladu není přínos omezen na jedinou relaci: dvě různé konverzace, které sdílejí stejný prefix, stejný systémový prompt a stejný referenční kontext, si vzájemně sdílejí cache. V multi-uživatelské aplikaci se společným promptem těží každý uživatel z provozu ostatních, což činí dlouhý, stabilní systémový prompt mnohem méně nákladným, než se zdá.
Reflex, který vše rozbíjí: zkracování historie
Když se konverzace prodlužuje a blíží se limitu kontextu, instinkt velí vystřihnout nejstarší zprávy. To je přesně to, co nesmíš dělat: odstraněním začátku posuneš vše ostatní a zničíš shodu prefixů. Ušetříš pár tisíc tokenů a zaplatíš zpět padesát tisíc plnou cenou. Upřednostni sumarizaci, která jednou zkondenzuje staré výměny do přepsaného systémového promptu a nechá nedotčené nedávné zprávy:
# Místo zkracování historie:
# messages = messages[-10:] # ŠPATNĚ: rozbíjí cache
# Sumarizuj staré zprávy do systémového promptu:
messages = [
{"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
# Nedávné zprávy nezměněny
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."},
{"role": "user", "content": "New question"}
]
Měření a zlepšování
Sleduj denní míru zásahu cache jako samostatný produkční metr, stejně jako míru chyb. Zde je návod, jak interpretovat hodnotu, kterou pozoruješ.
| Míra cache | Interpretace |
|---|---|
| Méně než 30 % | Špatně strukturované prompty nebo proměnné prvky na začátku sekvence |
| 30 až 60 % | Přijatelné pro krátké konverzace, zlepšitelné delším, stabilním systémovým promptem |
| Více než 60 % | Dobrý výsledek, typický pro dobře strukturované prompty |
| Více než 80 % | Vynikající, úspory jsou významné |
Hodnota tohoto sledování je především diferenciální. Stabilní hodnota na 65 %, která přes noc klesne na 20 %, ukazuje na chybné nasazení během několika hodin: téměř ve všech případech byl právě na začátek promptu zaveden proměnný prvek. Otestuj si to sám na své aktuální aplikaci – vezmi průměrnou míru ze sta požadavků, přesuň proměnný prvek na konec promptu a porovnej výsledky.
Klíčové poznatky
- Cache funguje na principu shody prefixů: nikdy neměň tokeny na začátku promptu
- Strukturoj své prompty od nejstabilnějšího k nejproměnlivějšímu
- Nikdy nepřidávej proměnná data (časová razítka, ID) do systémového promptu
- Upřednostni sumarizaci před zkracováním, abys zachoval cache u dlouhých konverzací
- Sleduj svou denní míru zásahu cache jako finanční ukazatel výkonu