Optimalizácia miery zásahu cache
Na tejto strane
Štruktúruj svoje prompty pre cache
Cache API Grok funguje na princípe zhody prefixu. Tokeny sa ukladajú do cache v poradí od prvého po posledný a zhoda sa zastaví pri prvom odlišnom znaku. Dôsledok je drastický: ak zmeníš token uprostred promptu, všetko, čo nasleduje po ňom, stratí svoju cache, aj keď je zvyšok slovo od slova identický. Stačí dvadsaťznaková časová pečiatka na začiatku promptu, aby sa spustilo plné účtovanie za nasledujúcich 50 000 tokenov. Štruktúrovanie promptov nie je inžinierska márnivosť – je to to, čo oddeľuje faktúru za 200 $ od faktúry za 1 000 $ za rovnakú službu.
Zlaté pravidlo: Neupravuj históriu
Najčastejšou pascou v produkcii je upravovanie histórie správ medzi jednotlivými požiadavkami. Preformátovanie predchádzajúcej správy, zmena poradia ťahov, vloženie aktuálneho dátumu alebo ID relácie do systémového promptu: každý z týchto zdanlivo neškodných krokov zneplatní cache od bodu úpravy až do konca. Najrozšírenejší prípad sa zmestí do jedného riadku kódu:
# BAD: timestamp in system prompt
messages = [
{"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
# ...
]
Táto časová pečiatka sa mení pri každom volaní. Keďže sa nachádza v úplne prvej správe, zhoda prefixu zlyhá už pri prvom tokene a celý prompt sa účtuje štandardnou sadzbou, rozhovor za rozhovorom. Ak tvoj model skutočne potrebuje poznať dátum, umiestni ho do poslednej správy používateľa, kde to bude stáť len niekoľko desiatok tokenov mimo cache.
Správna verzia toho istého promptu udržuje striktne fixnú hlavičku, históriu len na pripájanie (append-only) a sústredí všetku novotu na koniec:
# GOOD: static content first, variables at the end
messages = [
{"role": "system", "content": "You are a customer support specialist assistant."},
# UNCHANGED conversation history
{"role": "user", "content": "Previous question..."},
{"role": "assistant", "content": "Previous response..."},
# Only the last message is new
{"role": "user", "content": "User's new question"}
]
Architektúra promptu, ktorá dobre funguje s cache
Princíp sa zmestí do jednej vety: od najstabilnejšieho po najpremenlivejší. Konkrétne nasledujú štyri vrstvy v tomto poradí:
- Systémový prompt (stabilný): všeobecné inštrukcie, persona, pravidlá
- Referenčný kontext (stabilný): dokumentácia, znalostná báza
- História konverzácie (inkrementálna): len na pripájanie, nikdy neupravovať
- Aktuálna správa (premenlivá): nová požiadavka používateľa
Pri tomto usporiadaní sa vrstvy 1 až 3 uložia do cache a iba vrstva 4 sa účtuje štandardnou sadzbou. V aplikácii, kde systémový prompt a repozitár vážia 8 000 tokenov, sa pri 60-tokenovej otázke používateľa účtuje plnou cenou len týchto 60 tokenov.
Táto logika sa vzťahuje aj na menej zrejmé prípady. Ak sa tvoja aplikácia spolieha na dlhý referenčný kontext – dokumentáciu produktu, FAQ, technické špecifikácie – umiestni ho hneď za systémový prompt: od druhej požiadavky v každej konverzácii bude v cache. A na rozdiel od bežného predpokladu nie je benefit obmedzený len na jednu reláciu: dve odlišné konverzácie, ktoré zdieľajú rovnaký prefix, rovnaký systémový prompt a rovnaký referenčný kontext, si navzájom využívajú cache. V multi-užívateľskej aplikácii so spoločným promptom profituje každý používateľ z prevádzky ostatných, čo robí dlhý, stabilný systémový prompt oveľa lacnejším, než sa na prvý pohľad zdá.
Reflex, ktorý všetko pokazí: Krátenie histórie
Keď sa konverzácia predlžuje a blíži sa k limitu kontextu, inštinkt hovorí vystrihnúť najstaršie správy. Presne to je to, čo nesmieš robiť: odstránením začiatku posunieš všetko ostatné a zničíš zhodu prefixu. Ušetríš pár tisíc tokenov a zaplatíš späť päťdesiat tisíc plnou cenou. Uprednostni sumarizáciu, ktorá kondenzuje staré výmeny do prepísaného systémového promptu raz, pričom nedávne správy zostanú nedotknuté:
# Instead of truncating history:
# messages = messages[-10:] # BAD: breaks cache
# Summarize old messages into the system prompt:
messages = [
{"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
# Recent messages unmodified
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."},
{"role": "user", "content": "New question"}
]
Meraj a zlepšuj
Sleduj dennú mieru zásahu cache ako samostatný produkčný ukazovateľ, rovnako ako mieru chýb. Tu je návod, ako interpretovať hodnotu, ktorú pozoruješ.
| Miera cache | Interpretácia |
|---|---|
| Menej ako 30 % | Zle štruktúrované prompty alebo premenlivé prvky na začiatku sekvencie |
| 30 až 60 % | Prijateľné pre krátke konverzácie, zlepšiteľné dlhším, stabilným systémovým promptom |
| Viac ako 60 % | Dobrý výsledok, typický pre dobre štruktúrované prompty |
| Viac ako 80 % | Výborné, úspory sú významné |
Hodnota tohto sledovania je predovšetkým diferenciálna. Stabilná hodnota na úrovni 65 %, ktorá cez noc klesne na 20 %, ukáže na chybné nasadenie v priebehu hodín: takmer vo všetkých prípadoch bol práve na začiatok promptu zavedený premenlivý prvok. Otestuj si to sám na svojej aktuálnej aplikácii – vezmi priemernú mieru zo sto požiadaviek, presuň premenlivý prvok na koniec promptu a porovnaj výsledky.
Kľúčové poznatky
- Cache funguje na princípe zhody prefixu: nikdy neupravuj tokeny na začiatku promptu
- Štruktúruj svoje prompty od najstabilnejšieho po najpremenlivejší
- Nikdy nepridávaj premenlivé údaje (časová pečiatka, ID) do systémového promptu
- Uprednostni sumarizáciu pred krátením, aby si zachoval cache pri dlhých konverzáciách
- Sleduj svoju dennú mieru zásahu cache ako ukazovateľ finančnej výkonnosti