Optimalizace mezipaměti
Na této stránce
Mezipaměť: Klíčový faktor výkonu
Zásahy do mezipaměti (cache hits) jsou hlavním hnacím motorem rychlosti inferencí pro grok-build-0.1. Když se začátek tvého požadavku (prefix) shoduje s předchozím požadavkem, model načte již vypočítané hodnoty z mezipaměti. Výsledek: odpověď dorazí mnohem rychleji.
Pochopení tohoto mechanismu ti umožní optimalizovat tvoje interakce pro téměř okamžité odpovědi.
Jak funguje mezipaměť
Mezipaměť pracuje na principu společného prefixu:
- Odešleš prompt s historií konverzace
- Model vypočítá tokeny od začátku (systémový prompt + historie)
- Pokud byl tento prefix nedávno vypočítán, načte se z mezipaměti
- Pouze nové tokeny (tvoje poslední zpráva) vyžadují plný výpočet
Čím delší je společný prefix, tím větší je zisk. Ve scénáři párového programování, kde si vyměňujete několik zpráv, každý požadavek znovu využije celou předchozí historii.
Zlaté pravidlo: Neměň historii
Toto je nejdůležitější bod této lekce. Vyvaruj se úprav historie promptů mezi dvěma požadavky. Jakákoli změna na začátku konverzace zneplatní mezipaměť.
Co rozbíjí mezipaměť
- Přeuspořádání zpráv v historii
- Úprava předchozí zprávy (i jediného znaku)
- Odstranění zpráv z historie
- Vložení zprávy uprostřed konverzace
- Změna systémového promptu během konverzace
Co zachovává mezipaměť
- Přidání nové zprávy na konec konverzace (běžné chování)
- Ponechání systémového promptu identického po celou relaci
- Udržování historie nedotčené bez úprav
Stabilní prefix
Pro maximalizaci zásahů do mezipaměti strukturovej své požadavky se stabilním prefixem:
[Systémový prompt (pevný)]
[Zpráva uživatele 1 (pevná)]
[Odpověď modelu 1 (pevná)]
[Zpráva uživatele 2 (pevná)]
[Odpověď modelu 2 (pevná)]
...
[Nová zpráva uživatele] ← vypočítává se pouze tato část
Systémový prompt je obzvláště důležitý. Definuj jej jednou na začátku relace a již jej neměň. Pokud vyvíjíš API agenta s grok-build-0.1, napiš úplný a stabilní systémový prompt.
Reálný dopad
V typickém scénáři párového programování s 10 výměnami:
- Bez optimalizace mezipaměti: každý požadavek přepočítává celou historii. Latence roste s každou výměnou
- S optimalizovanou mezipamětí: vypočítává se pouze poslední zpráva. Latence zůstává konstantní bez ohledu na délku konverzace
Rozdíl může být v řádu několika sekund na interakci. Během hodinové vývojové relace se stovkami výměn je kumulativní zisk značný.
Pro vývojáře agentů
Pokud buduješ API agenta, který využívá grok-build-0.1 ve scénářích sekvenčního používání nástrojů:
- Prefix zůstává mezi jednotlivými voláními nástrojů identický, což se automaticky načítá z mezipaměti
- Nepřeformátovávej výsledky nástrojů před jejich odesláním zpět modelu
- Vyvaruj se transformací historie (sumarizace, komprese), které by rozbily mezipaměť
- Při každém volání udržuj stejné pořadí zpráv
Klíčové poznatky
- Zásahy do mezipaměti jsou hlavním faktorem rychlosti pro grok-build-0.1
- Nikdy neměň historii promptů mezi dvěma požadavky
- Systémový prompt musí zůstat po celou relaci stabilní
- Přidávej na konec, nikdy neupravuj začátek
- U sekvenčních agentů mezipaměť funguje přirozeně, pokud je zachována historie