Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Optimalizace mezipaměti

Lekce 8 z 14 Aktualizováno 29. července 2026 Vývojář
Na této stránce
  1. Mezipaměť: Klíčový faktor výkonu
  2. Jak funguje mezipaměť
  3. Zlaté pravidlo: Neměň historii
  4. Stabilní prefix
  5. Reálný dopad
  6. Pro vývojáře agentů
  7. Klíčové poznatky

Mezipaměť: Klíčový faktor výkonu

Zásahy do mezipaměti (cache hits) jsou hlavním hnacím motorem rychlosti inferencí pro grok-build-0.1. Když se začátek tvého požadavku (prefix) shoduje s předchozím požadavkem, model načte již vypočítané hodnoty z mezipaměti. Výsledek: odpověď dorazí mnohem rychleji.

Pochopení tohoto mechanismu ti umožní optimalizovat tvoje interakce pro téměř okamžité odpovědi.

Jak funguje mezipaměť

Mezipaměť pracuje na principu společného prefixu:

  1. Odešleš prompt s historií konverzace
  2. Model vypočítá tokeny od začátku (systémový prompt + historie)
  3. Pokud byl tento prefix nedávno vypočítán, načte se z mezipaměti
  4. Pouze nové tokeny (tvoje poslední zpráva) vyžadují plný výpočet

Čím delší je společný prefix, tím větší je zisk. Ve scénáři párového programování, kde si vyměňujete několik zpráv, každý požadavek znovu využije celou předchozí historii.

Zlaté pravidlo: Neměň historii

Toto je nejdůležitější bod této lekce. Vyvaruj se úprav historie promptů mezi dvěma požadavky. Jakákoli změna na začátku konverzace zneplatní mezipaměť.

Co rozbíjí mezipaměť

  • Přeuspořádání zpráv v historii
  • Úprava předchozí zprávy (i jediného znaku)
  • Odstranění zpráv z historie
  • Vložení zprávy uprostřed konverzace
  • Změna systémového promptu během konverzace

Co zachovává mezipaměť

  • Přidání nové zprávy na konec konverzace (běžné chování)
  • Ponechání systémového promptu identického po celou relaci
  • Udržování historie nedotčené bez úprav

Stabilní prefix

Pro maximalizaci zásahů do mezipaměti strukturovej své požadavky se stabilním prefixem:

[Systémový prompt (pevný)]
[Zpráva uživatele 1 (pevná)]
[Odpověď modelu 1 (pevná)]
[Zpráva uživatele 2 (pevná)]
[Odpověď modelu 2 (pevná)]
...
[Nová zpráva uživatele] ← vypočítává se pouze tato část

Systémový prompt je obzvláště důležitý. Definuj jej jednou na začátku relace a již jej neměň. Pokud vyvíjíš API agenta s grok-build-0.1, napiš úplný a stabilní systémový prompt.

Reálný dopad

V typickém scénáři párového programování s 10 výměnami:

  • Bez optimalizace mezipaměti: každý požadavek přepočítává celou historii. Latence roste s každou výměnou
  • S optimalizovanou mezipamětí: vypočítává se pouze poslední zpráva. Latence zůstává konstantní bez ohledu na délku konverzace

Rozdíl může být v řádu několika sekund na interakci. Během hodinové vývojové relace se stovkami výměn je kumulativní zisk značný.

Pro vývojáře agentů

Pokud buduješ API agenta, který využívá grok-build-0.1 ve scénářích sekvenčního používání nástrojů:

  • Prefix zůstává mezi jednotlivými voláními nástrojů identický, což se automaticky načítá z mezipaměti
  • Nepřeformátovávej výsledky nástrojů před jejich odesláním zpět modelu
  • Vyvaruj se transformací historie (sumarizace, komprese), které by rozbily mezipaměť
  • Při každém volání udržuj stejné pořadí zpráv

Klíčové poznatky

  • Zásahy do mezipaměti jsou hlavním faktorem rychlosti pro grok-build-0.1
  • Nikdy neměň historii promptů mezi dvěma požadavky
  • Systémový prompt musí zůstat po celou relaci stabilní
  • Přidávej na konec, nikdy neupravuj začátek
  • U sekvenčních agentů mezipaměť funguje přirozeně, pokud je zachována historie