Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Mezipaměť promptů: Opětovné využití výpočtů

Lekce 3 z 20 Aktualizováno 28. července 2026 Pokročilý
Na této stránce
  1. Co je mezipaměť promptů?
  2. Jak to funguje
  3. Strukturování pro maximalizaci mezipaměti
  4. Klíčové poznatky

Co je mezipaměť promptů?

Když opakovaně odesíláš stejnou prefixovou část promptu – dlouhý systémový prompt, podrobné instrukce nebo referenční dokument – OpenAI může tento prefix automaticky uložit do mezipaměti. Následná volání, která sdílejí tento prefix, těží z kratší doby do prvního tokenu (TTFT) a nižších nákladů za vstupní tokeny. Jinými slovy, práce spojená s načtením stabilního kontextu se nemusí opakovat pro každý požadavek.

Mezipaměť promptů je od roku 2025 automatická: nemusíš nic povolovat. OpenAI detekuje identické prefixy a ukládá je do mezipaměti. Tvým úkolem tedy není ji zapínat či vypínat, ale strukturovat své prompty tak, aby tento mechanismus mohl fungovat. Jde o otázku struktury, nikoliv konfigurace, a právě zde většina týmů zbytečně přichází o peníze.

Jak to funguje

Mezipaměť se vztahuje na prefixy promptů: první tokeny musí být od jednoho volání k druhému zcela totožné a shoda končí u prvního odlišného znaku. Pro aktivaci mezipaměti je vyžadována minimální velikost 1 024 tokenů, což okamžitě vylučuje krátké systémové prompty. Mezipaměť je sdílena v rámci jedné organizace, což znamená, že více služeb ve tvé firmě volajících stejný prefix si vzájemně pomáhá. Její životnost se pohybuje od několika minut do několika hodin bez pevné záruky a dosažená úspora činí přibližně 50 % z ceny uložených vstupních tokenů.

Praktickým důsledkem pravidla o prefixu je, že musíš umístit stabilní prvky na začátek promptu a proměnné prvky na jeho konec. Služba, která vkládá dnešní datum nebo ID relace na začátek svého systémového promptu, invaliduje svou mezipaměť při každém volání, aniž by si to uvědomila.

import openai

client = openai.OpenAI()

# ✅ Správná struktura: nejprve stabilní prvky
SYSTEM_PROMPT = """Jsi právní asistent specializující se na francouzské
smluvní právo. Analyzuješ smluvní klauzule podle
občanského zákoníku a nedávné judikatury. Vždy odpovídáš tak,
že strukturuješ svou analýzu: 1) Identifikace klauzule,
2) Právní analýza, 3) Potenciální rizika, 4) Doporučení.

Zde je referenční smlouva k analýze:
[Zde vlož dokument o délce 2 000+ tokenů, který se mezi voláními nemění]
"""

def analyze_clause(clause: str) -> str:
    """Každé volání znovu využije mezipaměť systémového promptu."""
    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=SYSTEM_PROMPT,  # Stabilní prefix = uložen do mezipaměti
        input=f"Analyzuj tuto klauzuli: {clause}",  # Proměnná část
    )
    return response.output_text

V tomto příkladu tvoří referenční smlouva a rámec analýzy neměnný blok, zatímco analyzovaná klauzule se při každém volání mění. Pokud analyzuješ čtyřicet klauzulí ze stejné smlouvy, zaplatíš kontext v plné ceně pouze jednou.

Ověření mezipaměti

Optimalizace, kterou neměříš, je pouze domnělá optimalizace. API vrací informace o využití mezipaměti v odpovědi:

response = client.responses.create(
    model="gpt-5.6-terra",
    instructions=SYSTEM_PROMPT,
    input="Analyzuj konkurenční doložku.",
)

# Kontrola využití mezipaměti
usage = response.usage
print(f"Vstupní tokeny: {usage.input_tokens}")
print(f"Vstupní tokeny (v mezipaměti): {usage.input_tokens_details.cached_tokens}")
print(f"Výstupní tokeny: {usage.output_tokens}")

# Pokud cached_tokens > 0: mezipaměť byla použita
cache_ratio = usage.input_tokens_details.cached_tokens / usage.input_tokens
print(f"Poměr mezipaměti: {cache_ratio:.1%}")

Tento poměr loguj v produkci, místo abys jej kontroloval pouze jednou během vývoje. Náhlý pokles míry využití mezipaměti je nejspolehlivějším příznakem neúmyslné změny ve konstrukci promptu a zjistíš to dříve, než ti to prozradí měsíční faktura.

Strukturování pro maximalizaci mezipaměti

Prvním přístupem je záměrné obohacení systémového promptu. To může působit kontraintuitivně, když se snažíš snížit počet tokenů, ale je to v souladu s pravidlem prahu: systémový prompt o délce 900 tokenů se nikdy neuloží do mezipaměti, zatímco stejný prompt obohacený o příklady few-shot a referenční dokument překročí hranici a přepne se na sníženou sazbu pro část uloženou v mezipaměti.

# Obohacení systémového promptu pro maximalizaci mezipaměti
ENRICHED_PROMPT = """
[Podrobné instrukce - 500+ tokenů]
[Příklady few-shot - 500+ tokenů]
[Referenční dokument - 1 000+ tokenů]
---
Celkem > 1 024 tokenů = způsobilé pro mezipaměť
"""

V konverzaci s více kroky (multi-turn) tento mechanismus pracuje ve tvůj prospěch bez nutnosti dalšího úsilí: nahromaděná historie tvoří přirozeně stabilní prefix, který s každou výměnou roste. Dokud vždy znovu vkládáš zprávy ve stejném pořadí, desátý krok těží z mezipaměti vybudované předchozími devíti kroky.

def conversation_with_cache(history: list[dict], new_message: str):
    """Rostoucí historie automaticky maximalizuje mezipaměť."""
    history.append({"role": "user", "content": new_message})

    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=SYSTEM_PROMPT,
        input=history,
    )

    history.append({
        "role": "assistant",
        "content": response.output_text,
    })
    return response.output_text

Vzhledem k tomu, že životnost mezipaměti se měří v minutách, seskupování požadavků sdílejících stejný prefix se stává rozhodnutím o plánování. Zpracování čtyřiceti klauzulí ze smlouvy bezprostředně za sebou udržuje mezipaměť „horkou“; jejich rozložení během dne s prokládáním jiných souborů nechá mezipaměť mezi voláními vypršet.

import asyncio

async def batch_with_cache(clauses: list[str]) -> list[str]:
    """Odesílá požadavky rychle, aby využila mezipaměť."""
    results = []
    for clause in clauses:
        result = analyze_clause(clause)
        results.append(result)
    return results

Tři chyby zruší veškerou tuto práci a jsou si podobné: úprava začátku promptu, byť jen o jediný znak, invaliduje mezipaměť pro celý požadavek; náhodné pořadí instrukcí, například budování promptu z neuspořádaného slovníku, produkuje stejný efekt přerušovaně, a je proto těžké jej diagnostikovat; a očekávání zisků pod prahem 1 024 tokenů znamená snahu optimalizovat něco, co se nikdy nespustí.

Klíčové poznatky

  • Mezipaměť promptů je u OpenAI automatická – umísti stabilní prvky na začátek promptu
  • Minimální práh: 1 024 identických tokenů v prefixu
  • Zisk: ~50 % u vstupních tokenů v mezipaměti + snížené TTFT
  • Pro potvrzení ukládání do mezipaměti zkontroluj usage.input_tokens_details.cached_tokens