Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Ukladanie promptov do vyrovnávacej pamäte: Opätovné využitie výpočtov

Lekcia 3 z 20 Aktualizované 28. júla 2026 Pokročilý
Na tejto strane
  1. Čo je ukladanie promptov do vyrovnávacej pamäte?
  2. Ako to funguje
  3. Štruktúrovanie pre maximalizáciu cache
  4. Kľúčové poznatky

Čo je ukladanie promptov do vyrovnávacej pamäte?

Keď opakovane odosielaš rovnakú prefixovú časť promptu – dlhý systémový prompt, podrobné inštrukcie alebo referenčný dokument – OpenAI môže túto časť automaticky uložiť do vyrovnávacej pamäte (cache). Následné volania, ktoré zdieľajú tento prefix, profitujú zo skrátenia času do získania prvého tokenu (TTFT) a nižších nákladov za vstupné tokeny. Inými slovami, práca spojená s načítaním stabilného kontextu sa neopakuje pri každej požiadavke.

Ukladanie promptov do vyrovnávacej pamäte je od roku 2025 automatické: nemusíš nič povoľovať. OpenAI deteguje identické prefixy a ukladá ich. Tvojou úlohou teda nie je funkciu zapínať alebo vypínať, ale štruktúrovať svoje prompty tak, aby sa tento mechanizmus mohol uplatniť. Ide o otázku štruktúry, nie konfigurácie, a práve tu väčšina tímov zbytočne plytvá peniazmi.

Ako to funguje

Vyrovnávacia pamäť sa vzťahuje na prefixy promptov: prvé tokeny musia byť od volania k volaniu úplne identické a zhoda sa končí pri prvom odlišnom znaku. Na spustenie ukladania do vyrovnávacej pamäte je potrebná minimálna veľkosť 1 024 tokenov, čo okamžite vylučuje krátke systémové prompty. Pamäť je zdieľaná v rámci jednej organizácie, čo znamená, že viaceré služby vo tvojej firme, ktoré volajú rovnaký prefix, si navzájom pomáhajú. Jej životnosť sa pohybuje od niekoľkých minút do niekoľkých hodín bez pevnej záruky a dosiahnuté zníženie nákladov predstavuje približne 50 % z ceny uložených vstupných tokenov.

Praktickým dôsledkom pravidla o prefixe je, že stabilné prvky musíš umiestniť na začiatok promptu a premenné prvky na koniec. Služba, ktorá vkladá dnešný dátum alebo ID relácie na začiatok svojho systémového promptu, invaliduje svoju vyrovnávaciu pamäť pri každom volaní, aniž by si to uvedomila.

import openai

client = openai.OpenAI()

# ✅ Dobrá štruktúra: najprv stabilné prvky
SYSTEM_PROMPT = """You are a legal assistant specializing in French
contract law. You analyze contractual clauses according to the
Civil Code and recent case law. You always respond by
structuring your analysis: 1) Clause identification,
2) Legal analysis, 3) Potential risks, 4) Recommendations.

Here is the reference contract to analyze:
[Insert a 2,000+ token document here that does not change between calls]
"""

def analyze_clause(clause: str) -> str:
    """Každé volanie opätovne využije cache systémového promptu."""
    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=SYSTEM_PROMPT,  # Stabilný prefix = uložený do cache
        input=f"Analyze this clause: {clause}",  # Premenná časť
    )
    return response.output_text

V tomto príklade predstavujú referenčná zmluva a rámec analýzy nemenný blok, zatiaľ čo skúmaná klauzula sa pri každom volaní mení. Ak analyzuješ štyridsať klauzúl z tej istej zmluvy, zaplatíš za kontext plnú cenu len raz.

Overenie vyrovnávacej pamäte

Optimalizácia, ktorú nemeriaš, je len ilúziou optimalizácie. API vracia informácie o využití vyrovnávacej pamäte v odpovedi:

response = client.responses.create(
    model="gpt-5.6-terra",
    instructions=SYSTEM_PROMPT,
    input="Analyze the non-compete clause.",
)

# Skontroluj využitie cache
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Input tokens (cached): {usage.input_tokens_details.cached_tokens}")
print(f"Output tokens: {usage.output_tokens}")

# Ak cached_tokens > 0: cache bola použitá
cache_ratio = usage.input_tokens_details.cached_tokens / usage.input_tokens
print(f"Cache ratio: {cache_ratio:.1%}")

Tento pomer loguj v produkčnom prostredí, namiesto toho, aby si ho skontrolovala len raz počas vývoja. Náhly pokles miery využitia cache je najspoľahlivejším príznakom neúmyselnej zmeny v konštrukcii promptu a všimneš si ho skôr, než ti to oznámi mesačný účet.

Štruktúrovanie pre maximalizáciu cache

Prvým prístupom je úmyselné obohatenie systémového promptu. To sa môže zdať kontraintuitívne, keď sa snažíš znížiť počet tokenov, ale je to v súlade s pravidlom o prahu: systémový prompt s 900 tokenmi sa nikdy neuloží do cache, zatiaľ čo ten istý prompt obohatený o few-shot príklady a referenčný dokument prekročí hranicu a prepne sa na zníženú sadzbu pre uloženú časť.

# Obohať systémový prompt pre maximalizáciu cache
ENRICHED_PROMPT = """
[Detailed instructions - 500+ tokens]
[Few-shot examples - 500+ tokens]
[Reference document - 1,000+ tokens]
---
Total > 1,024 tokens = eligible for cache
"""

Vo viackrokovej konverzácii tento mechanizmus pracuje v tvoj prospech bez potreby ďalšieho úsilia: nahromadená história tvorí prirodzene stabilný prefix, ktorý sa s každou výmenou zväčšuje. Pokiaľ vždy znovu vložíš správy v rovnakom poradí, desiate kolo konverzácie profituje z cache vybudovanej predchádzajúcimi deviatimi kolami.

def conversation_with_cache(history: list[dict], new_message: str):
    """Rastúca história automaticky maximalizuje cache."""
    history.append({"role": "user", "content": new_message})

    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=SYSTEM_PROMPT,
        input=history,
    )

    history.append({
        "role": "assistant",
        "content": response.output_text,
    })
    return response.output_text

Napokon, keďže životnosť cache sa meria v minútach, zoskupovanie požiadaviek, ktoré zdieľajú prefix, sa stáva rozhodnutím o plánovaní. Spracovanie štyridsiatich klauzúl zo zmluvy tesne za sebou udrží cache „horúcu“; ich rozloženie počas dňa s vkladáním iných súborov medzi ne spôsobí, že cache medzi volaniami vyprší.

import asyncio

async def batch_with_cache(clauses: list[str]) -> list[str]:
    """Odosiela požiadavky rýchlo, aby využila cache."""
    results = []
    for clause in clauses:
        result = analyze_clause(clause)
        results.append(result)
    return results

Tri chyby zrušia všetku túto prácu a vyzerajú podobne: úprava začiatku promptu, hoci aj o jediný znak, invaliduje cache pre celú požiadavku; náhodné poradie inštrukcií, napríklad budovaním promptu z neusporiadaného slovníka, produkuje rovnaký efekt prerušovane, a preto sa ťažko diagnostikuje; a očakávanie ziskov pod prahom 1 024 tokenov znamená snahu optimalizovať niečo, čo sa nikdy nespustí.

Kľúčové poznatky

  • Ukladanie promptov do vyrovnávacej pamäte je v OpenAI automatické – umiestni stabilné prvky na začiatok promptu
  • Minimálny prah: 1 024 identických tokenov v prefixe
  • Zisk: ~50 % na uložených vstupných tokenoch + znížené TTFT
  • Na potvrdenie ukladania do cache skontroluj usage.input_tokens_details.cached_tokens