Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Promptų kešavimas: skaičiavimų pakartotinis naudojimas

Paskaita 3 iš 20 Atnaujinta 2026 m. liepos 28 d. Pažengusiems
Šiame puslapyje
  1. Kas yra promptų kešavimas?
  2. Kaip tai veikia
  3. Struktūravimas siekiant maksimalaus kešo
  4. Svarbiausi punktai

Kas yra promptų kešavimas?

Kai nuolat siunčiate tą patį prompto priešdėlį – ilgą sistemos promptą, išsamias instrukcijas arba informacinį dokumentą – „OpenAI“ gali automatiškai jį įkešuoti. Vėlesni užklausos, turinčios tą patį priešdėlį, gauna naudą: sumažėja laikas iki pirmojo ženklo (TTFT) ir mažėja įvesties ženklų kainos. Kitaip tariant, stabilios konteksto apdorojimo darbas nėra kartojamas kiekvienam užklausui.

Nuo 2025 m. promptų kešavimas yra automatinis: nieko nereikia įjungti. „OpenAI“ aptinka identiškus priešdėlius ir juos įkešuoja. Todėl tavo galimybė slypi ne įjungime ar išjungime, o tame, kaip rašai promptus, kad šis mechanizmas veiktų. Tai struktūros, o ne konfigūracijos klausimas, ir būtent čia dauguma komandų praranda pinigus.

Kaip tai veikia

Kešas taikomas prompto priešdėliams: pirmieji ženklai turi būti griežtai identiški nuo vieno užklausos iki kito, o atitikimas nutrūksta ties pirmu besiskiriančiu simboliu. Kad būtų suaktyvintas kešavimas, reikia mažiausiai 1 024 ženklų, todėl trumpi sistemos promptai iškart netinka. Kešas bendrinamas vienos organizacijos ribose, tai reiškia, kad kelios tavo įmonės tarnybos, kviečiančios tą patį priešdėlį, padeda viena kitai. Jo gyvavimo trukmė svyruoja nuo kelių minučių iki kelių valandų, be jokių tvirtų garantijų, o pasiektas sumažinimas yra maždaug 50 % įkešintų įvesties ženklų kainos.

Praktinė priešdėlio taisyklės išvada ta, kad privalai stabilius elementus dėti prompto pradžioje, o kintamus – pabaigoje. Tarnyba, kuri įterpia šiandienos datą ar sesijos ID sistemos prompto pradžioje, kiekvieną kartą anuliuoja savo kešą, to net nesuvokdama.

import openai

client = openai.OpenAI()

# ✅ Gera struktūra: stabilūs elementai pirmiausia
SYSTEM_PROMPT = """You are a legal assistant specializing in French
contract law. You analyze contractual clauses according to the
Civil Code and recent case law. You always respond by
structuring your analysis: 1) Clause identification,
2) Legal analysis, 3) Potential risks, 4) Recommendations.

Here is the reference contract to analyze:
[Insert a 2,000+ token document here that does not change between calls]
"""

def analyze_clause(clause: str) -> str:
    """Kiekvienas užklausas pakartotinai naudoja sistemos prompto kešą."""
    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=SYSTEM_PROMPT,  # Stabilus priešdėlis = įkešiuojama
        input=f"Analyze this clause: {clause}",  # Kintama dalis
    )
    return response.output_text

Šiame pavyzdyje informacinė sutartis ir analizės sistema sudaro nekintamą bloką, o nagrinėjama sąlyga keičiasi su kiekvienu užklausu. Išanalizavus keturiasdešimt tos pačios sutarties sąlygų, už kontekstą sumokate tik vieną kartą pilna kaina.

Kešo tikrinimas

Optimizacija, kurios nematuoji, yra tik įsivaizduojama optimizacija. API atsakyme grąžina informaciją apie kešo naudojimą:

response = client.responses.create(
    model="gpt-5.6-terra",
    instructions=SYSTEM_PROMPT,
    input="Analyze the non-compete clause.",
)

# Tikrink kešo naudojimą
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Input tokens (cached): {usage.input_tokens_details.cached_tokens}")
print(f"Output tokens: {usage.output_tokens}")

# Jei cached_tokens > 0: kešas buvo panaudotas
cache_ratio = usage.input_tokens_details.cached_tokens / usage.input_tokens
print(f"Cache ratio: {cache_ratio:.1%}")

Gamiboje šį santykį registruok nuolat, o ne tikrink vieną kartą kūrimo metu. Staigus kešo rodiklio kritimas yra patikimiausias simptomas, rodantis netyčinį prompto kūrimo pakeitimą, ir tai pamatysi dar prieš tai, kai mėnesio sąskaita tau apie tai praneš.

Struktūravimas siekiant maksimalaus kešo

Pirmasis būdas – tyčia praturtinti sistemos promptą. Tai gali atrodyti prieštaraujantis intencijai mažinti ženklų skaičių, tačiau tai atitinka slenksčio taisyklę: 900 ženklų sistemos promptas niekada nebus įkešiuotas, o tas pats promptas, praturtintas keliais pavyzdžiais (few-shot) ir informaciniu dokumentu, peržengia ribą ir pereina prie sumažinto tarifo įkešintai daliai.

# Praturtink sistemos promptą, kad maksimaliai išnaudotum kešą
ENRICHED_PROMPT = """
[Detailed instructions - 500+ tokens]
[Few-shot examples - 500+ tokens]
[Reference document - 1,000+ tokens]
---
Total > 1,024 tokens = eligible for cache
"""

Daugiakalbiame pokalbyje mechanizmas veikia tavo naudai be papildomų pastangų: sukaupta istorija sudaro natūraliai stabilų priešdėlį, kuris auga su kiekvienu apsikeitimu. Kol visada iš naujo įterpi žinutes ta pačia tvarka, dešimtas ėjimas naudojasi kešu, sukurtu ankstesnių devynių dėka.

def conversation_with_cache(history: list[dict], new_message: str):
    """Auganti istorija automatiškai maksimaliai išnaudoja kešą."""
    history.append({"role": "user", "content": new_message})

    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=SYSTEM_PROMPT,
        input=history,
    )

    history.append({
        "role": "assistant",
        "content": response.output_text,
    })
    return response.output_text

Galiausiai, kadangi kešo gyvavimo laikas matuojamas minutėmis, užklausų, turinčių bendrą priešdėlį, grupavimas tampa planavimo sprendimu. Keturių dešimčių sutarties sąlygų apdorojimas vieną po kitos išlaiko kešą „karštą“; jų išskaidymas per dieną, tarp jų įterpiant kitus failus, leidžia kešui išnykti tarp užklausų.

import asyncio

async def batch_with_cache(clauses: list[str]) -> list[str]:
    """Siunčia užklausas greitai, kad būtų išnaudotas kešas."""
    results = []
    for clause in clauses:
        result = analyze_clause(clause)
        results.append(result)
    return results

Trys klaidos panaikina visą šį darbą, ir jos atrodo panašiai: prompto pradžios keitimas net vienu simboliu anuliuoja viso užklausos kešą; instrukcijų tvarkos atsitiktinumas, pavyzdžiui, kuriant promptą iš netvarkingo žodyno, sukelia tą patį efektą pertraukiamai, todėl tai sunku diagnozuoti; ir tikėjimasis naudos žemiau 1 024 ženklų slenksčio reiškia bandymą optimizuoti tai, kas niekada neįsijungia.

Svarbiausi punktai

  • Promptų kešavimas „OpenAI“ yra automatinis – stabilius elementus dėk prompto pradžioje
  • Minimalus slenkstis: 1 024 identiški ženklai priešdėlyje
  • Nauda: ~50 % įkešintiems įvesties ženklams + sumažėjęs TTFT
  • Tikrink usage.input_tokens_details.cached_tokens, kad patvirtintum kešavimą