Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Prompti vahemällu salvestamine: arvutuste taaskasutamine

Õppetund 3 / 20 Värskendatud 28. juuli 2026 Edasijõudnutele
Sellel lehel
  1. Mis on prompti vahemällu salvestamine?
  2. Kuidas see toimib
  3. Struktureerimine vahemälu maksimeerimiseks
  4. Peamised punktid

Mis on prompti vahemällu salvestamine?

Kui saadad korduvalt sama prompti eesliite – pika süsteemiprompti, üksikasjalikud juhised või viitedokumendi –, suudab OpenAI selle eesliite automaatselt vahemällu salvestada. Järgnevad päringud, mis jagavad seda eesliiti, võidavad lühema ajani esimese tokenini (TTFT) ja madalamad kulud sisendtokenite pealt. Teisisõnu ei pea stabiilse konteksti töötlemist iga päringu jaoks uuesti tegema.

Prompti vahemällu salvestamine on alates 2025. aastast olnud automaatne: sul pole vaja midagi sisse lülitada. OpenAI tuvastab identsed eesliited ja salvestab need vahemällu. Sinu võimalus seisneb seega mitte selle sisse- või väljalülitamises, vaid promptide kirjutamises nii, et see mehhanism saaks rakenduda. See on struktuuri, mitte konfiguratsiooni küsimus ja just siin jätab enamik meeskondi raha lauale.

Kuidas see toimib

Vahemälu kehtib prompti eesliidetele: esimesed tokenid peavad olema ühest väljakutsest teise rangelt identsed ja sobivus katkeb esimesel erineval märgil. Vahemällu salvestamise käivitamiseks on vajalik minimaalne suurus 1024 tokenit, mis välistab koheselt lühikesed süsteemipromptid. Vahemälu jagatakse ühe organisatsiooni sees, mis tähendab, et mitu teenust sinu ettevõttes, mis kutsuvad sama eesliiti, aitavad üksteist. Selle eluiga ulatub mõnest minutist mõne tunnini ilma kindla garantiita ja saavutatav kokkuhoid on ligikaudu 50% vahemällu salvestatud sisendtokenite kulust.

Eesliite reegli praktiline tagajärg on see, et pead paigutama stabiilsed elemendid prompti algusesse ja muutuvad elemendid lõppu. Teenus, mis lisab oma süsteemiprompti algusesse tänase kuupäeva või sessiooni ID, tühistab oma vahemälu iga väljakutsega, isegi teadmata.

import openai

client = openai.OpenAI()

# ✅ Hea struktuur: stabiilsed elemendid ees
SYSTEM_PROMPT = """You are a legal assistant specializing in French
contract law. You analyze contractual clauses according to the
Civil Code and recent case law. You always respond by
structuring your analysis: 1) Clause identification,
2) Legal analysis, 3) Potential risks, 4) Recommendations.

Here is the reference contract to analyze:
[Insert a 2,000+ token document here that does not change between calls]
"""

def analyze_clause(clause: str) -> str:
    """Iga väljakutse taaskasutab süsteemiprompti vahemälu."""
    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=SYSTEM_PROMPT,  # Stabiilne eesliide = vahemällu salvestatud
        input=f"Analyze this clause: {clause}",  # Muutuv osa
    )
    return response.output_text

Selles näites moodustavad viiteleping ja analüüsi raamistik muutumatu ploki, samas kui analüüsitav klausel muutub iga väljakutsega. Analüüsi nelikümmend klauslit samalt lepingult ja maksad konteksti eest täishinnaga vaid üks kord.

Vahemälu kontrollimine

Optimeerimine, mida sa ei mõõda, on optimeerimine, mida sa ainult arvad olevat. API tagastab vastuses teavet vahemälu kasutamise kohta:

response = client.responses.create(
    model="gpt-5.6-terra",
    instructions=SYSTEM_PROMPT,
    input="Analyze the non-compete clause.",
)

# Kontrolli vahemälu kasutamist
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Input tokens (cached): {usage.input_tokens_details.cached_tokens}")
print(f"Output tokens: {usage.output_tokens}")

# Kui cached_tokens > 0: vahemälu oli kasutatud
cache_ratio = usage.input_tokens_details.cached_tokens / usage.input_tokens
print(f"Cache ratio: {cache_ratio:.1%}")

Logi seda suhet tootmises, mitte ära kontrolli seda ainult arenduses üks kord. Vahemälu määra järsk langus on kõige usaldusväärsem sümptom prompti koostamise tahtmatust muutusest ja sa näed seda enne, kui kuuarve sulle sellest räägib.

Struktureerimine vahemälu maksimeerimiseks

Esimene lähenemisviis on süsteemiprompti tahtlik rikastamine. See tundub vastuoluline, kui püüad reduceerida tokenite arvu, kuid see joondub lävendireegliga: 900-tokeniline süsteemiprompt ei saa kunagi vahemällu salvestatud, samas kui sama prompt, mida on rikastatud mõne näitega (few-shot) ja viitedokumendiga, ületab piiri ja lülitub vahemällu salvestatud osa jaoks soodsamale hinnale.

# Rikasta süsteemiprompti vahemälu maksimeerimiseks
ENRICHED_PROMPT = """
[Üksikasjalikud juhised - 500+ tokenit]
[Näited (few-shot) - 500+ tokenit]
[Viitedokument - 1000+ tokenit]
---
Kokku > 1024 tokenit = kõlblik vahemällu salvestamiseks
"""

Mitme vooruga vestluses töötab mehhanism sinu kasuks ilma lisapingutuseta: kogunev ajalugu moodustab loomulikult stabiilse eesliite, mis kasvab iga vahetusega. Niikaua kui sisestad sõnumeid alati samas järjekorras, saab kümnes voor kasu eelmiste üheksa poolt üles ehitatud vahemälust.

def conversation_with_cache(history: list[dict], new_message: str):
    """Kasvav ajalugu maksimeerib vahemälu automaatselt."""
    history.append({"role": "user", "content": new_message})

    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=SYSTEM_PROMPT,
        input=history,
    )

    history.append({
        "role": "assistant",
        "content": response.output_text,
    })
    return response.output_text

Lõpuks, kuna vahemälu eluiga mõõdetakse minutites, muutub sama eesliitega päringute rühmitamine ajakavastamise otsuseks. Neljakümne klausli töötlemine lepingult järjest hoiab vahemälu aktiivsena; nende laialilaotamine päeva peale, põimides vahele teisi faile, laseb sellel väljakutsete vahel aeguda.

import asyncio

async def batch_with_cache(clauses: list[str]) -> list[str]:
    """Saadab päringud kiiresti, et kasutada vahemälu eeliseid."""
    results = []
    for clause in clauses:
        result = analyze_clause(clause)
        results.append(result)
    return results

Kolm viga tühistavad kogu selle töö ja need näevad sarnased välja: prompti alguse muutmine, isegi ühe märgi võrra, tühistab vahemälu kogu päringu jaoks; juhiste järjekorra juhuslik muutmine, näiteks prompti koostamine järjestamata sõnastikust, tekitab sama efekti vahelduvalt ja seetõttu on seda raske diagnoosida; ja oodata kasu alla 1024-tokenilise lävendi tähendab püüda optimeerida midagi, mis ei käivitu kunagi.

Peamised punktid

  • Prompti vahemällu salvestamine on OpenAI puhul automaatne – paiguta stabiilsed elemendid prompti algusesse
  • Minimaalne lävend: 1024 identset tokenit eesliites
  • Kasu: ~50% vahemällu salvestatud sisendtokenitelt + lühem TTFT
  • Vahemällu salvestamise kinnitamiseks kontrolli usage.input_tokens_details.cached_tokens