Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Prompt-välimuisti: Laskentojen uudelleenkäyttö

Oppitunti 3 / 20 Päivitetty 28. heinäkuuta 2026 Edistynyt
Tällä sivulla
  1. Mikä on prompt-välimuisti?
  2. Miten se toimii
  3. Rakenne välimuistin maksimoimiseksi
  4. Keskeiset asiat

Mikä on prompt-välimuisti?

Kun lähetät toistuvasti saman promptin etuliitteen – kuten pitkän järjestelmäkehotteen, yksityiskohtaiset ohjeet tai viiteasiakirjan – OpenAI voi automaattisesti tallentaa tämän etuliitteen välimuistiin. Myöhemmät pyynnöt, jotka jakavat tämän etuliitteen, hyötyvät lyhyemmästä aikaan ensimmäiseen tokeniin (TTFT) ja alhaisemmista kustannuksista syöttötokeneille. Toisin sanoen vakaan kontekstin käsittelytyötä ei toisteta jokaisen pyynnön kohdalla.

Prompt-välimuisti on ollut automaattinen vuodesta 2025 lähtien: sinun ei tarvitse ottaa mitään käyttöön. OpenAI tunnistaa identtiset etuliitteet ja tallentaa ne välimuistiin. Vaikuttamismahdollisuutesi ei siis ole sen kytkemisessä päälle tai pois, vaan kehotteidesi kirjoittamisessa siten, että mekanismi voi toimia. Kyse on rakenteesta, ei konfiguraatiosta, ja juuri tässä useimmat tiimit jättävät rahaa pöydälle.

Miten se toimii

Välimuisti koskee promptin etuliitteitä: ensimmäisten tokenien on oltava ehdottomasti identtisiä pyynnöstä toiseen, ja osuman etsintä päättyy ensimmäiseen eroavaan merkkiin. Välimuistin käynnistymiseen vaaditaan vähintään 1 024 tokenin koko, mikä sulkee heti pois lyhyet järjestelmäkehotteet. Välimuisti jaetaan yhden organisaation sisällä, mikä tarkoittaa, että yrityksesi eri palvelut, jotka kutsuvat samaa etuliitettä, auttavat toisiaan. Sen elinkaari vaihtelee muutamasta minuutista muutamaan tuntiin ilman ehdotonta takuuta, ja saavutettu säästö on noin 50 % välimuistissa olevien syöttötokenien kustannuksista.

Etuliitesäännön käytännön seuraus on, että sinun on sijoitettavat vakaat elementit kehotteen alkuun ja muuttuvat elementit loppuun. Palvelu, joka lisää päivämäärän tai istuntotunnuksen järjestelmäkehotteensa alkuun, mitätöi välimuistinsa jokaisella kutsulla huomaamatta sitä koskaan.

import openai

client = openai.OpenAI()

# ✅ Hyvä rakenne: vakaat elementit ensin
SYSTEM_PROMPT = """You are a legal assistant specializing in French
contract law. You analyze contractual clauses according to the
Civil Code and recent case law. You always respond by
structuring your analysis: 1) Clause identification,
2) Legal analysis, 3) Potential risks, 4) Recommendations.

Here is the reference contract to analyze:
[Insert a 2,000+ token document here that does not change between calls]
"""

def analyze_clause(clause: str) -> str:
    """Jokainen kutsu käyttää uudelleen järjestelmäkehotteen välimuistia."""
    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=SYSTEM_PROMPT,  # Vaka etuliite = välimuistissa
        input=f"Analyze this clause: {clause}",  # Muuttuva osa
    )
    return response.output_text

Tässä esimerkissä viitesopimus ja analyysikehys muodostavat muuttumattoman lohkon, kun taas tarkasteltava lauseke muuttuu jokaisella kutsulla. Analysoi neljäkymmentä lauseketta samasta sopimuksesta, ja maksat kontekstista täyden hinnan vain kerran.

Välimuistin tarkistaminen

Optimointi, jota et mittaa, on vain luulo optimoinnista. API palauttaa tietoa välimuistin käytöstä vastauksessa:

response = client.responses.create(
    model="gpt-5.6-terra",
    instructions=SYSTEM_PROMPT,
    input="Analyze the non-compete clause.",
)

# Tarkista välimuistin käyttö
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Input tokens (cached): {usage.input_tokens_details.cached_tokens}")
print(f"Output tokens: {usage.output_tokens}")

# Jos cached_tokens > 0: välimuistia käytettiin
cache_ratio = usage.input_tokens_details.cached_tokens / usage.input_tokens
print(f"Cache ratio: {cache_ratio:.1%}")

Kirjaa tämä suhde tuotantoympäristössä sen sijaan, että tarkistaisit sen vain kerran kehitysvaiheessa. Äkillinen pudotus välimuistisuhteessa on luotettavin oire kehotteen rakenteen tahattomasta muutoksesta, ja näet sen ennen kuin kuukausilasku kertoo siitä sinulle.

Rakenne välimuistin maksimoimiseksi

Ensimmäinen lähestymistapa on järjestelmäkehotteen tarkoituksellinen rikastaminen. Tämä saattaa tuntua vastakkaiselta, kun yrität vähentää tokeneita, mutta se linjautuu kynnysarvosääntöön: 900 tokenin järjestelmäkehote ei koskaan päädy välimuistiin, kun taas sama kehote, jota on rikastettu few-shot-esimerkeillä ja viiteasiakirjalla, ylittää rajan ja siirtyy alennettuun hintaan välimuistissa olevalle osalle.

# Rikasta järjestelmäkehotetta välimuistin maksimoimiseksi
ENRICHED_PROMPT = """
[Detailed instructions - 500+ tokens]
[Few-shot examples - 500+ tokens]
[Reference document - 1,000+ tokens]
---
Total > 1,024 tokens = eligible for cache
"""

Monivaiheisessa keskustelussa mekanismi toimii eduksesi ilman lisäponnisteluja: kertyvä historia muodostaa luonnostaan vakaan etuliitteen, joka kasvaa jokaisen vuoron myötä. Niin kauan kuin lisäät viestit aina samassa järjestyksessä, kymmenes vuoro hyötyy edellisten yhdeksän rakentamasta välimuistista.

def conversation_with_cache(history: list[dict], new_message: str):
    """Kasvava historia maksimoi välimuistin automaattisesti."""
    history.append({"role": "user", "content": new_message})

    response = client.responses.create(
        model="gpt-5.6-terra",
        instructions=SYSTEM_PROMPT,
        input=history,
    )

    history.append({
        "role": "assistant",
        "content": response.output_text,
    })
    return response.output_text

Lopuksi, koska välimuistin elinkaari mitataan minuuteissa, samankaltaisen etuliitteen jakavien pyyntöjen ryhmittäminen muuttuu ajoituspäätökseksi. Neljänkymmenen sopimuslausekkeen käsittely peräkkäin pitää välimuistin kuumana; niiden levittäminen päivän ajalle muiden tiedostojen sekaan antaa sen vanhentua kutsujen välillä.

import asyncio

async def batch_with_cache(clauses: list[str]) -> list[str]:
    """Lähettää pyynnöt nopeasti välimuistin hyödyntämiseksi."""
    results = []
    for clause in clauses:
        result = analyze_clause(clause)
        results.append(result)
    return results

Kolme virhettä mitätöivät kaiken tämän työn, ja ne näyttävät samanlaisilta: kehotteen alun muuttaminen, vaikka yhdellä merkillä, mitätöi välimuistin koko pyynnön osalta; ohjeiden järjestyksen satunnaistaminen, esimerkiksi rakentamalla kehote järjestämättömästä sanakirjasta, tuottaa saman vaikutuksen ajoittain ja on siksi vaikea diagnosoida; ja hyötyjen odottaminen alle 1 024 tokenin kynnyksen alapuolella tarkoittaa jonkin sellaisen optimoimista, joka ei koskaan käynnisty.

Keskeiset asiat

  • Prompt-välimuisti on automaattinen OpenAI:ssa – sijoita vakaat elementit kehotteen alkuun
  • Vähimmäiskynnys: 1 024 identtistä tokenia etuliitteessä
  • Hyöty: n. 50 % välimuistissa olevista syöttötokeneista + lyhyempi TTFT
  • Varmista välimuistin käyttö tarkistamalla usage.input_tokens_details.cached_tokens