Prompt gyorsítótárazás: Számítások újrafelhasználása
Ezen az oldalon
Mi az a prompt gyorsítótárazás?
Amikor ismételten ugyanazt a prompt előtagot küldöd el – legyen az egy hosszú rendszerprompt, részletes utasítások vagy egy referenciadokumentum –, az OpenAI automatikusan gyorsítótárazza ezt az előtagot. Az ezt az előtagot megosztó későbbi hívások csökkentett időt élveznek az első tokenig (TTFT), és alacsonyabb költséget az input tokenekre. Más szóval: a stabil kontextus feldolgozásának munkáját nem kell minden egyes kérésnél újra elvégezni.
A prompt gyorsítótárazás 2025 óta automatikus: semmit sem kell engedélyezned. Az OpenAI észleli az azonos előtagokat, és gyorsítótárazza azokat. A te lehetőséged tehát nem a be- vagy kikapcsolásban rejlik, hanem abban, hogy úgy írd meg a promptjaidat, hogy ez a mechanizmus alkalmazható legyen. Ez szerkezeti, nem pedig konfigurációs kérdés, és itt hagyják a legtöbb csapat a pénzt az asztalon.
Hogyan működik
A gyorsítótár a prompt előtagjaira vonatkozik: az első tokeneknek hívásról hívásra szigorúan azonosaknak kell lenniük, és az egyezés az első eltérő karakternél megszakad. A gyorsítótárazás elindításához legalább 1024 token szükséges, ami azonnal kizárja a rövid rendszerpromptokat. A gyorsítótár megosztott egy szervezeten belül, ami azt jelenti, hogy a cégedben lévő több szolgáltatás, amely ugyanazt az előtagot hívja meg, kölcsönösen segíti egymást. Élettartama néhány perctől néhány óráig terjed, nincs rá szigorú garancia, és az elért költségcsökkentés a gyorsítótárazott input tokenek költségének körülbelül 50%-a.
Az előtagra vonatkozó szabály gyakorlati következménye, hogy a stabil elemeket a prompt elejére, a változó elemeket pedig a végére kell helyezned. Egy olyan szolgáltatás, amely a mai dátumot vagy egy munkamenet-azonosítót (session ID) illeszt be a rendszerpromptja elejére, minden egyes hívásnál érvényteleníti a gyorsítótárát anélkül, hogy észrevenné.
import openai
client = openai.OpenAI()
# ✅ Jó szerkezet: először a stabil elemek
SYSTEM_PROMPT = """You are a legal assistant specializing in French
contract law. You analyze contractual clauses according to the
Civil Code and recent case law. You always respond by
structuring your analysis: 1) Clause identification,
2) Legal analysis, 3) Potential risks, 4) Recommendations.
Here is the reference contract to analyze:
[Insert a 2,000+ token document here that does not change between calls]
"""
def analyze_clause(clause: str) -> str:
"""Minden hívás újrahasznosítja a rendszerprompt gyorsítótárát."""
response = client.responses.create(
model="gpt-5.6-terra",
instructions=SYSTEM_PROMPT, # Stabil előtag = gyorsítótárazva
input=f"Analyze this clause: {clause}", # Változó rész
)
return response.output_text
Ebben a példában a referenciaszerződés és az elemzési keretrendszer alkotja a változatlan blokkot, míg a vizsgált klauszula hívásonként változik. Elemezz negyven klauszulát ugyanabból a szerződésből, és a kontextusért csak egyszer fizetsz teljes áron.
A gyorsítótár ellenőrzése
Egy olyan optimalizálás, amit nem mérsz, csak azt hiszed, hogy van. Az API a válaszban információt ad vissza a gyorsítótár használatáról:
response = client.responses.create(
model="gpt-5.6-terra",
instructions=SYSTEM_PROMPT,
input="Analyze the non-compete clause.",
)
# Gyorsítótár-használat ellenőrzése
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Input tokens (cached): {usage.input_tokens_details.cached_tokens}")
print(f"Output tokens: {usage.output_tokens}")
# Ha cached_tokens > 0: a gyorsítótár használatban volt
cache_ratio = usage.input_tokens_details.cached_tokens / usage.input_tokens
print(f"Cache ratio: {cache_ratio:.1%}")
Éles környezetben naplózd ezt az arányt, ne csak fejlesztés közben ellenőrizd egyszer. A gyorsítótárazási arány hirtelen csökkenése a legmegbízhatóbb tünete a prompt felépítésében bekövetkezett szándékolatlan változásnak, és ezt még a havi számla előtt látni fogod.
Szerkezet kialakítása a gyorsítótár maximalizálásához
Az első megközelítés a rendszerprompt szándékos dúsítása. Ez ellentmondásosnak tűnhet, amikor tokeneket próbálsz csökkenteni, de igazodik a küszöbérték-szabályhoz: egy 900 tokenes rendszerprompt sosem lesz gyorsítótárazva, míg ugyanaz a prompt, few-shot példákkal és egy referenciadokumentummal kiegészítve, átlépi a határt, és a gyorsítótárazott részre vonatkozóan csökkentett díjazásra vált.
# A rendszerprompt dúsítása a gyorsítótár maximalizálása érdekében
ENRICHED_PROMPT = """
[Részletes utasítások - 500+ token]
[Few-shot példák - 500+ token]
[Referenciadokumentum - 1000+ token]
---
Összesen > 1024 token = jogosult a gyorsítótárazásra
"""
Több körös beszélgetés esetén a mechanizmus extra erőfeszítés nélkül a javadra válik: a felhalmozott előzmények természetesen stabil előtagot alkotnak, amely minden egyes váltással nő. Amíg mindig ugyanabban a sorrendben illeszted be az üzeneteket, a tizedik kör is élvezi az előző kilenc által felépített gyorsítótár előnyeit.
def conversation_with_cache(history: list[dict], new_message: str):
"""A növekvő előzmény automatikusan maximalizálja a gyorsítótárat."""
history.append({"role": "user", "content": new_message})
response = client.responses.create(
model="gpt-5.6-terra",
instructions=SYSTEM_PROMPT,
input=history,
)
history.append({
"role": "assistant",
"content": response.output_text,
})
return response.output_text
Végül, mivel a gyorsítótár élettartama percekben mérhető, az azonos előtagot megosztó kérések csoportosítása ütemezési döntés kérdése lesz. Egy szerződés negyven klauszulájának egymás utáni feldolgozása melegen tartja a gyorsítótárat; ha azonban szétszórod őket a nap folyamán, és más fájlokkal kevered őket, akkor a hívások között lejár.
import asyncio
async def batch_with_cache(clauses: list[str]) -> list[str]:
"""A kéréseket gyorsan küldi el a gyorsítótár kihasználása érdekében."""
results = []
for clause in clauses:
result = analyze_clause(clause)
results.append(result)
return results
Három hiba teljesen semmissé teszi ezt a munkát, és ezek hasonlítanak egymásra: a prompt elejének módosítása, akár egyetlen karakterrel is, érvényteleníti a gyorsítótárat a teljes kérésre vonatkozóan; az utasítások sorrendjének véletlenszerűsítése (például rendezetlen szótárból építve fel a promptot) ugyan ezt a hatást váltja ki időnként, ezért nehéz diagnosztizálni; és a 1024 tokenes küszöb alatti nyereségre számítani annyit jelent, hogy olyasmit próbálsz optimalizálni, ami sosem indul be.
Főbb megállapítások
- A prompt gyorsítótárazás automatikus az OpenAI-nál – helyezd a stabil elemeket a prompt elejére
- Minimális küszöbérték: 1024 azonos token az előtagban
- Nyereség: ~50% a gyorsítótárazott input tokeneken + csökkentett TTFT
- Ellenőrizd a
usage.input_tokens_details.cached_tokensértéket a gyorsítótárazás megerősítéséhez