Cache de prompt: Reutilizarea calculelor
Pe această pagină
Ce este cache-ul de prompt?
Atunci când trimiteți în mod repetat același prefix de prompt—un prompt de sistem lung, instrucțiuni detaliate sau un document de referință—OpenAI poate stoca automat în cache acel prefix. Apelurile ulterioare care partajează acest prefix beneficiază de un timp redus până la primul token (TTFT) și de costuri mai mici pentru token-ii de intrare. Cu alte cuvinte, munca de ingestie a contextului stabil nu se repetă pentru fiecare cerere.
Cache-ul de prompt este automat din 2025: nu trebuie să activați nimic. OpenAI detectează prefixele identice și le stochează în cache. Prin urmare, pârghia dumneavoastră nu constă în activarea sau dezactivarea acestuia, ci în redactarea prompturilor astfel încât mecanismul să se poată aplica. Aceasta este o chestiune de structură, nu de configurare, și este locul unde majoritatea echipelor pierd bani inutil.
Cum funcționează
Cache-ul se aplică prefixelor de prompt: primii tokeni trebuie să fie strict identici de la un apel la altul, iar potrivirea se oprește la primul caracter divergent. Este necesară o dimensiune minimă de 1.024 de tokeni pentru a declanșa stocarea în cache, ceea ce exclude imediat prompturile de sistem scurte. Cache-ul este partajat în cadrul unei singure organizații, ceea ce înseamnă că mai multe servicii din compania dumneavoastră care apelează același prefix se ajută reciproc. Durata sa de viață variază de la câteva minute la câteva ore, fără nicio garanție fermă, iar reducerea obținută este de aproximativ 50% din costul token-ilor de intrare stocați în cache.
Consecința practică a regulii prefixului este că trebuie să plasați elementele stabile la începutul promptului și elementele variabile la sfârșit. Un serviciu care inserează data curentă sau un ID de sesiune în capul promptului său de sistem invalidează cache-ul la fiecare apel, fără să își dea seama vreodată.
import openai
client = openai.OpenAI()
# ✅ Structură bună: elemente stabile mai întâi
SYSTEM_PROMPT = """You are a legal assistant specializing in French
contract law. You analyze contractual clauses according to the
Civil Code and recent case law. You always respond by
structuring your analysis: 1) Clause identification,
2) Legal analysis, 3) Potential risks, 4) Recommendations.
Here is the reference contract to analyze:
[Insert a 2,000+ token document here that does not change between calls]
"""
def analyze_clause(clause: str) -> str:
"""Fiecare apel reutilizează cache-ul promptului de sistem."""
response = client.responses.create(
model="gpt-5.6-terra",
instructions=SYSTEM_PROMPT, # Prefix stabil = stocat în cache
input=f"Analyze this clause: {clause}", # Parte variabilă
)
return response.output_text
În acest exemplu, contractul de referință și cadrul de analiză constituie blocul invariant, în timp ce clauza examinată se schimbă la fiecare apel. Analizați patruzeci de clauze din același contract și veți plăti contextul o singură dată la preț întreg.
Verificarea cache-ului
O optimizare pe care nu o măsurați este o optimizare pe care doar credeți că o aveți. API-ul returnează informații despre utilizarea cache-ului în răspuns:
response = client.responses.create(
model="gpt-5.6-terra",
instructions=SYSTEM_PROMPT,
input="Analyze the non-compete clause.",
)
# Verificați utilizarea cache-ului
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Input tokens (cached): {usage.input_tokens_details.cached_tokens}")
print(f"Output tokens: {usage.output_tokens}")
# Dacă cached_tokens > 0: cache-ul a fost utilizat
cache_ratio = usage.input_tokens_details.cached_tokens / usage.input_tokens
print(f"Cache ratio: {cache_ratio:.1%}")
Înregistrați acest raport în producție, în loc să îl verificați o singură dată în dezvoltare. O scădere bruscă a ratei de cache este cel mai fiabil simptom al unei modificări neintenționate în construcția promptului și o veți observa înainte ca factura lunară să vă informeze despre aceasta.
Structurarea pentru maximizarea cache-ului
Prima abordare este îmbogățirea deliberată a promptului de sistem. Acest lucru pare contra-intuitiv când încercați să reduceți numărul de tokeni, dar se aliniază cu regula pragului: un prompt de sistem de 900 de tokeni nu va fi niciodată stocat în cache, în timp ce același prompt îmbogățit cu exemple few-shot și un document de referință trece pragul și comută la tariful redus pentru porțiunea stocată în cache.
# Îmbogățiți promptul de sistem pentru a maximiza cache-ul
ENRICHED_PROMPT = """
[Detailed instructions - 500+ tokens]
[Few-shot examples - 500+ tokens]
[Reference document - 1,000+ tokens]
---
Total > 1,024 tokens = eligible for cache
"""
Într-o conversație multi-tur, mecanismul lucrează în favoarea dumneavoastră fără efort suplimentar: istoricul acumulat formează un prefix natural stabil care crește cu fiecare schimb. Atâta timp cât reinjectați mereu mesajele în aceeași ordine, turul numărul zece beneficiază de cache-ul construit de cele nouă precedente.
def conversation_with_cache(history: list[dict], new_message: str):
"""Istoricul în creștere maximizează automat cache-ul."""
history.append({"role": "user", "content": new_message})
response = client.responses.create(
model="gpt-5.6-terra",
instructions=SYSTEM_PROMPT,
input=history,
)
history.append({
"role": "assistant",
"content": response.output_text,
})
return response.output_text
În final, deoarece durata de viață a cache-ului se măsoară în minute, gruparea cererilor care partajează un prefix devine o decizie de planificare. Procesarea a patruzeci de clauze dintr-un contract una după alta menține cache-ul activ; distribuirea lor pe parcursul zilei, intercalând alte fișiere, îl lasă să expire între apeluri.
import asyncio
async def batch_with_cache(clauses: list[str]) -> list[str]:
"""Trimite cererile rapid pentru a valorifica cache-ul."""
results = []
for clause in clauses:
result = analyze_clause(clause)
results.append(result)
return results
Trei greșeli anulează toată această muncă și seamănă între ele: modificarea începutului promptului, chiar și cu un singur caracter, invalidează cache-ul pentru întreaga cerere; randomizarea ordinii instrucțiunilor, de exemplu prin construirea promptului dintr-un dicționar neordonat, produce același efect intermitent și este, prin urmare, greu de diagnosticat; iar așteptarea unor câștiguri sub pragul de 1.024 de tokeni înseamnă încercarea de a optimiza ceva care nu se declanșează niciodată.
Puncte cheie
- Cache-ul de prompt este automat cu OpenAI—plasați elementele stabile la începutul promptului
- Prag minim: 1.024 de tokeni identici în prefix
- Câștig: ~50% la token-ii de intrare stocați în cache + TTFT redus
- Verificați
usage.input_tokens_details.cached_tokenspentru a confirma stocarea în cache