Kešatmiņa pieprasījumiem: aprēķinu atkārtota izmantošana
Šajā lapā
Kas ir pieprasījumu kešatmiņa?
Kad atkārtoti nosūti vienu un to pašu pieprasījuma prefiksu — garu sistēmas norādi, detalizētus instrukcijas vai atsauces dokumentu — OpenAI automātiski saglabā šo prefiksu kešatmiņā. Turpmākie izsaukumi, kuriem ir kopīgs šis prefikss, gūst labumu no samazināta laika līdz pirmajam tokenim (TTFT) un zemākām izmaksām par ievades tokeniem. Citiem vārdiem sakot, darbs, kas saistīts ar stabilā konteksta apstrādi, netiek atkārtots katram pieprasījumam.
Kopš 2025. gada pieprasījumu kešatmiņa darbojas automātiski: tev nekas nav jāaktivizē. OpenAI automātiski atpazīst identiskus prefiksus un tos kešo. Tava iespēja ietekmēt procesu nav ieslēgt vai izslēgt šo funkciju, bet gan veidot savus pieprasījumus tā, lai mehānisms varētu darboties. Tas ir struktūras, nevis konfigurācijas jautājums, un tieši šeit lielākā daļa komandu zaudē iespēju ietaupīt līdzekļus.
Kā tas darbojas
Kešatmiņa attiecas uz pieprasījuma prefiksiem: pirmajiem tokeniem ir jābūt stingri identiskiem no viena izsaukuma uz nākamo, un atbilstība beidzas pie pirmās atšķirīgās rakstzīmes. Lai aktivizētu kešatmiņu, ir nepieciešams minimālais apjoms — 1024 tokeni, kas uzreiz izslēdz īsas sistēmas norādes. Kešatmiņa ir koplietojama vienas organizācijas ietvaros, kas nozīmē, ka vairāki tava uzņēmuma servisi, izsaucot vienu un to pašu prefiksu, palīdz viens otram. Tās kalpošanas laiks svārstās no dažām minūtēm līdz dažām stundām bez stingrām garantijām, un panāktais ietaupījums ir aptuveni 50% no kešoto ievades tokenu izmaksām.
Praktiskās sekas no prefiksa noteikuma ir tādas, ka tev ir jānovieto stabilie elementi pieprasījuma sākumā, bet mainīgie elementi — beigās. Serviss, kas pievieno šodienas datumu vai sesijas ID sistēmas norādes sākumā, katrā izsaukumā anulē savu kešatmiņu, pat to nenojaušot.
import openai
client = openai.OpenAI()
# ✅ Pareiza struktūra: vispirms stabilie elementi
SYSTEM_PROMPT = """You are a legal assistant specializing in French
contract law. You analyze contractual clauses according to the
Civil Code and recent case law. You always respond by
structuring your analysis: 1) Clause identification,
2) Legal analysis, 3) Potential risks, 4) Recommendations.
Here is the reference contract to analyze:
[Insert a 2,000+ token document here that does not change between calls]
"""
def analyze_clause(clause: str) -> str:
"""Katrs izsaukums atkārtoti izmanto sistēmas norādes kešatmiņu."""
response = client.responses.create(
model="gpt-5.6-terra",
instructions=SYSTEM_PROMPT, # Stabilais prefikss = kešots
input=f"Analyze this clause: {clause}", # Mainīgā daļa
)
return response.output_text
Šajā piemērā atsauces līgums un analīzes ietvars veido nemainīgo bloku, savukārt analizētais pants mainās ar katru izsaukumu. Analizējot četrdesmit viena un tā paša līguma pantus, tu par kontekstu maksā pilnu cenu tikai vienreiz.
Kešatmiņas pārbaude
Optimizācija, ko nemēri, ir tikai iedomāta optimizācija. API atbildē atgriež informāciju par kešatmiņas izmantojumu:
response = client.responses.create(
model="gpt-5.6-terra",
instructions=SYSTEM_PROMPT,
input="Analyze the non-compete clause.",
)
# Pārbaudi kešatmiņas izmantojumu
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Input tokens (cached): {usage.input_tokens_details.cached_tokens}")
print(f"Output tokens: {usage.output_tokens}")
# Ja cached_tokens > 0: kešatmiņa tika izmantota
cache_ratio = usage.input_tokens_details.cached_tokens / usage.input_tokens
print(f"Cache ratio: {cache_ratio:.1%}")
Produkcijas vidē reģistrē šo attiecību, nevis pārbaudi to tikai izstrādes posmā. Pēkšņs kešatmiņas rādītāja kritums ir visuzticamākais simptoms nejaušām izmaiņām pieprasījuma veidošanā, un tu to pamanīsi ilgi pirms mēneša rēķina saņemšanas.
Strukturēšana kešatmiņas maksimizēšanai
Pirmā pieeja ir apzināti bagātināt sistēmas norādi. Tas var šķist pretrunīgi, ja cenšaties samazināt tokenus, taču tas atbilst sliekšņa noteikumam: 900 tokenu sistēmas norāde nekad netiks kešota, savukārt tā pati norāde, papildināta ar few-shot piemēriem un atsauces dokumentu, šķērso slieksni un pāriet uz samazinātu tarifu kešotajai daļai.
# Bagātini sistēmas norādi, lai maksimizētu kešatmiņu
ENRICHED_PROMPT = """
[Detalizētas instrukcijas - 500+ tokeni]
[Few-shot piemēri - 500+ tokeni]
[Atsauces dokuments - 1000+ tokeni]
---
Kopā > 1024 tokeni = tiesības uz kešatmiņu
"""
Daudzu soļu sarunā mehānisms strādā tavā labā bez papildu pūlēm: uzkrātā vēsture veido dabiski stabilu prefiksu, kas aug ar katru apmaiņu. Kamēr tu vienmēr atkārtoti ievieto ziņojumus vienādā secībā, desmitais sarunas solis gūst labumu no kešatmiņas, ko izveidojuši iepriekšējie deviņi.
def conversation_with_cache(history: list[dict], new_message: str):
"""Augoša vēsture automātiski maksimizē kešatmiņu."""
history.append({"role": "user", "content": new_message})
response = client.responses.create(
model="gpt-5.6-terra",
instructions=SYSTEM_PROMPT,
input=history,
)
history.append({
"role": "assistant",
"content": response.output_text,
})
return response.output_text
Visbeidzot, tā kā kešatmiņas kalpošanas laiks tiek mērīts minūtēs, pieprasījumu grupēšana, kuriem ir kopīgs prefikss, kļūst par plānošanas lēmumu. Četrdesmit līguma pantu apstrāde pēc kārtas uztur kešatmiņu „karstu”; to izkliedēšana visas dienas garumā, mijoties ar citiem failiem, ļauj tai izbeigties starp izsaukumiem.
import asyncio
async def batch_with_cache(clauses: list[str]) -> list[str]:
"""Nosūta pieprasījumus ātri, lai izmantotu kešatmiņu."""
results = []
for clause in clauses:
result = analyze_clause(clause)
results.append(result)
return results
Trīs kļūdas anulē visu šo darbu, un tās izskatās līdzīgas: pieprasījuma sākuma modificēšana pat par vienu rakstzīmi anulē kešatmiņu visam pieprasījumam; instrukciju secības nejauša mainīšana, piemēram, veidojot pieprasījumu no nesakārtotas vārdnīcas, rada tādu pašu efektu periodiski, tāpēc to ir grūti diagnosticēt; un gaidīt ieguvumus zem 1024 tokenu sliekšņa nozīmē mēģināt optimizēt kaut ko, kas nekad netiek aktivizēts.
Galvenās atziņas
- Pieprasījumu kešatmiņa OpenAI vidē darbojas automātiski — novieto stabilos elementus pieprasījuma sākumā
- Minimālais slieksnis: 1024 identiski tokeni prefiksā
- Ieguvums: ~50% ietaupījums kešotajiem ievades tokeniem + samazināts TTFT
- Lai apstiprinātu kešēšanu, pārbaudi
usage.input_tokens_details.cached_tokens