Il-caching tal-prompt: Uża mill-ġdid il-kalkoli
F'din il-paġna
X’inhu l-caching tal-prompt?
Meta tibgħat ripetutament l-istess prefiss ta’ prompt—prompt tas-sistema twil, istruzzjonijiet dettaljati, jew dokument ta’ referenza—OpenAI tista’ awtomatikament taħżen dak il-prefiss fil-cache. Sejħiet sussegwenti li jaqsmu dan il-prefiss jibbenefikaw minn ħin imnaqqas għall-ewwel token (TTFT) u kostijiet aktar baxxi fuq it-tokens tal-input. Fi kliem ieħor, ix-xogħol li jinvolvi l-assimilazzjoni tal-kuntest stabbli ma jiġix ripetut għal kull talba.
Il-caching tal-prompt sar awtomatiku mill-2025: m’għandekx bżonn tattivaw xejn. OpenAI tidentifika prefissi identiċi u taħżinhom fil-cache. Għalhekk, il-leverage tiegħek mhuwiex li tixegħlu jew titfiħ, iżda li tikteb il-prompts tiegħek b’tali mod li l-mekkaniżmu jkun jista’ japplika. Din hija kwistjoni ta’ struttura, mhux ta’ konfigurazzjoni, u huwa hawnhekk fejn ħafna timijiet iħallu l-flus fuq il-mejda.
Kif jaħdem
Il-cache japplika għal prefissi tal-prompt: l-ewwel tokens iridu jkunu strettament identiċi minn sejħa għall-oħra, u l-qabda tieqaf fl-ewwel karattru li jiddevja. Daqs minimu ta’ 1,024 token huwa meħtieġ biex jiġi attivat il-caching, li minnufih jeskludi prompts qosra tas-sistema. Il-cache hija kondiviża fi ħdan organizzazzjoni waħda, li jfisser li servizzi multipli fil-kumpanija tiegħek li jsejħu l-istess prefiss jgħinu lil xulxin. Il-ħajja utli tiegħu tvarja minn ftit minuti sa ftit sigħat, mingħajr garanzija soda, u t-tnaqqis miksub huwa ta’ madwar 50% fuq il-kost tat-tokens tal-input fil-cache.
Il-konsegwenza prattika tar-regola tal-prefiss hija li trid tpoġġi elementi stabbli fil-bidu tal-prompt u elementi varjabbli fit-tmiem. Servizz li jdaħħal id-data tal-lum jew ID tas-sessjoni fil-bidu tal-prompt tas-sistema tiegħu jinvalida l-cache tiegħu fuq kull sejħa mingħajr ma qatt jirrealizzah.
import openai
client = openai.OpenAI()
# ✅ Struttura tajba: elementi stabbli l-ewwel
SYSTEM_PROMPT = """Inti assistent legali speċjalizzat fil-liġi
kuntrattwali Franċiża. Inti tanalizza klawżoli kuntrattwali skont il-
Kodiċi Ċivili u l-ġurisprudenza reċenti. Inti dejjem tirrispondi billi
tistruttura l-analiżi tiegħek: 1) Identifikazzjoni tal-klawżola,
2) Analiżi legali, 3) Riskji potenzjali, 4) Rakkomandazzjonijiet.
Hawnhekk huwa l-kuntratt ta' referenza biex jiġi analizzat:
[Daħħal dokument ta' aktar minn 2,000 token li ma jinbidilx bejn is-sejħiet]
"""
def analyze_clause(clause: str) -> str:
"""Kull sejħa terġa' tuża l-cache tal-prompt tas-sistema."""
response = client.responses.create(
model="gpt-5.6-terra",
instructions=SYSTEM_PROMPT, # Prefiss stabbli = fil-cache
input=f"Analizza din il-klawżola: {clause}", # Parti varjabbli
)
return response.output_text
F’dan l-eżempju, il-kuntratt ta’ referenza u l-qafas tal-analiżi jikkostitwixxu l-blokk invarjabbli, filwaqt li l-klawżola li qed tiġi eżaminata tinbidel ma’ kull sejħa. Analizza erbgħin klawżola mill-istess kuntratt, u tħallas għall-kuntest darba biss bi prezz sħiħ.
Verifika tal-cache
Ottimizzazzjoni li ma tkejjilhiex hija ottimizzazzjoni li taħseb biss li għandek. L-API tirritorna informazzjoni dwar l-użu tal-cache fir-rispons:
response = client.responses.create(
model="gpt-5.6-terra",
instructions=SYSTEM_PROMPT,
input="Analizza l-klawżola ta' non-kompetizzjoni.",
)
# Iċċekkja l-użu tal-cache
usage = response.usage
print(f"Tokens tal-input: {usage.input_tokens}")
print(f"Tokens tal-input (fil-cache): {usage.input_tokens_details.cached_tokens}")
print(f"Tokens tal-output: {usage.output_tokens}")
# Jekk cached_tokens > 0: il-cache intużat
cache_ratio = usage.input_tokens_details.cached_tokens / usage.input_tokens
print(f"Proporzjon tal-cache: {cache_ratio:.1%}")
Irreġistra dan il-proporzjon fil-produzzjoni minflok ma tiċċekkjah darba waħda fl-iżvilupp. Tnaqqis f’daqqa fir-rata tal-cache huwa l-aktar sintomu affidabbli ta’ bidla mhux intenzjonata fil-kostruzzjoni tal-prompt, u tara dan qabel ma l-kont ta’ kull xahar jgħidlek dwaru.
Strutturar biex timmassimizza l-cache
L-ewwel approċċ huwa li tarrikkixxi deliberatament il-prompt tas-sistema. Dan jista’ jidher kontra l-intuwizzjoni meta tkun qed tipprova tnaqqas it-tokens, iżda dan jallinja mar-regola tal-limitu: prompt tas-sistema ta’ 900 token qatt ma jiġi kkaxxjat, filwaqt li l-istess prompt arrikkut b’eżempji few-shot u dokument ta’ referenza jaqbeż il-linja u jibdel għar-rata mnaqqsa għall-parti fil-cache.
# Arrikkixxi l-prompt tas-sistema biex timmassimizza l-cache
ENRICHED_PROMPT = """
[Istruzzjonijiet dettaljati - aktar minn 500 token]
[Eżempji Few-shot - aktar minn 500 token]
[Dokument ta' referenza - aktar minn 1,000 token]
---
Total > 1,024 token = eliġibbli għall-cache
"""
F’konversazzjoni multi-turn, il-mekkaniżmu jaħdem favurek mingħajr sforz addizzjonali: l-istorja akkumulata tifforma prefiss naturalment stabbli li jikber ma’ kull skambju. Sakemm dejjem terġa’ ddaħħal il-messaġġi bl-istess ordni, it-turn numru għaxra jibbenefika mill-cache mibnija mid-disa’ ta’ qablu.
def conversation_with_cache(history: list[dict], new_message: str):
"""L-istorja li tikber timmassimizza l-cache awtomatikament."""
history.append({"role": "user", "content": new_message})
response = client.responses.create(
model="gpt-5.6-terra",
instructions=SYSTEM_PROMPT,
input=history,
)
history.append({
"role": "assistant",
"content": response.output_text,
})
return response.output_text
Fl-aħħar nett, peress li l-ħajja utli tal-cache titkejjel f’minuti, l-igruppjar ta’ talbiet li jaqsmu prefiss isir deċiżjoni ta’ skedar. L-ipproċessar ta’ erbgħin klawżola minn kuntratt wara xulxin iżomm il-cache sħuna; it-tifrix tagħhom matul il-ġurnata waqt li tħallat fajls oħra jħalliha tiskadi bejn is-sejħiet.
import asyncio
async def batch_with_cache(clauses: list[str]) -> list[str]:
"""Jibgħat it-talbiet malajr biex jisfrutta l-cache."""
results = []
for clause in clauses:
result = analyze_clause(clause)
results.append(result)
return results
Tliet żbalji jikkanċellaw dan ix-xogħol kollu, u jixbhu lil xulxin: il-modifika tal-bidu tal-prompt, anke b’karattru wieħed, tinvalida l-cache għat-talba kollha; ir-randomizzazzjoni tal-ordni tal-istruzzjonijiet, pereżempju billi tibni l-prompt minn dizzjunarju mhux ordnat, tipproduċi l-istess effett b’mod intermittenti u għalhekk huwa diffiċli li tiddijanostikah; u li tistenna gwadanji taħt il-limitu ta’ 1,024 token ifisser li tipprova tottimizza xi ħaġa li qatt ma tiġi attivata.
Punti Ewlenin
- Il-caching tal-prompt huwa awtomatiku ma’ OpenAI—poġġi elementi stabbli fil-bidu tal-prompt
- Limitu minimu: 1,024 token identiċi fil-prefiss
- Gwadann: ~50% fuq it-tokens tal-input fil-cache + TTFT imnaqqas
- Iċċekkja
usage.input_tokens_details.cached_tokensbiex tikkonferma l-caching