Salt la conținutul principal
Română— Alege o limbă
Meniu

Optimizați rata de acces la cache

Lecția 10 din 14 Actualizată 29 iulie 2026 Avansat
Pe această pagină
  1. Structurați prompturile pentru cache
  2. Regula de aur: Nu modificați istoricul
  3. O arhitectură de prompt eficientă pentru cache
  4. Reflexul care distruge totul: trunchierea istoricului
  5. Măsurați și îmbunătățiți
  6. Puncte cheie

Structurați prompturile pentru cache

Cache-ul API Grok funcționează prin potrivirea prefixelor. Tokenii sunt stocați în cache în ordine, de la primul la ultimul, iar procesul de potrivire se oprește la primul caracter diferit. Consecința este severă: dacă modificați un token la mijlocul promptului, tot ce urmează după acesta își pierde statutul de cache, chiar dacă restul este identic cuvânt cu cuvânt. Un marcaj temporal de douăzeci de caractere la începutul unui prompt este suficient pentru a declanșa tariful complet pentru cei 50.000 de tokeni care urmează. Structurarea prompturilor nu este o vanitate inginerească; este ceea ce face diferența între o factură de 200 $ și una de 1.000 $ pentru același serviciu.

Regula de aur: Nu modificați istoricul

Cea mai frecventă capcană în producție este ajustarea istoricului mesajelor între cereri. Reformatarea unui mesaj anterior, reordonarea tururilor de dialog sau injectarea unei date curente ori a unui ID de sesiune în promptul de sistem: fiecare dintre aceste gesturi, aparent inofensive, invalidează cache-ul din punctul modificării până la final. Cel mai răspândit caz se rezumă la o singură linie de cod:

# BAD: timestamp in system prompt
messages = [
    {"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
    # ...
]

Acest marcaj temporal se schimbă la fiecare apel. Deoarece se află în chiar primul mesaj, potrivirea prefixului eșuează încă de la primul token, iar întregul prompt este facturat la tariful standard, conversație după conversație. Dacă modelul dumneavoastră are nevoie genuină de dată, plasați-o în ultimul mesaj al utilizatorului, unde va costa doar câțiva zeci de tokeni necachați.

Versiunea corectă a aceluiași prompt menține un antet strict fix, un istoric care crește doar prin adăugare (append-only) și concentrează toate noutățile la final:

# GOOD: static content first, variables at the end
messages = [
    {"role": "system", "content": "You are a customer support specialist assistant."},
    # UNCHANGED conversation history
    {"role": "user", "content": "Previous question..."},
    {"role": "assistant", "content": "Previous response..."},
    # Only the last message is new
    {"role": "user", "content": "User's new question"}
]

O arhitectură de prompt eficientă pentru cache

Principiul se rezumă la o singură frază: de la cel mai stabil la cel mai variabil. Concret, patru straturi se succed în această ordine:

  1. Promptul de sistem (stabil): instrucțiuni generale, personaj, reguli
  2. Contextul de referință (stabil): documentație, bază de cunoștințe
  3. Istoricul conversației (incremental): doar adăugiri, fără modificări
  4. Mesajul curent (variabil): noua cerere a utilizatorului

Cu această aranjare, straturile 1 până la 3 intră în cache, iar doar stratul 4 este facturat la tariful standard. Într-o aplicație unde promptul de sistem și repository-ul cântăresc 8.000 de tokeni, o întrebare a utilizatorului de 60 de tokeni va fi facturată la preț întreg doar pentru acei 60 de tokeni.

Această logică se extinde și la cazuri mai puțin evidente. Dacă aplicația dumneavoastră se bazează pe un context de referință lung – documentație de produs, Întrebări Frecvente, specificații tehnice – plasați-l imediat după promptul de sistem: acesta va fi cache-uit începând cu a doua cerere a fiecărei conversații. Și, contrar presupunerilor comune, beneficiul nu se limitează la o singură sesiune: două conversații distincte care partajează același prefix, același prompt de sistem și același context de referință, se cache-uiesc reciproc. Într-o aplicație multi-utilizator cu un prompt comun, fiecare utilizator beneficiază de traficul celorlalți, făcând ca un prompt de sistem lung și stabil să fie mult mai puțin costisitor decât pare.

Reflexul care distruge totul: trunchierea istoricului

Când o conversație se lungesc și se apropie de limita de context, instinctul este să tăiați mesajele cele mai vechi. Acesta este exact lucrul pe care nu trebuie să îl faceți: prin eliminarea începutului, deplasați tot restul și distrugeți potrivirea prefixelor. Economisiți câțiva mii de tokeni, dar plătiți înapoi cincizeci de mii la preț întreg. Preferați sumarizarea, care condensează schimburile vechi într-un prompt de sistem rescris o singură dată, lăsând mesajele recente intacte:

# Instead of truncating history:
# messages = messages[-10:]  # BAD: breaks cache

# Summarize old messages into the system prompt:
messages = [
    {"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
    # Recent messages unmodified
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "New question"}
]

Măsurați și îmbunătățiți

Urmăriți rata zilnică de acces la cache (cache hit rate) ca pe o metrică de producție în sine, la fel ca rata de eroare. Iată cum să interpretați valoarea observată.

Rata de cacheInterpretare
Mai puțin de 30%Prompturi structurate necorespunzător sau elemente variabile la începutul secvenței
30 până la 60%Acceptabil pentru conversații scurte, îmbunătățibil cu un prompt de sistem mai lung și stabil
Peste 60%Rezultat bun, tipic pentru prompturi bine structurate
Peste 80%Excelent, economiile sunt semnificative

Valoarea acestei monitorizări este în special diferențială. O valoare stabilă la 65% care scade brusc la 20% peste noapte indică o implementare defectuoasă în câteva ore: în aproape toate cazurile, o variabilă tocmai a fost introdusă la capul promptului. Testați chiar dumneavoastră pe aplicația curentă – calculați rata medie peste o sută de cereri, mutați un element variabil la sfârșitul promptului și comparați rezultatele.

Puncte cheie

  • Cache-ul funcționează prin potrivirea prefixelor: nu modificați niciodată tokenii de la începutul promptului
  • Structurați prompturile de la cel mai stabil la cel mai variabil
  • Nu adăugați niciodată date variabile (marcaje temporale, ID-uri) în promptul de sistem
  • Preferați sumarizarea în locul trunchierii pentru a păstra cache-ul în conversațiile lungi
  • Monitorizați rata zilnică de acces la cache ca pe o metrică de performanță financiară