Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Optimizē kešatmiņas trāpījumu koeficientu

Nodarbība 10 no 14 Atjaunota 2026. gada 29. jūlijs Augstākais
Šajā lapā
  1. Strukturē savus uzvedņus kešatmiņai
  2. Zelta likums: nemaini vēsturi
  3. Uzvedņu arhitektūra, kas labi kešojas
  4. Reflekss, kas visu sabojā: vēstures saīsināšana
  5. Mēri un uzlabo
  6. Galvenās atziņas

Strukturē savus uzvedņus kešatmiņai

Grok API kešatmiņa darbojas, izmantojot prefiksu saskaņošanu. Tokeni tiek kešoti secīgi, no pirmā līdz pēdējam, un saskaņošana apstājas pie pirmā atšķirīgā rakstzīmes. Sekas ir nopietnas: ja izmaini vienu tokeni uzvedņa vidū, viss, kas seko pēc tā, zaudē kešatmiņu, pat ja pārējais teksts ir vārds vārdā identisks. Divdesmit rakstzīmju laika zīmogs uzvedņa sākumā ir pietiekams, lai aktivizētu pilnu tarifu nākamajiem 50 000 tokeniem. Uzvedņu strukturēšana nav inženieru pašapmierinātība – tieši tas atdala 200 USD rēķinu no 1000 USD rēķina par vienu un to pašu pakalpojumu.

Zelta likums: nemaini vēsturi

Visizplatītākā kļūda darbvidē ir ziņojumu vēstures pielāgošana starp pieprasījumiem. Iepriekšējā ziņojuma pārformatēšana, gājienu pārkārtošana, aktuālā datuma vai sesijas ID ievietošana sistēmas uzvednē: katrs no šiem, šķietami nekaitīgajiem žestiem, anulē kešatmiņu sākot no izmaiņu vietas. Visplašāk sastopamais gadījums ietilpst vienā koda rindiņā:

# BAD: timestamp in system prompt
messages = [
    {"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
    # ...
]

Šis laika zīmogs mainās katrā izsaukumā. Tā kā tas atrodas pašā pirmajā ziņojumā, prefiksu saskaņošana neizdodas jau pie pirmā tokena, un viss uzvednis tiek apmaksāts pēc standarta tarifa, sarunu pēc sarunas. Ja tava modelim patiešām ir jāzina datums, novieto to pēdējā lietotāja ziņojumā, kur tas izmaksā tikai dažus desmitus nekešotu tokeni.

Pareizā tā paša uzvedņa versija uztur stingri fiksētu galveni, tikai papildināmu vēsturi un koncentrē visu jauno informāciju beigās:

# GOOD: static content first, variables at the end
messages = [
    {"role": "system", "content": "You are a customer support specialist assistant."},
    # UNCHANGED conversation history
    {"role": "user", "content": "Previous question..."},
    {"role": "assistant", "content": "Previous response..."},
    # Only the last message is new
    {"role": "user", "content": "User's new question"}
]

Uzvedņu arhitektūra, kas labi kešojas

Princips ietilpst vienā teikumā: no visstabilākā uz vismainīgāko. Konkrēti, četri slāņi seko šādā secībā.

  1. Sistēmas uzvednis (stabils): vispārīgi norādījumi, personība, noteikumi
  2. Atsauces konteksts (stabils): dokumentācija, zināšanu bāze
  3. Sarunu vēsture (inkrementāla): tikai papildināma, nekad nemaināma
  4. Pašreizējais ziņojums (mainīgs): lietotāja jaunais pieprasījums

Ar šādu izkārtojumu 1. līdz 3. slānis nonāk kešatmiņā, un tikai 4. slānis tiek apmaksāts pēc standarta tarifa. Lietotnē, kur sistēmas uzvednis un repozitorijs sver 8000 tokenus, 60 tokenus garš lietotāja jautājums tiek apmaksāts pilnā cenā tikai par šiem 60 tokeniem.

Šī loģika attiecas arī uz mazāk acīmredzamiem gadījumiem. Ja tava lietotne paļaujas uz garu atsauces kontekstu – produktu dokumentāciju, BUJ, tehniskajām specifikācijām – novieto to tūlīt pēc sistēmas uzvedņa: tas tiks kešots sākot no katras sarunas otrā pieprasījuma. Un pretēji izplatītajam pieņēmumam, ieguvums neaprobežojas tikai ar vienu sesiju: divas dažādas sarunas, kurām ir vienāds prefikss, vienāds sistēmas uzvednis un vienāds atsauces konteksts, kešo viena otru. Daudzlietotāju lietotnē ar kopīgu uzvedni katrs lietotājs gūst labumu no citu lietotāju datplūsmas, padarot garu, stabilu sistēmas uzvedni daudz lētāku, nekā tas sākotnēji šķiet.

Reflekss, kas visu sabojā: vēstures saīsināšana

Kad saruna pagarinās un tuvojas konteksta limitam, instinkts liek izgriezt agrākos ziņojumus. Tieši to tev nevajadzētu darīt: dzēšot sākumu, tu nobīdi visu pārējo un iznīcini prefiksu saskaņošanu. Tu ietaupi dažus tūkstošus tokenus, bet samaksā atpakaļ piecdesmit tūkstošus pilnā cenā. Dod priekšroku kopsavilkuma veidošanai, kas vienreiz kondensē vecās apmaiņas pārrakstītā sistēmas uzvednī, atstājot nesenos ziņojumus neskartus:

# Instead of truncating history:
# messages = messages[-10:]  # BAD: breaks cache

# Summarize old messages into the system prompt:
messages = [
    {"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
    # Recent messages unmodified
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "New question"}
]

Mēri un uzlabo

Izseko ikdienas kešatmiņas trāpījumu koeficientu kā atsevišķu darbvides metrikas rādītāju, tieši tāpat kā kļūdu koeficientu. Lūk, kā interpretēt novēroto vērtību.

Kešatmiņas koeficientsInterpretācija
Mazāk par 30%Slikti strukturēti uzvedņi vai mainīgi elementi secības sākumā
30 līdz 60%Pieņemami īsām sarunām, uzlabojami ar garāku, stabilu sistēmas uzvedni
Vairāk par 60%Labs rezultāts, raksturīgs labi strukturētiem uzvedņiem
Vairāk par 80%Lieliski, ietaupījumi ir nozīmīgi

Šīs izsekošanas vērtība galvenokārt ir diferenciāla. Stabila vērtība 65% apmērā, kas pēkšņi nokrītas līdz 20%, norāda uz kļūdainu izvietošanu dažu stundu laikā: gandrīz visos gadījumos uzvedņa galvā ir tikko ieviests mainīgs elements. Pārbaudi to pats savā pašreizējā lietotnē – aprēķini vidējo koeficientu simts pieprasījumiem, pārvieto mainīgu elementu uz uzvedņa beigām un salīdzini rezultātus.

Galvenās atziņas

  • Kešatmiņa darbojas, izmantojot prefiksu saskaņošanu: nekad nemaini tokenus uzvedņa sākumā
  • Strukturē savus uzvedņus no visstabilākā uz vismainīgāko
  • Nekad nepievieno mainīgus datus (laika zīmogus, ID) sistēmas uzvednī
  • Dod priekšroku kopsavilkuma veidošanai, nevis saīsināšanai, lai saglabātu kešatmiņu garās sarunās
  • Uzraugi savu ikdienas kešatmiņas trāpījumu koeficientu kā finanšu veiktspējas rādītāju