Optimizē kešatmiņu
Šajā lapā
Kešatmiņa: galvenais veiktspējas faktors
Kešatmiņas trāpījumi ir primārais secinājumu ātruma dzinējspēks modelim grok-build-0.1. Kad tava pieprasījuma sākums (prefikss) sakrīt ar iepriekšēju pieprasījumu, modelis no kešatmiņas izgūst jau aprēķinātos datus. Rezultāts: atbilde tiek saņemta daudz ātrāk.
Izprotot šo mehānismu, tu vari optimizēt savu mijiedarbību, lai panāktu gandrīz tūlītējas atbildes.
Kā darbojas kešatmiņa
Kešatmiņa darbojas pēc kopīgā prefiksa principa:
- Tu nosūti promptu ar sarunas vēsturi
- Modelis aprēķina tokenus no paša sākuma (sistēmas prompts + vēsture)
- Ja šis prefikss ir ticis aprēķināts nesen, tas tiek izgūts no kešatmiņas
- Tikai jaunie tokeni (tavs pēdējais ziņojums) prasa pilnu aprēķinu
Jo garāks ir kopīgais prefikss, jo lielāks ir ieguvums. Pāra programmēšanas scenārijā, kurā apmaināties ar vairākiem ziņojumiem, katrs pieprasījums atkārtoti izmanto visu iepriekšējo vēsturi.
Zelta likums: nemaini vēsturi
Šis ir svarīgākais punkts šajā nodarbībā. Izvairies mainīt promptu vēsturi starp diviem pieprasījumiem. Jebkuras izmaiņas sarunas sākumā anulē kešatmiņu.
Kas sabojā kešatmiņu
- Ziņojumu pārkārtošana vēsturē
- Iepriekšēja ziņojuma modificēšana (pat viena rakstzīme)
- Ziņojumu dzēšana no vēstures
- Ziņojuma ievietošana sarunas vidū
- Sistēmas prompta maiņa sarunas laikā
Kas saglabā kešatmiņu
- Jauna ziņojuma pievienošana sarunas beigām (parasta uzvedība)
- Sistēmas prompta uzturēšana nemainīga visas sesijas laikā
- Vēstures uzturēšana neskarta bez izmaiņām
Stabilais prefikss
Lai maksimāli palielinātu kešatmiņas trāpījumus, strukturē savus pieprasījumus ar stabilu prefiksu:
[Sistēmas prompts (fiksēts)]
[Lietotāja ziņojums 1 (fiksēts)]
[Modeļa atbilde 1 (fiksēta)]
[Lietotāja ziņojums 2 (fiksēts)]
[Modeļa atbilde 2 (fiksēta)]
...
[Jauns lietotāja ziņojums] ← tiek aprēķināta tikai šī daļa
Sistēmas prompts ir īpaši svarīgs. Definē to vienreiz sesijas sākumā un nemaini to. Ja izstrādā API aģentu ar grok-build-0.1, izveido pilnīgu un stabilu sistēmas promptu.
Reāla ietekme
Tipiskā pāra programmēšanas scenārijā ar 10 apmaiņām:
- Bez kešatmiņas optimizācijas: katrs pieprasījums pārrēķina visu vēsturi. Aizture pieaug ar katru apmaiņu
- Ar optimizētu kešatmiņu: tiek aprēķināts tikai pēdējais ziņojums. Aizture paliek nemainīga neatkarīgi no sarunas garuma
Atšķirība var būt vairāku sekunžu robežās uz vienu mijiedarbību. Vienas stundas izstrādes sesijā ar simtiem apmaiņu kumulatīvais ieguvums ir ievērojams.
Aģentu izstrādātājiem
Ja veido API aģentu, kas izmanto grok-build-0.1 secīgas rīku lietošanas scenārijos:
- Prefikss paliek identisks starp katru rīka izsaukumu, kas automātiski tiek izgūts no kešatmiņas
- Nepārformatē rīku rezultātus pirms to nosūtīšanas atpakaļ modelim
- Izvairies no vēstures transformācijām (kopsavilkumu veidošana, kompresija), kas sabojātu kešatmiņu
- Katrā izsaukumā saglabā vienu un to pašu ziņojumu secību
Galvenās atziņas
- Kešatmiņas trāpījumi ir primārais ātruma faktors modelim grok-build-0.1
- Nekad nemaini promptu vēsturi starp diviem pieprasījumiem
- Sistēmas promptam jāpaliek stabilam visas sesijas laikā
- Pievieno beigās, nekad nemaini sākumu
- Secīgos aģentos kešatmiņa darbojas dabiski, ja tiek saglabāta vēsture