Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Vahemälu optimeerimine

Õppetund 8 / 14 Värskendatud 29. juuli 2026 Arendajatele
Sellel lehel
  1. Vahemälu: jõudluse võtmefaktor
  2. Kuidas vahemälu töötab
  3. Kuldreegel: ära muuda ajalugu
  4. Stabiilne prefiks
  5. Reaalne mõju
  6. Agentide arendajatele
  7. Peamised punktid

Vahemälu: jõudluse võtmefaktor

Vahemälu tabamused on grok-build-0.1 järelduskiiruse peamine mootor. Kui sinu päringu algus (prefiks) kattub eelmise päringuga, toob mudel vahemälust välja juba arvutatud tulemused. Tulemus: vastus saadub palju kiiremini.

Selle mehhanismi mõistmine võimaldab sul optimeerida oma suhtlust peaaegu kohese vastuse saamiseks.

Kuidas vahemälu töötab

Vahemälu põhineb ühise prefiksi printsiibil:

  1. Saadad sisendi koos vestlusajalooga
  2. Mudel arvutab tokenid algusest peale (süsteemi sisend + ajalugu)
  3. Kui see prefiks on hiljuti arvutatud, laaditakse see vahemälust
  4. Ainult uued tokenid (sinu viimane sõnum) nõuavad täielikku arvutust

Mida pikem on ühine prefiks, seda suurem on võit. Paarisprogrammeerimise stsenaariumis, kus vahetate mitu sõnumit, kasutab iga päring kogu eelnevat ajalugu uuesti.

Kuldreegel: ära muuda ajalugu

See on selle tunni kõige olulisem punkt. Väldi sisendi ajaloo muutmist kahe päringu vahel. Igasugune muutus vestluse alguses muudab vahemälu kehtetuks.

Mis rikub vahemälu

  • Sõnumite ümberjärjestamine ajaloos
  • Eelmise sõnumi muutmine (isegi üksainus märk)
  • Sõnumite kustutamine ajaloost
  • Sõnumi lisamine vestluse keskele
  • Süsteemi sisendi muutmine vestluse käigus

Mis säilitab vahemälu

  • Uue sõnumi lisamine vestluse lõppu (tavaline käitumine)
  • Süsteemi sisendi muutmatuna hoidmine kogu seansi vältel
  • Ajaloo muutmatuna hoidmine ilma igasuguste muudatusteta

Stabiilne prefiks

Vahemälu tabamuste maksimeerimiseks struktureeri oma päringud stabiilse prefiksiga:

[Süsteemi sisend (fikseeritud)]
[Kasutaja sõnum 1 (fikseeritud)]
[Mudeli vastus 1 (fikseeritud)]
[Kasutaja sõnum 2 (fikseeritud)]
[Mudeli vastus 2 (fikseeritud)]
...
[Uus kasutaja sõnum] ← ainus arvutatav osa

Süsteemi sisend on eriti oluline. Määratle see seansi alguses üks kord ja ära muuda seda enam. Kui arendad grok-build-0.1-ga API-agenti, kirjuta täielik ja stabiilne süsteemi sisend.

Reaalne mõju

Tüüpilises paarisprogrammeerimise stsenaariumis, kus on 10 vahetust:

  • Ilma vahemälu optimeerimiseta: iga päring arvutab kogu ajaloo uuesti. Latentsus kasvab iga vahetusega
  • Optimeeritud vahemäluga: arvutatakse ainult viimane sõnum. Latentsus jääb konstantseks, sõltumata vestluse pikkusest

Erinevus võib olla mõni sekund interaktsiooni kohta. Ühetunnise arendusseansi jooksul, kus toimub sadu vahetusi, on kumulatiivne võit märkimisväärne.

Agentide arendajatele

Kui lood API-agenti, mis kasutab grok-build-0.1 järjestikuste tööriistakasutuse stsenaariumides:

  • Prefiks jääb iga tööriistakutse vahel identseks, mis laaditakse automaatselt vahemälust
  • Ära vorminda tööriistade tulemusi enne mudelile tagasisaatmist ümber
  • Väldi ajaloo teisendusi (kokkuvõtmine, tihendamine), mis rikuksid vahemälu
  • Hoia iga kutse korral sama sõnumite järjekorda

Peamised punktid

  • Vahemälu tabamused on grok-build-0.1 kiiruse peamine tegur
  • Ära kunagi muuda sisendi ajalugu kahe päringu vahel
  • Süsteemi sisend peab jääma kogu seansi vältel stabiilseks
  • Lisa lõppu, ära kunagi muuda algust
  • Järjestikustes agentides töötab vahemälu loomulikult, kui ajalugu on säilinud