Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Optimiziraj predpomnilnik

Lekcija 8 od 14 Posodobljeno 29. julij 2026 Razvijalec
Na tej strani
  1. Predpomnilnik: Ključni dejavnik zmogljivosti
  2. Kako deluje predpomnilnik
  3. Zlato pravilo: Ne spreminjaj zgodovine
  4. Stabilni prefiks
  5. Vpliv v praksi
  6. Za razvijalce agentov
  7. Ključne ugotovitve

Predpomnilnik: Ključni dejavnik zmogljivosti

Zadetki v predpomnilniku so glavni gonilnik hitrosti sklepanja za grok-build-0.1. Ko se začetek tvoje zahteve (prefiks) ujema s prejšnjo zahtevo, model iz predpomnilnika pridobi že izračunane rezultate. Rezultat: odgovor prispe veliko hitreje.

Razumevanje tega mehanizma ti omogoča optimizacijo interakcij za skoraj takojšnje odzive.

Kako deluje predpomnilnik

Predpomnilnik deluje na principu skupnega prefiksa:

  1. Pošlješ poziv z zgodovino pogovora
  2. Model izračuna žetone od začetka (sistemski poziv + zgodovina)
  3. Če je bil ta prefiks nedavno izračunan, se pridobi iz predpomnilnika
  4. Polni izračun zahtevajo le novi žetoni (tvoje zadnje sporočilo)

Daljši kot je skupni prefiks, večji je prihranek. V scenariju parnega programiranja, kjer si izmenjate več sporočil, vsaka zahteva ponovno uporabi vso prejšnjo zgodovino.

Zlato pravilo: Ne spreminjaj zgodovine

To je najpomembnejša točka te lekcije. Izogibaj se spreminjanju zgodovine pozivov med dvema zahtevama. Vsakršna sprememba na začetku pogovora razveljavi predpomnilnik.

Kaj uniči predpomnilnik

  • Preurejanje sporočil v zgodovini
  • Spreminjanje prejšnjega sporočila (celo en sam znak)
  • Brisanje sporočil iz zgodovine
  • Vstavljanje sporočila v sredino pogovora
  • Spreminjanje sistemskega poziva med pogovorom

Kaj ohrani predpomnilnik

  • Dodajanje novega sporočila na konec pogovora (običajno vedenje)
  • Ohranjanje identičnega sistemskega poziva skozi celotno sejo
  • Ohranjanje zgodovine nedotaknjene brez sprememb

Stabilni prefiks

Za maksimiranje zadetkov v predpomnilniku strukturiraj svoje zahteve s stabilnim prefiksom:

[Sistemski poziv (fiksno)]
[Sporočilo uporabnika 1 (fiksno)]
[Odgovor modela 1 (fiksno)]
[Sporočilo uporabnika 2 (fiksno)]
[Odgovor modela 2 (fiksno)]
...
[Novo sporočilo uporabnika] ← izračuna se le ta del

Sistemski poziv je še posebej pomemben. Opredeli ga enkrat na začetku seje in ga ne spreminjaj. Če razvijaš API agenta z grok-build-0.1, napiši popoln in stabilen sistemski poziv.

Vpliv v praksi

V tipičnem scenariju parnega programiranja z 10 izmenjavami:

  • Brez optimizacije predpomnilnika: vsaka zahteva ponovno izračuna celotno zgodovino. Zakasnitev se z vsako izmenjavo povečuje
  • Z optimiziranim predpomnilnikom: izračuna se le zadnje sporočilo. Zakasnitev ostaja konstantna, ne glede na dolžino pogovora

Razlika je lahko reda velikosti nekaj sekund na interakcijo. Med enourno razvijalsko sejo s stotinami izmenjav je kumulativni prihranek precejšen.

Za razvijalce agentov

Če gradiš API agenta, ki uporablja grok-build-0.1 v scenarijih zaporedne uporabe orodij:

  • Prefiks ostaja med vsakim klicem orodja identičen, kar se samodejno pridobi iz predpomnilnika
  • Pred pošiljanjem rezultatov orodij nazaj modelu jih ne preoblikuj
  • Izogibaj se transformacijam zgodovine (povzemanje, stiskanje), ki bi uničile predpomnilnik
  • Pri vsakem klicu ohrani enak vrstni red sporočil

Ključne ugotovitve

  • Zadetki v predpomnilniku so glavni dejavnik hitrosti za grok-build-0.1
  • Nikoli ne spreminjaj zgodovine pozivov med dvema zahtevama
  • Sistemski poziv mora ostati stabilen skozi celotno sejo
  • Dodajaj na konec, nikoli ne spreminjaj začetka
  • Pri zaporednih agentih predpomnilnik deluje naravno, če je zgodovina ohranjena