Optimiziraj predpomnilnik
Na tej strani
Predpomnilnik: Ključni dejavnik zmogljivosti
Zadetki v predpomnilniku so glavni gonilnik hitrosti sklepanja za grok-build-0.1. Ko se začetek tvoje zahteve (prefiks) ujema s prejšnjo zahtevo, model iz predpomnilnika pridobi že izračunane rezultate. Rezultat: odgovor prispe veliko hitreje.
Razumevanje tega mehanizma ti omogoča optimizacijo interakcij za skoraj takojšnje odzive.
Kako deluje predpomnilnik
Predpomnilnik deluje na principu skupnega prefiksa:
- Pošlješ poziv z zgodovino pogovora
- Model izračuna žetone od začetka (sistemski poziv + zgodovina)
- Če je bil ta prefiks nedavno izračunan, se pridobi iz predpomnilnika
- Polni izračun zahtevajo le novi žetoni (tvoje zadnje sporočilo)
Daljši kot je skupni prefiks, večji je prihranek. V scenariju parnega programiranja, kjer si izmenjate več sporočil, vsaka zahteva ponovno uporabi vso prejšnjo zgodovino.
Zlato pravilo: Ne spreminjaj zgodovine
To je najpomembnejša točka te lekcije. Izogibaj se spreminjanju zgodovine pozivov med dvema zahtevama. Vsakršna sprememba na začetku pogovora razveljavi predpomnilnik.
Kaj uniči predpomnilnik
- Preurejanje sporočil v zgodovini
- Spreminjanje prejšnjega sporočila (celo en sam znak)
- Brisanje sporočil iz zgodovine
- Vstavljanje sporočila v sredino pogovora
- Spreminjanje sistemskega poziva med pogovorom
Kaj ohrani predpomnilnik
- Dodajanje novega sporočila na konec pogovora (običajno vedenje)
- Ohranjanje identičnega sistemskega poziva skozi celotno sejo
- Ohranjanje zgodovine nedotaknjene brez sprememb
Stabilni prefiks
Za maksimiranje zadetkov v predpomnilniku strukturiraj svoje zahteve s stabilnim prefiksom:
[Sistemski poziv (fiksno)]
[Sporočilo uporabnika 1 (fiksno)]
[Odgovor modela 1 (fiksno)]
[Sporočilo uporabnika 2 (fiksno)]
[Odgovor modela 2 (fiksno)]
...
[Novo sporočilo uporabnika] ← izračuna se le ta del
Sistemski poziv je še posebej pomemben. Opredeli ga enkrat na začetku seje in ga ne spreminjaj. Če razvijaš API agenta z grok-build-0.1, napiši popoln in stabilen sistemski poziv.
Vpliv v praksi
V tipičnem scenariju parnega programiranja z 10 izmenjavami:
- Brez optimizacije predpomnilnika: vsaka zahteva ponovno izračuna celotno zgodovino. Zakasnitev se z vsako izmenjavo povečuje
- Z optimiziranim predpomnilnikom: izračuna se le zadnje sporočilo. Zakasnitev ostaja konstantna, ne glede na dolžino pogovora
Razlika je lahko reda velikosti nekaj sekund na interakcijo. Med enourno razvijalsko sejo s stotinami izmenjav je kumulativni prihranek precejšen.
Za razvijalce agentov
Če gradiš API agenta, ki uporablja grok-build-0.1 v scenarijih zaporedne uporabe orodij:
- Prefiks ostaja med vsakim klicem orodja identičen, kar se samodejno pridobi iz predpomnilnika
- Pred pošiljanjem rezultatov orodij nazaj modelu jih ne preoblikuj
- Izogibaj se transformacijam zgodovine (povzemanje, stiskanje), ki bi uničile predpomnilnik
- Pri vsakem klicu ohrani enak vrstni red sporočil
Ključne ugotovitve
- Zadetki v predpomnilniku so glavni dejavnik hitrosti za grok-build-0.1
- Nikoli ne spreminjaj zgodovine pozivov med dvema zahtevama
- Sistemski poziv mora ostati stabilen skozi celotno sejo
- Dodajaj na konec, nikoli ne spreminjaj začetka
- Pri zaporednih agentih predpomnilnik deluje naravno, če je zgodovina ohranjena