Optimiziraj predmemoriju
Na ovoj stranici
Predmemorija: Ključni faktor performansi
Pogoci predmemorije (cache hits) glavni su pokretač brzine zaključivanja za grok-build-0.1. Kada se početak tvog zahtjeva (prefiks) podudara s prethodnim zahtjevom, model dohvaća već izračunate proračune iz predmemorije. Rezultat: odgovor stiže mnogo brže.
Razumijevanje ovog mehanizma omogućuje ti optimizaciju interakcija za gotovo trenutne odgovore.
Kako funkcionira predmemorija
Predmemorija radi na principu zajedničkog prefiksa:
- Šalješ upit s poviješću razgovora
- Model izračunava tokene od početka (sistemski upit + povijest)
- Ako je taj prefiks nedavno izračunat, dohvaća se iz predmemorije
- Samo novi tokeni (tvoja posljednja poruka) zahtijevaju potpuni izračun
Što je zajednički prefiks duži, to je dobitak veći. U scenariju programiranja u paru gdje razmjenjujete nekoliko poruka, svaki zahtjev ponovno koristi svu prethodnu povijest.
Zlatno pravilo: Ne mijenjaj povijest
Ovo je najvažnija točka ove lekcije. Izbjegavaj modificiranje povijesti upita između dva zahtjeva. Svaka izmjena na početku razgovora poništava predmemoriju.
Što kvari predmemoriju
- Promjena redoslijeda poruka u povijesti
- Izmjena prethodne poruke (čak i jednog znaka)
- Brisanje poruka iz povijesti
- Umetanje poruke usred razgovora
- Promjena sistemskog upita tijekom razgovora
Što čuva predmemoriju
- Dodavanje nove poruke na kraj razgovora (normalno ponašanje)
- Zadržavanje identičnog sistemskog upita tijekom cijele sesije
- Očuvanje povijesti netaknutom bez izmjena
Stabilni prefiks
Da bi maksimizirao pogotke predmemorije, strukturiraj svoje zahtjeve sa stabilnim prefiksom:
[System prompt (fixed)]
[User message 1 (fixed)]
[Model response 1 (fixed)]
[User message 2 (fixed)]
[Model response 2 (fixed)]
...
[New user message] ← only part computed
Sistemski upit je posebno važan. Definiraj ga jednom na početku sesije i nemoj ga mijenjati. Ako razvijaš API agenta s grok-build-0.1, napiši potpun i stabilan sistemski upit.
Stvarni utjecaj
U tipičnom scenariju programiranja u paru s 10 razmjena:
- Bez optimizacije predmemorije: svaki zahtjev ponovno izračunava cijelu povijest. Kašnjenje raste sa svakom razmjenom
- S optimiziranom predmemorijom: izračunava se samo posljednja poruka. Kašnjenje ostaje konstantno, bez obzira na duljinu razgovora
Razlika može iznositi nekoliko sekundi po interakciji. Tijekom jednosatne razvojne sesije sa stotinama razmjena, kumulativni dobitak je znatan.
Za developere agenata
Ako gradiš API agenta koji koristi grok-build-0.1 u scenarijima sekvencijalne upotrebe alata:
- Prefiks ostaje identičan između svakog poziva alata, što se automatski dohvaća iz predmemorije
- Ne preoblikuj rezultate alata prije slanja natrag modelu
- Izbjegavaj transformacije povijesti (sažimanje, kompresija) koje bi pokvarile predmemoriju
- Zadrži isti redoslijed poruka pri svakom pozivu
Ključne točke
- Pogoci predmemorije glavni su faktor brzine za grok-build-0.1
- Nikada ne mijenjaj povijest upita između dva zahtjeva
- Sistemski upit mora ostati stabilan tijekom cijele sesije
- Dodaj na kraj, nikada ne mijenjaj početak
- Kod sekvencijalnih agenata, predmemorija radi prirodno ako se povijest očuva