Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Optimiziraj predmemoriju

Lekcija 8 od 14 Ažurirano 29. srpnja 2026. Programer
Na ovoj stranici
  1. Predmemorija: Ključni faktor performansi
  2. Kako funkcionira predmemorija
  3. Zlatno pravilo: Ne mijenjaj povijest
  4. Stabilni prefiks
  5. Stvarni utjecaj
  6. Za developere agenata
  7. Ključne točke

Predmemorija: Ključni faktor performansi

Pogoci predmemorije (cache hits) glavni su pokretač brzine zaključivanja za grok-build-0.1. Kada se početak tvog zahtjeva (prefiks) podudara s prethodnim zahtjevom, model dohvaća već izračunate proračune iz predmemorije. Rezultat: odgovor stiže mnogo brže.

Razumijevanje ovog mehanizma omogućuje ti optimizaciju interakcija za gotovo trenutne odgovore.

Kako funkcionira predmemorija

Predmemorija radi na principu zajedničkog prefiksa:

  1. Šalješ upit s poviješću razgovora
  2. Model izračunava tokene od početka (sistemski upit + povijest)
  3. Ako je taj prefiks nedavno izračunat, dohvaća se iz predmemorije
  4. Samo novi tokeni (tvoja posljednja poruka) zahtijevaju potpuni izračun

Što je zajednički prefiks duži, to je dobitak veći. U scenariju programiranja u paru gdje razmjenjujete nekoliko poruka, svaki zahtjev ponovno koristi svu prethodnu povijest.

Zlatno pravilo: Ne mijenjaj povijest

Ovo je najvažnija točka ove lekcije. Izbjegavaj modificiranje povijesti upita između dva zahtjeva. Svaka izmjena na početku razgovora poništava predmemoriju.

Što kvari predmemoriju

  • Promjena redoslijeda poruka u povijesti
  • Izmjena prethodne poruke (čak i jednog znaka)
  • Brisanje poruka iz povijesti
  • Umetanje poruke usred razgovora
  • Promjena sistemskog upita tijekom razgovora

Što čuva predmemoriju

  • Dodavanje nove poruke na kraj razgovora (normalno ponašanje)
  • Zadržavanje identičnog sistemskog upita tijekom cijele sesije
  • Očuvanje povijesti netaknutom bez izmjena

Stabilni prefiks

Da bi maksimizirao pogotke predmemorije, strukturiraj svoje zahtjeve sa stabilnim prefiksom:

[System prompt (fixed)]
[User message 1 (fixed)]
[Model response 1 (fixed)]
[User message 2 (fixed)]
[Model response 2 (fixed)]
...
[New user message] ← only part computed

Sistemski upit je posebno važan. Definiraj ga jednom na početku sesije i nemoj ga mijenjati. Ako razvijaš API agenta s grok-build-0.1, napiši potpun i stabilan sistemski upit.

Stvarni utjecaj

U tipičnom scenariju programiranja u paru s 10 razmjena:

  • Bez optimizacije predmemorije: svaki zahtjev ponovno izračunava cijelu povijest. Kašnjenje raste sa svakom razmjenom
  • S optimiziranom predmemorijom: izračunava se samo posljednja poruka. Kašnjenje ostaje konstantno, bez obzira na duljinu razgovora

Razlika može iznositi nekoliko sekundi po interakciji. Tijekom jednosatne razvojne sesije sa stotinama razmjena, kumulativni dobitak je znatan.

Za developere agenata

Ako gradiš API agenta koji koristi grok-build-0.1 u scenarijima sekvencijalne upotrebe alata:

  • Prefiks ostaje identičan između svakog poziva alata, što se automatski dohvaća iz predmemorije
  • Ne preoblikuj rezultate alata prije slanja natrag modelu
  • Izbjegavaj transformacije povijesti (sažimanje, kompresija) koje bi pokvarile predmemoriju
  • Zadrži isti redoslijed poruka pri svakom pozivu

Ključne točke

  • Pogoci predmemorije glavni su faktor brzine za grok-build-0.1
  • Nikada ne mijenjaj povijest upita između dva zahtjeva
  • Sistemski upit mora ostati stabilan tijekom cijele sesije
  • Dodaj na kraj, nikada ne mijenjaj početak
  • Kod sekvencijalnih agenata, predmemorija radi prirodno ako se povijest očuva