Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

A gyorsítótár optimalizálása

8. lecke 14 közül Frissítve 2026. július 29. Fejlesztő
Ezen az oldalon
  1. Gyorsítótár: A teljesítmény kulcstényezője
  2. Hogyan működik a gyorsítótár
  3. Az aranyszabály: Ne módosítsd az előzményeket
  4. A stabil prefix
  5. Valós hatás
  6. Ügynökfejlesztőknek
  7. Főbb megállapítások

Gyorsítótár: A teljesítmény kulcstényezője

A gyorsítótár-találatok (cache hits) a legfőbb mozgatórugói a grok-build-0.1 következtetési sebességének. Amikor a kérésed eleje (a prefix) megegyezik egy korábbi kéréssel, a modell a gyorsítótárból hívja le a már kiszámított értékeket. Eredmény: a válasz sokkal gyorsabban érkezik meg.

Ennek a mechanizmusnak a megértése lehetővé teszi, hogy szinte azonnali válaszokra optimalizáld a kommunikációdat.

Hogyan működik a gyorsítótár

A gyorsítótár a közös prefix elvén alapul:

  1. Elküldesz egy promptot a beszélgetés előzményeivel
  2. A modell a legelejétől kezdi kiszámítani a tokeneket (rendszerprompt + előzmények)
  3. Ha ezt a prefixet nemrégiben már kiszámolták, a rendszer lekéri azt a gyorsítótárból
  4. Csak az új tokenek (az utolsó üzeneted) igényelnek teljes számítást

Minél hosszabb a közös prefix, annál nagyobb a nyereség. Páros programozási helyzetben, ahol több üzenetet váltotok, minden kérés újrahasznosítja az összes korábbi előzményt.

Az aranyszabály: Ne módosítsd az előzményeket

Ez a lecke legfontosabb pontja. Kerüld a prompt előzményeinek módosítását két kérés között. A beszélgetés elején végzett bármilyen változtatás érvényteleníti a gyorsítótárat.

Mi töri meg a gyorsítótárat

  • Üzenetek átrendezése az előzményekben
  • Korábbi üzenet módosítása (még egyetlen karakternyi változtatás is)
  • Üzenetek törlése az előzményekből
  • Üzenet beszúrása a beszélgetés közepébe
  • A rendszerprompt megváltoztatása a beszélgetés során

Mi őrzi meg a gyorsítótárat

  • Új üzenet hozzáadása a beszélgetés végéhez (ez a normál működés)
  • A rendszerprompt azonosan tartása a teljes munkamenet alatt
  • Az előzmények érintetlenül hagyása, módosítás nélkül

A stabil prefix

A gyorsítótár-találatok maximalizálása érdekében strukturáld a kéréseidet egy stabil prefixszel:

[Rendszerprompt (rögzített)]
[Felhasználói üzenet 1 (rögzített)]
[Modell válasz 1 (rögzített)]
[Felhasználói üzenet 2 (rögzített)]
[Modell válasz 2 (rögzített)]
...
[Új felhasználói üzenet] ← csak ez a rész számítódik újra

A rendszerprompt különösen fontos. Definiáld egyszer a munkamenet elején, és ne változtass rajta. Ha API-ügynököt fejlesztesz a grok-build-0.1 segítségével, írj egy teljes körű és stabil rendszerpromptot.

Valós hatás

Egy tipikus, 10 körből álló páros programozási helyzetben:

  • Gyorsítótár-optimalizálás nélkül: minden kérés újra kiszámítja a teljes előzményt. A késleltetés minden körrel nő
  • Optimalizált gyorsítótárral: csak az utolsó üzenet számítódik ki. A késleltetés állandó marad, függetlenül a beszélgetés hosszától

A különbség elérheti a másodperceket interakciónként. Egy egyórás fejlesztési munkamenet során, több száz váltással, a halmozott nyereség jelentős.

Ügynökfejlesztőknek

Ha olyan API-ügynököt építesz, amely a grok-build-0.1-et használja szekvenciális eszközhasználati forgatókönyvekben:

  • A prefix minden eszközhívás között azonos marad, így a rendszer automatikusan lekéri azt a gyorsítótárból
  • Ne formázd újra az eszközök eredményeit, mielőtt visszaküldenéd őket a modellnek
  • Kerüld az előzmények átalakítását (összefoglalás, tömörítés), mert az megtöri a gyorsítótárat
  • Minden hívásnál tartsd meg az üzenetek ugyanazon sorrendjét

Főbb megállapítások

  • A gyorsítótár-találatok a legfőbb sebességtényezők a grok-build-0.1 esetében
  • Soha ne módosítsd a prompt előzményeit két kérés között
  • A rendszerpromptnak stabilnak kell maradnia a teljes munkamenet alatt
  • Mindig a végére adj hozzá, soha ne módosítsd az elejét
  • Szekvenciális ügynököknél a gyorsítótár természetesen működik, ha az előzmények érintetlenek maradnak