A gyorsítótár optimalizálása
Ezen az oldalon
Gyorsítótár: A teljesítmény kulcstényezője
A gyorsítótár-találatok (cache hits) a legfőbb mozgatórugói a grok-build-0.1 következtetési sebességének. Amikor a kérésed eleje (a prefix) megegyezik egy korábbi kéréssel, a modell a gyorsítótárból hívja le a már kiszámított értékeket. Eredmény: a válasz sokkal gyorsabban érkezik meg.
Ennek a mechanizmusnak a megértése lehetővé teszi, hogy szinte azonnali válaszokra optimalizáld a kommunikációdat.
Hogyan működik a gyorsítótár
A gyorsítótár a közös prefix elvén alapul:
- Elküldesz egy promptot a beszélgetés előzményeivel
- A modell a legelejétől kezdi kiszámítani a tokeneket (rendszerprompt + előzmények)
- Ha ezt a prefixet nemrégiben már kiszámolták, a rendszer lekéri azt a gyorsítótárból
- Csak az új tokenek (az utolsó üzeneted) igényelnek teljes számítást
Minél hosszabb a közös prefix, annál nagyobb a nyereség. Páros programozási helyzetben, ahol több üzenetet váltotok, minden kérés újrahasznosítja az összes korábbi előzményt.
Az aranyszabály: Ne módosítsd az előzményeket
Ez a lecke legfontosabb pontja. Kerüld a prompt előzményeinek módosítását két kérés között. A beszélgetés elején végzett bármilyen változtatás érvényteleníti a gyorsítótárat.
Mi töri meg a gyorsítótárat
- Üzenetek átrendezése az előzményekben
- Korábbi üzenet módosítása (még egyetlen karakternyi változtatás is)
- Üzenetek törlése az előzményekből
- Üzenet beszúrása a beszélgetés közepébe
- A rendszerprompt megváltoztatása a beszélgetés során
Mi őrzi meg a gyorsítótárat
- Új üzenet hozzáadása a beszélgetés végéhez (ez a normál működés)
- A rendszerprompt azonosan tartása a teljes munkamenet alatt
- Az előzmények érintetlenül hagyása, módosítás nélkül
A stabil prefix
A gyorsítótár-találatok maximalizálása érdekében strukturáld a kéréseidet egy stabil prefixszel:
[Rendszerprompt (rögzített)]
[Felhasználói üzenet 1 (rögzített)]
[Modell válasz 1 (rögzített)]
[Felhasználói üzenet 2 (rögzített)]
[Modell válasz 2 (rögzített)]
...
[Új felhasználói üzenet] ← csak ez a rész számítódik újra
A rendszerprompt különösen fontos. Definiáld egyszer a munkamenet elején, és ne változtass rajta. Ha API-ügynököt fejlesztesz a grok-build-0.1 segítségével, írj egy teljes körű és stabil rendszerpromptot.
Valós hatás
Egy tipikus, 10 körből álló páros programozási helyzetben:
- Gyorsítótár-optimalizálás nélkül: minden kérés újra kiszámítja a teljes előzményt. A késleltetés minden körrel nő
- Optimalizált gyorsítótárral: csak az utolsó üzenet számítódik ki. A késleltetés állandó marad, függetlenül a beszélgetés hosszától
A különbség elérheti a másodperceket interakciónként. Egy egyórás fejlesztési munkamenet során, több száz váltással, a halmozott nyereség jelentős.
Ügynökfejlesztőknek
Ha olyan API-ügynököt építesz, amely a grok-build-0.1-et használja szekvenciális eszközhasználati forgatókönyvekben:
- A prefix minden eszközhívás között azonos marad, így a rendszer automatikusan lekéri azt a gyorsítótárból
- Ne formázd újra az eszközök eredményeit, mielőtt visszaküldenéd őket a modellnek
- Kerüld az előzmények átalakítását (összefoglalás, tömörítés), mert az megtöri a gyorsítótárat
- Minden hívásnál tartsd meg az üzenetek ugyanazon sorrendjét
Főbb megállapítások
- A gyorsítótár-találatok a legfőbb sebességtényezők a grok-build-0.1 esetében
- Soha ne módosítsd a prompt előzményeit két kérés között
- A rendszerpromptnak stabilnak kell maradnia a teljes munkamenet alatt
- Mindig a végére adj hozzá, soha ne módosítsd az elejét
- Szekvenciális ügynököknél a gyorsítótár természetesen működik, ha az előzmények érintetlenek maradnak