Ottimizza l-cache
F'din il-paġna
Il-cache: Fattur ewlieni tal-prestazzjoni
Il-laqgħat fil-cache (cache hits) huma l-mutur primarju tal-veloċità tal-inferenza għal grok-build-0.1. Meta l-bidu tat-talba tiegħek (il-prefiss) jaqbel ma’ talba preċedenti, il-mudell jirkupra kalkoli diġà kkalkolati mill-cache. Riżultat: ir-risposta tasal ferm aktar malajr.
Li tifhem dan il-mekkaniżmu jippermettilek tottimizza l-interazzjonijiet tiegħek għal risposti kważi istantanji.
Kif jaħdem il-cache
Il-cache jaħdem fuq il-prinċipju tal-prefiss komuni:
- Tibgħat prompt b’historja ta’ konversazzjoni
- Il-mudell jikkalkula t-tokens mill-bidu (prompt tas-sistema + historja)
- Jekk dan il-prefiss ġie kkalkolat reċentement, jiġi rkuprat mill-cache
- Biss it-tokens ġodda (l-aħħar messaġġ tiegħek) jeħtieġu kalkolu sħiħ
Itwal ikun il-prefiss komuni, akbar ikun il-gwadann. F’xenarju ta’ programmazzjoni f’par fejn tiskambja diversi messaġġi, kull talba terġa’ tuża l-historja kollha preċedenti.
Ir-regola tad-deheb: Timmodifikax l-historja
Dan huwa l-aktar punt importanti f’din il-lezzjoni. Evita li timmodifika l-historja tal-prompt bejn żewġ talbiet. Kwalunkwe modifika fil-bidu tal-konversazzjoni tibbotja l-cache.
X’ikisser il-cache
- Tibdil fl-ordni tal-messaġġi fl-historja
- Modifika ta’ messaġġ preċedenti (anke karattru wieħed biss)
- Tħassir ta’ messaġġi mill-historja
- Daħla ta’ messaġġ fin-nofs tal-konversazzjoni
- Bidla fil-prompt tas-sistema matul il-konversazzjoni
X’jippreserva l-cache
- Żieda ta’ messaġġ ġdid fit-tmiem tal-konversazzjoni (imġiba normali)
- Żamma tal-prompt tas-sistema identiku matul is-sessjoni kollha
- Żamma tal-historja intatta mingħajr modifika
Il-prefiss stabbli
Biex timmassimizza l-laqgħat fil-cache, struttura t-talbiet tiegħek b’prefiss stabbli:
[System prompt (fixed)]
[User message 1 (fixed)]
[Model response 1 (fixed)]
[User message 2 (fixed)]
[Model response 2 (fixed)]
...
[New user message] ← only part computed
Il-prompt tas-sistema huwa partikolarment importanti. Iddefinixxieh darba biss fil-bidu tas-sessjoni u tibdlux. Jekk qed tiżviluppa aġent tal-API b’grok-build-0.1, ikteb prompt tas-sistema sħiħ u stabbli.
Impatt fid-dinja reali
F’xenarju tipiku ta’ programmazzjoni f’par b’10 skambji:
- Mingħajr ottimizzazzjoni tal-cache: kull talba terġa’ tikkalkula l-historja kollha. Il-latency tiżdied ma’ kull skambju
- B’cache ottimizzat: biss l-aħħar messaġġ jiġi kkalkolat. Il-latency tibqa’ kostanti, irrispettivament mit-tul tal-konversazzjoni
Id-differenza tista’ tkun ta’ ftit sekondi għal kull interazzjoni. Matul sessjoni ta’ żvilupp ta’ siegħa b’mijiet ta’ skambji, il-gwadann kumulattiv huwa konsiderevoli.
Għall-iżviluppaturi ta’ aġenti
Jekk qed tibni aġent tal-API li juża grok-build-0.1 f’xenarji ta’ użu sekwenzjali tal-għodod:
- Il-prefiss jibqa’ identiku bejn kull sejħa tal-għodda, li jiġi rkuprat awtomatikament mill-cache
- Terġax tiffurmatta r-riżultati tal-għodod qabel ma tibgħathom lura lill-mudell
- Evita trasformazzjonijiet tal-historja (sommarju, kompressjoni) li jkissru l-cache
- Żomm l-istess ordni ta’ messaġġi fuq kull sejħa
Punti Ewlenin
- Il-laqgħat fil-cache huma l-fattur primarju tal-veloċità għal grok-build-0.1
- Qatt timmodifikax l-historja tal-prompt bejn żewġ talbiet
- Il-prompt tas-sistema jrid jibqa’ stabbli matul is-sessjoni kollha
- Żid fit-tmiem, qatt timmodifikax il-bidu
- F’aġenti sekwenzjali, il-cache jaħdem naturalment jekk l-historja tiġi ppreservata