Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Ottimizza l-cache

Lezzjoni 8 / 14 Aġġornat 29 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. Il-cache: Fattur ewlieni tal-prestazzjoni
  2. Kif jaħdem il-cache
  3. Ir-regola tad-deheb: Timmodifikax l-historja
  4. Il-prefiss stabbli
  5. Impatt fid-dinja reali
  6. Għall-iżviluppaturi ta’ aġenti
  7. Punti Ewlenin

Il-cache: Fattur ewlieni tal-prestazzjoni

Il-laqgħat fil-cache (cache hits) huma l-mutur primarju tal-veloċità tal-inferenza għal grok-build-0.1. Meta l-bidu tat-talba tiegħek (il-prefiss) jaqbel ma’ talba preċedenti, il-mudell jirkupra kalkoli diġà kkalkolati mill-cache. Riżultat: ir-risposta tasal ferm aktar malajr.

Li tifhem dan il-mekkaniżmu jippermettilek tottimizza l-interazzjonijiet tiegħek għal risposti kważi istantanji.

Kif jaħdem il-cache

Il-cache jaħdem fuq il-prinċipju tal-prefiss komuni:

  1. Tibgħat prompt b’historja ta’ konversazzjoni
  2. Il-mudell jikkalkula t-tokens mill-bidu (prompt tas-sistema + historja)
  3. Jekk dan il-prefiss ġie kkalkolat reċentement, jiġi rkuprat mill-cache
  4. Biss it-tokens ġodda (l-aħħar messaġġ tiegħek) jeħtieġu kalkolu sħiħ

Itwal ikun il-prefiss komuni, akbar ikun il-gwadann. F’xenarju ta’ programmazzjoni f’par fejn tiskambja diversi messaġġi, kull talba terġa’ tuża l-historja kollha preċedenti.

Ir-regola tad-deheb: Timmodifikax l-historja

Dan huwa l-aktar punt importanti f’din il-lezzjoni. Evita li timmodifika l-historja tal-prompt bejn żewġ talbiet. Kwalunkwe modifika fil-bidu tal-konversazzjoni tibbotja l-cache.

X’ikisser il-cache

  • Tibdil fl-ordni tal-messaġġi fl-historja
  • Modifika ta’ messaġġ preċedenti (anke karattru wieħed biss)
  • Tħassir ta’ messaġġi mill-historja
  • Daħla ta’ messaġġ fin-nofs tal-konversazzjoni
  • Bidla fil-prompt tas-sistema matul il-konversazzjoni

X’jippreserva l-cache

  • Żieda ta’ messaġġ ġdid fit-tmiem tal-konversazzjoni (imġiba normali)
  • Żamma tal-prompt tas-sistema identiku matul is-sessjoni kollha
  • Żamma tal-historja intatta mingħajr modifika

Il-prefiss stabbli

Biex timmassimizza l-laqgħat fil-cache, struttura t-talbiet tiegħek b’prefiss stabbli:

[System prompt (fixed)]
[User message 1 (fixed)]
[Model response 1 (fixed)]
[User message 2 (fixed)]
[Model response 2 (fixed)]
...
[New user message] ← only part computed

Il-prompt tas-sistema huwa partikolarment importanti. Iddefinixxieh darba biss fil-bidu tas-sessjoni u tibdlux. Jekk qed tiżviluppa aġent tal-API b’grok-build-0.1, ikteb prompt tas-sistema sħiħ u stabbli.

Impatt fid-dinja reali

F’xenarju tipiku ta’ programmazzjoni f’par b’10 skambji:

  • Mingħajr ottimizzazzjoni tal-cache: kull talba terġa’ tikkalkula l-historja kollha. Il-latency tiżdied ma’ kull skambju
  • B’cache ottimizzat: biss l-aħħar messaġġ jiġi kkalkolat. Il-latency tibqa’ kostanti, irrispettivament mit-tul tal-konversazzjoni

Id-differenza tista’ tkun ta’ ftit sekondi għal kull interazzjoni. Matul sessjoni ta’ żvilupp ta’ siegħa b’mijiet ta’ skambji, il-gwadann kumulattiv huwa konsiderevoli.

Għall-iżviluppaturi ta’ aġenti

Jekk qed tibni aġent tal-API li juża grok-build-0.1 f’xenarji ta’ użu sekwenzjali tal-għodod:

  • Il-prefiss jibqa’ identiku bejn kull sejħa tal-għodda, li jiġi rkuprat awtomatikament mill-cache
  • Terġax tiffurmatta r-riżultati tal-għodod qabel ma tibgħathom lura lill-mudell
  • Evita trasformazzjonijiet tal-historja (sommarju, kompressjoni) li jkissru l-cache
  • Żomm l-istess ordni ta’ messaġġi fuq kull sejħa

Punti Ewlenin

  • Il-laqgħat fil-cache huma l-fattur primarju tal-veloċità għal grok-build-0.1
  • Qatt timmodifikax l-historja tal-prompt bejn żewġ talbiet
  • Il-prompt tas-sistema jrid jibqa’ stabbli matul is-sessjoni kollha
  • Żid fit-tmiem, qatt timmodifikax il-bidu
  • F’aġenti sekwenzjali, il-cache jaħdem naturalment jekk l-historja tiġi ppreservata