Ottimizza r-Rata ta' Suċċess tal-Cache
F'din il-paġna
Iddisinja l-Prompts Tiegħek għall-Caching
Il-cache tal-API ta’ Grok jaħdem permezz ta’ tqabbil tal-prefiss (prefix matching). It-tokens jiġu kkaxxjati f’ordni, mill-ewwel sal-aħħar, u t-tqabbil jieqaf fl-ewwel karattru differenti. Il-konsegwenza hija severa: jekk timmodifika token fin-nofs tal-prompt tiegħek, kollox warajh jitlif il-cache tiegħu, anke jekk il-bqija tkun identika kelma b’kelma. Timestamp ta’ għoxrin karattru fil-bidu ta’ prompt huwa biżżejjed biex jattiva prezzar sħiħ fuq il-50,000 token li jmissu. L-istrutturar tal-prompts tiegħek mhuwiex vanità tal-inġinerija—hija d-differenza bejn kont ta’ $200 u wieħed ta’ $1,000 għall-istess servizz.
Ir-Regola tad-Deheb: Timmodifikax l-Istorja
L-iżball l-aktar komuni fil-produzzjoni huwa li tbiddel l-istorja tal-messaġġi bejn talbiet differenti. Li terġa’ tiffurmatta messaġġ preċedenti, li terġa’ tordna d-dawriet, li tinjetta data attwali jew ID tas-sessjoni fil-prompt tas-sistema: kull waħda minn dawn l-azzjonijiet, li jidhru innoċenti, tinvalida l-cache mill-punt tal-modifikazzjoni ‘l quddiem. Il-każ l-aktar mifrux jidħol f’linja waħda ta’ kodiċi:
# ĦŻIEN: timestamp fil-prompt tas-sistema
messages = [
{"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
# ...
]
Dan it-timestamp jinbidel f’kull sejħa. Peress li jinsab fl-ewwel messaġġ, it-tqabbil tal-prefiss ifalli fl-ewwel token, u l-prompt kollu jiġi ffatturat bir-rata standard, konversazzjoni wara konversazzjoni. Jekk il-mudell tiegħek għandu bżonn verament ikun jaf id-data, poġġiha fl-aħħar messaġġ tal-utent, fejn tiswilek biss ftit għexieren ta’ tokens mhux ikkaxxjati.
Il-verżjoni korretta tal-istess prompt iżżomm intestatura strettament fissa, storja li tiżdied biss (append-only), u tikkonċentra kull novità fit-tmiem:
# Tajjeb: kontenut statiku l-ewwel, varjabbli fl-aħħar
messages = [
{"role": "system", "content": "You are a customer support specialist assistant."},
# Storja tal-konversazzjoni MHUX IMBIDDLA
{"role": "user", "content": "Previous question..."},
{"role": "assistant", "content": "Previous response..."},
# Biss l-aħħar messaġġ huwa ġdid
{"role": "user", "content": "User's new question"}
]
Arkitettura ta’ Prompt li Tikkaxxja Tajjeb
Il-prinċipju jidħol f’sentenza waħda: mill-aktar stabbli għall-aktar varjabbli. Konkretament, erba’ saffi jsegwu f’dan l-ordni.
- Prompt tas-sistema (stabbli): istruzzjonijiet ġenerali, persona, regoli
- Kuntest ta’ referenza (stabbli): dokumentazzjoni, bażi tal-għarfien
- Storja tal-konversazzjoni (inkrementali): tiżdied biss, qatt timmodifika
- Messaġġ kurrenti (varjabbli): it-talba ġdida tal-utent
B’dan l-arranġament, is-saffi 1 sa 3 jaqgħu fil-cache, u biss is-saff 4 jiġi ffatturat bir-rata standard. Fuq applikazzjoni fejn il-prompt tas-sistema u r-repożitorju jiżnu 8,000 token, mistoqsija tal-utent ta’ 60 token tiffattura biss dawk is-60 token bi prezz sħiħ.
Din il-loġika testendi għal każijiet inqas ovvji. Jekk l-applikazzjoni tiegħek tiddependi fuq kuntest ta’ referenza twil—dokumentazzjoni tal-prodott, FAQ, speċifikazzjonijiet tekniċi—poġġiha eżatt wara l-prompt tas-sistema: se tiġi kkaxxjata mit-tieni talba ta’ kull konversazzjoni ‘l quddiem. U kuntrarjament għas-suppożizzjoni komuni, il-benefiċċju mhuwiex limitat għal sessjoni waħda: żewġ konversazzjonijiet distinti li jaqsmu l-istess prefiss, l-istess prompt tas-sistema, u l-istess kuntest ta’ referenza, jikkaxxjaw lil xulxin. F’applikazzjoni multi-utent b’prompt komuni, kull utent jibbenefika mit-traffiku tal-oħrajn, u jagħmel prompt tas-sistema twil u stabbli ferm inqas għali milli jidher.
Ir-Rifless li Jkisser Kollox: It-Trunkar tal-Istorja
Meta konversazzjoni titwal u toqrob il-limitu tal-kuntest, l-istint huwa li taqta’ l-ewwel messaġġi. Dan huwa eżattament dak li m’għandekx tagħmel: billi tneħħi l-bidu, iċċaqlaq kollox l-ieħor u teqred it-tqabbil tal-prefiss. Tiffranka ftit eluf ta’ tokens u tħallas lura ħamsin elf bi prezz sħiħ. Ippreferixxi s-sommarju, li jikkondensa skambji antiki f’prompt tas-sistema miktub mill-ġdid darba waħda, u jħalli l-messaġġi riċenti intatti:
# Minflok ma taqta' l-istorja:
# messages = messages[-10:] # ĦŻIEN: jikser il-cache
# Agħmel sommarju tal-messaġġi antiki fil-prompt tas-sistema:
messages = [
{"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
# Messaġġi riċenti mhux mibdula
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."},
{"role": "user", "content": "New question"}
]
Kejjel u Tejjeb
Segwi r-rata ta’ suċċess tal-cache ta’ kuljum bħala metrika tal-produzzjoni f’termini tagħha stess, eżattament bħal rata ta’ żball. Hekk kif tinterpreta l-valur li tosserva.
| Rata tal-Cache | Interpretazzjoni |
|---|---|
| Inqas minn 30% | Prompts strutturati ħażin jew elementi varjabbli fil-bidu tas-sekwenza |
| 30 sa 60% | Aċċettabbli għal konversazzjonijiet qosra, titjib possibbli b’prompt tas-sistema itwal u stabbli |
| Aktar minn 60% | Riżultat tajjeb, tipiku ta’ prompts strutturati sew |
| Aktar minn 80% | Eċċellenti, l-iffrankar huwa sinifikanti |
Il-valur ta’ dan is-segwitu huwa l-aktar differenzjali. Valur stabbli f’65% li jinżel għal 20% f’daqqa waħda jindika d-distribuzzjoni difettuża fi żmien sigħat: f’kważi l-każijiet kollha, varjabbli għadu kemm ġie introdott fir-ras tal-prompt. Ittestjah int stess fuq l-applikazzjoni kurrenti tiegħek—ħu r-rata medja fuq mitt talba, ċaqlaq element varjabbli għat-tmiem tal-prompt, u qabbel.
Punti Ewlenin
- Il-cache jaħdem permezz ta’ tqabbil tal-prefiss: qatt timmodifika tokens fil-bidu tal-prompt
- Iddisinja l-prompts tiegħek mill-aktar stabbli għall-aktar varjabbli
- Qatt iżżid data varjabbli (timestamp, IDs) fil-prompt tas-sistema
- Ippreferixxi s-sommarju fuq it-trunkar biex tippreżerva l-cache f’konversazzjonijiet twal
- Immonitorja r-rata ta’ suċċess tal-cache ta’ kuljum tiegħek bħala metrika tal-prestazzjoni finanzjarja