Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Barrfheabhsú ar an Ráta Buailte Cache

Ceacht 10 as 14 Nuashonraithe 29 Iúil 2026 Ardleibhéal
Ar an leathanach seo
  1. Struchtúraigh do Leideanna don Chache
  2. An Riail Órga: Ná Athraigh an Stair
  3. Ailtireacht Leide a Chacheálann go Maith
  4. An Freagairt Instinctive a Bhriseann Gach Rud: An Stair a Ghearradh
  5. Tomhais agus Feabhsaigh
  6. Príomhphointí

Struchtúraigh do Leideanna don Chache

Oibríonn cache an API Grok trí mheaitseáil réimír. Déantar na tokenanna a chacheáil in ord, ón gcéad cheann go dtí an ceann deireanach, agus stopann an mheaitseáil ag an gcéad charachtar atá difriúil. Is tromchúiseach an toradh air sin: má athraíonn tú token i lár do leide, cailleann gach rud ina dhiaidh sin a chache, fiú má tá an chuid eile focal ar fhocal mar an gcéanna. Tá stampa ama fiche carachtar ag tús leide go leor chun praghsáil iomlán a spreagadh ar na 50,000 token a leanann é. Ní bhaineann struchtúrú do leideanna le hiompar innealtóireachta—sin an rud a dhéanann idir bille $200 agus bille $1,000 don seirbhís chéanna.

An Riail Órga: Ná Athraigh an Stair

Is é an locht is coitianta i dtáirgeadh ná gríosú a dhéanamh ar stair na dteachtaireachtaí idir iarratais. Formáidiú teachtaireachta roimhe seo arís, ordú na dtimthriall a athrú, dáta reatha nó ID seisiún a instealladh isteach sa leid chórais: gach ceann de na gníomhartha seo, atá dealraitheach neamhchiontach, déanann sé an cache a bhailíochtú ón bpointe modhnaithe ar aghaidh. Oireann an cás is forleithne i líne amháin cóid:

# BAD: timestamp in system prompt
messages = [
    {"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
    # ...
]

Athraíonn an stampa ama seo ar gach glao. Ós rud é go suíonn sé sa chéad teachtaireacht, teipeann ar an mheaitseáil réimír ar an gcéad token, agus billeáiltear an leid iomlán ag an ráta caighdeánach, comhrá i ndiaidh comhrá. Má tá gá dáiríre ag do mhúnla leis an dáta a bheith ar eolas aige, cuir sa teachtaireacht úsáideora dheireanach é, áit nach gcostóidh ach cúpla dosaen token gan chache.

Coinníonn an leagan ceart den leid céanna ceanntásc atá seasta go docht, stair atá ag cur leis amháin, agus díritheann sé gach nuacht ag an deireadh:

# GOOD: static content first, variables at the end
messages = [
    {"role": "system", "content": "You are a customer support specialist assistant."},
    # UNCHANGED conversation history
    {"role": "user", "content": "Previous question..."},
    {"role": "assistant", "content": "Previous response..."},
    # Only the last message is new
    {"role": "user", "content": "User's new question"}
]

Ailtireacht Leide a Chacheálann go Maith

Oireann an prionsabal in abairt amháin: ón gceann is cobhsaí go dtí an ceann is athraitheach. Go concreideach, leanann ceithre shraith san ord seo.

  1. Leid chórais (cobhsaí): treoracha ginearálta, pearsantacht, rialacha
  2. Comhthéacs tagartha (cobhsaí): doiciméadú, bonn eolais
  3. Stair an chomhrá (incriminteach): ag cur leis amháin, ná modhnaigh riamh
  4. Teachtaireacht reatha (athraitheach): iarratas nua an úsáideora

Leis an socrú seo, titneann sraitheanna 1 go 3 isteach sa chache, agus ní bhilleáiltear ach sraith 4 ag an ráta caighdeánach. Ar fheidhmchlár ina bhfuil meáchan 8,000 token ar an leid córais agus ar an stór, ní bhilleáiltear ach na 60 token sin ag an bpraghas iomlán le haghaidh ceist úsáideora 60-token.

Síneann an loighic seo go cásanna nach bhfuil chomh soiléir sin. Má bhraitheann d’fheidhmchlár ar chomhthéacs tagartha fada—doiciméadú táirge, Ceisteanna Coitianta, sonraíochtaí teicniúla—cuir é díreach i ndiaidh an leide chórais: déanfar é a chacheáil ón dara hiarratas de gach comhrá ar aghaidh. Agus contrártha leis an mbargan choitianta, níl an tairbhe teoranta do sheisiún amháin: déanann dhá chomhrá ar leith a roinneann an réimír céanna, an leid chórais céanna, agus an comhthéacs tagartha céanna, cache ar a chéile. I bhfeidhmchlár il-úsáideora le leid coiteann, baineann gach úsáideoir tairbhe as trácht na n-úsáideoirí eile, rud a fhágann go bhfuil leid chórais fada cobhsaí i bhfad níos saoire ná mar a dealraíonn sé.

An Freagairt Instinctive a Bhriseann Gach Rud: An Stair a Ghearradh

Nuair a fhadaíonn comhrá agus nuair a théann sé i ngar don teorainn comhthéacs, is é an dúil ná na teachtaireachtaí is luaithe a ghearradh. Is é seo díreach an rud nach mór duit a dhéanamh: trí thús a bhaint, aistríonn tú gach rud eile agus scriosann tú an mheaitseáil réimír. Sábhálann tú cúpla míle token agus íocann tú ar ais caoga míle ag an bpraghas iomlán. Is fearr achoimriú, a dhlúthaíonn malartuithe seanbhunaithe i leid córais athscríofa uair amháin, ag fágáil na dteachtaireachtaí le déanaí slán:

# Instead of truncating history:
# messages = messages[-10:]  # BAD: breaks cache

# Summarize old messages into the system prompt:
messages = [
    {"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
    # Recent messages unmodified
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "New question"}
]

Tomhais agus Feabhsaigh

Rianaigh an ráta buailte cache laethúil mar mheitric táirgeachta ina cheart féin, díreach cosúil le ráta earráide. Seo conas an luach a fheiceann tú a léirmhíniú.

Ráta CacheLéirmhíniú
Níos lú ná 30%Leideanna droch-struchtúrtha nó eilimintí athraitheacha ag tús na seicheamh
30 go 60%Inghlactha do chomhráite gearra, in-fheabhsaithe le leid chórais níos faide cobhsaí
Níos mó ná 60%Toradh maith, tipiciúil de leideanna dea-struchtúrtha
Níos mó ná 80%Ar fheabhas, tá na coigiltis suntasach

Is difreálach go príomha luach an rianaithe seo. Luach cobhsaí ag 65% a thiteann go 20% thar oíche, léiríonn sé an imlonnú lochtach laistigh d’uair an chloig: i mbeagnach gach cás, tugadh isteach athróg ag ceann na leide. Déan tástáil air féin ar d’fheidhmchlár reatha—glac an meánráta thar céad iarratas, bog eilimint athraitheach go dtí deireadh na leide, agus déan comparáid.

Príomhphointí

  • Oibríonn an cache trí mheaitseáil réimír: ná modhnaigh tokenanna ag tús na leide riamh
  • Struchtúraigh do leideanna ón gceann is cobhsaí go dtí an ceann is athraitheach
  • Ná cuir sonraí athraitheacha (stampa ama, IDanna) sa leid chórais riamh
  • Roghnaigh achoimriú seachas gearradh chun an cache a chaomhnú ar chomhráite fada
  • Monatóireacht a dhéanamh ar do ráta buailte cache laethúil mar mheitric feidhmíochta airgeadais