Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Optimoi välimuistin osumaprosenttia

Oppitunti 10 / 14 Päivitetty 29. heinäkuuta 2026 Edistynyt
Tällä sivulla
  1. Jäsennä kehotteet välimuistia varten
  2. Kultainen sääntö: Älä muokkaa historiaa
  3. Kehotearkkitehtuuri, joka toimii hyvin välimuistin kanssa
  4. Refleksi, joka rikkoo kaiken: historian typistäminen
  5. Mittaa ja paranna
  6. Keskeiset asiat

Jäsennä kehotteet välimuistia varten

Grok API:n välimuisti toimii etuliitetäsmäytyksen perusteella. Tokenit tallennetaan välimuistiin järjestyksessä alusta loppuun, ja täsmäytys pysähtyy ensimmäiseen eroavaan merkkiin. Seuraus on vakava: jos muutat tokenia kehotteen keskellä, kaikki sen jälkeinen menettää välimuistinsa, vaikka loppuosa olisi sanasta sanaan identtinen. Kahdenkymmenen merkin aikaleima kehotteen alussa riittää laukaisemaan täyden hinnoittelun sitä seuraaville 50 000 tokenille. Kehotteiden jäsentäminen ei ole insinöörien turhamaisuutta – se on se, mikä erottaa 200 dollarin laskun 1 000 dollarin laskusta samasta palvelusta.

Kultainen sääntö: Älä muokkaa historiaa

Yleisin sudenkuoppa tuotantoympäristössä on viestihistorian hienosäätäminen pyyntöjen välillä. Edellisen viestin uudelleenmuotoilu, vuorojen järjestäminen uudelleen tai nykyisen päivämäärän tai istuntotunnuksen lisääminen järjestelmäkehotteeseen: jokainen näistä näennäisesti harmittomista eleistä mitätöi välimuistin muokkauskohdasta eteenpäin. Yleisin tapaus mahtuu yhdelle koodiriville:

# HUONO: aikaleima järjestelmäkehotteessa
messages = [
    {"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
    # ...
]

Tämä aikaleima muuttuu jokaisella kutsulla. Koska se sijaitsee aivan ensimmäisessä viestissä, etuliitetäsmäytys epäonnistuu jo ensimmäisen tokenin kohdalla, ja koko kehotteesta veloitetaan normaalihinta keskustelusta toiseen. Jos mallisi todella tarvitsee tietää päivämäärän, sijoita se viimeiseen käyttäjäviestiin, jolloin se maksaa vain muutaman kymmenen ei-välimuistoidun tokenin verran.

Oikea versio samasta kehotteesta pitää yllä ehdottoman kiinteää otsikkoa, vain liitettävää historiaa ja keskittää kaiken uutuuden loppuun:

# HYVÄ: staattinen sisältö ensin, muuttujat lopussa
messages = [
    {"role": "system", "content": "You are a customer support specialist assistant."},
    # MUUTTUMATON keskusteluhistoria
    {"role": "user", "content": "Previous question..."},
    {"role": "assistant", "content": "Previous response..."},
    # Vain viimeinen viesti on uusi
    {"role": "user", "content": "User's new question"}
]

Kehotearkkitehtuuri, joka toimii hyvin välimuistin kanssa

Periaate mahtuu yhteen lauseeseen: vakaimmasta muuttuvimpaan. Konkreettisesti neljä kerrosta seuraavat toisiaan tässä järjestyksessä.

  1. Järjestelmäkehote (vakaa): yleiset ohjeet, persoona, säännöt
  2. Viitekonteksti (vakaa): dokumentaatio, tietokanta
  3. Keskusteluhistoria (kasvava): vain liitettävä, älä koskaan muokkaa
  4. Nykyinen viesti (muuttuva): käyttäjän uusi pyyntö

Tällä järjestelyllä kerrokset 1–3 osuvat välimuistiin, ja vain kerros 4 veloitetaan normaalihinnalla. Sovelluksessa, jossa järjestelmäkehote ja koodivarasto painavat 8 000 tokenia, 60 tokenin mittaisesta käyttäjän kysymyksestä veloitetaan täysi hinta vain niistä 60 tokenista.

Tämä logiikka ulottuu vähemmän ilmeisiin tapauksiin. Jos sovelluksesi nojaa pitkään viitekontekstiin – tuotedokumentaatio, FAQ, tekniset eritelmät – sijoita se heti järjestelmäkehotteen jälkeen: se tallentuu välimuistiin jokaisen keskustelun toisesta pyynnöstä alkaen. Toisin kuin yleisesti luullaan, hyöty ei rajoitu yhteen istuntoon: kaksi eri keskustelua, joilla on sama etuliite, sama järjestelmäkehote ja sama viitekonteksti, hyödyntävät toistensa välimuistia. Monikäyttäjäsovelluksessa, jossa on yhteinen kehote, jokainen käyttäjä hyötyy muiden liikenteestä, mikä tekee pitkästä, vakaasta järjestelmäkehotteesta paljon edullisemman kuin miltä se näyttää.

Refleksi, joka rikkoo kaiken: historian typistäminen

Kun keskustelu pitenee ja lähestyy kontekstirajaa, vaisto kehottaa leikkaamaan varhaisimmat viestit. Tämä on juuri sitä, mitä ei saa tehdä: poistamalla alun siirrät kaikkea muuta ja tuhoat etuliitetäsmäytyksen. Säästät muutaman tuhannen tokenia ja maksat takaisin viisikymmentätuhatta täydellä hinnalla. Suosi tiivistämistä, joka puristaa vanhat vaihdot uudelleenkirjoitetuksi järjestelmäkehotteeksi kerran, jättäen viimeisimmät viestit koskemattomiksi:

# Historian typistämisen sijaan:
# messages = messages[-10:]  # HUONO: rikkoo välimuistin

# Tiivistä vanhat viestit järjestelmäkehotteeseen:
messages = [
    {"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
    # Viimeisimmät viestit muuttumattomina
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "New question"}
]

Mittaa ja paranna

Seuraa päivittäistä välimuistin osumaprosenttia tuotantometriikkana aivan kuten virheprosenttiakin. Tässä on ohjeet havaitun arvon tulkitsemiseen.

Välimuistin osuusTulkinta
Alle 30 %Huonosti jäsennetyt kehotteet tai muuttuvia elementtejä jonon alussa
30–60 %Hyväksyttävä lyhyille keskusteluille, parannettavissa pidemmällä, vakaalla järjestelmäkehotteella
Yli 60 %Hyvä tulos, tyypillinen hyvin jäsennetyille kehotteille
Yli 80 %Erinomainen, säästöt ovat merkittäviä

Tämän seurannan arvo on pääasiassa differentiaalinen. Vakaa arvo 65 %, joka putoaa yön aikana 20 %:iin, paljastaa viallisen käyttöönoton tunneissa: lähes kaikissa tapauksissa muuttuja on juuri lisätty kehotteen kärkeen. Testaa itse nykyisessä sovelluksessasi: ota keskiarvo sadasta pyynnöstä, siirrä muuttuva elementti kehotteen loppuun ja vertaa tuloksia.

Keskeiset asiat

  • Välimuisti toimii etuliitetäsmäytyksellä: älä koskaan muokkaa tokenita kehotteen alussa
  • Jäsennä kehotteet vakaimmasta muuttuvimpaan
  • Älä koskaan lisää muuttuvia tietoja (aikaleima, tunnisteet) järjestelmäkehotteeseen
  • Suosi tiivistämistä typistämisen sijaan säilyttääksesi välimuistin pitkissä keskusteluissa
  • Seuraa päivittäistä välimuistin osumaprosenttiasi taloudellisena suorituskykymittarina