Optimeeri vahemälu tabamuse määra
Sellel lehel
Struktureeri oma vihjeid vahemälu jaoks
Grok API vahemälu töötab prefiksi sobitamise põhimõttel. Tokenid salvestatakse vahemällu järjekorras, esimesest viimaseni, ja sobitamine peatub esimesel erineval märgil. Tagajärg on drastiline: kui muudad tokenit oma vihje keskel, kaotab kõik sellele järgnev oma vahemälu oleku, isegi kui ülejäänud tekst on sõna-sõnalt identne. Kakskümmend märki pikk ajatempel vihje alguses piisab, et käivitada täishind järgnevatele 50 000 tokenile. Vihjete struktureerimine ei ole inseneri edevus – see on see, mis eristab 200-dollarist arvet 1000-dollarisest arvest sama teenuse eest.
Kuldreegel: ära muuda ajalugu
Tootmises on kõige levinum lõks sõnumite ajaloo kohendamine päringute vahel. Eelmise sõnumi ümberformaatimine, käikude ümberjärjestamine või praeguse kuupäeva või sessiooni ID lisamine süsteemivihjesse: igaüks neist näiliselt kahjututest liigutustest tühistab vahemälu alates muudatuse kohast. Kõige levinum juhtum mahub ühte koodireale:
# HALB: ajatempel süsteemivihjes
messages = [
{"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
# ...
]
See ajatempel muutub igal väljakutsel. Kuna see asub kõige esimeses sõnumis, ebaõnnestub prefiksi sobitamine juba esimesel tokenil ja kogu vihje arveldatakse tavahinnaga, vestlus vestluse järel. Kui sinu mudel peab tingimata teadma kuupäeva, paiguta see viimasesse kasutaja sõnumisse, kus see maksab vaid paar tosinat vahemälustamata tokenit.
Sama vihje õige versioon hoiab rangelt fikseeritud päist, ainult lisandumisele orienteeritud ajalugu ja koondab kogu uudsuse lõppu:
# HEA: staatiline sisu ees, muutujad lõpus
messages = [
{"role": "system", "content": "You are a customer support specialist assistant."},
# MUUTMATA vestluse ajalugu
{"role": "user", "content": "Previous question..."},
{"role": "assistant", "content": "Previous response..."},
# Ainult viimane sõnum on uus
{"role": "user", "content": "User's new question"}
]
Vihjearhitektuur, mis sobib vahemällu hästi
Põhimõte mahub ühte lausesse: kõige stabiilsemast kõige muutlikumani. Konkreetsemalt järgnevad selles järjekorras neli kihti.
- Süsteemivihje (stabiilne): üldised juhised, isiksus, reeglid
- Viitekontekst (stabiilne): dokumentatsioon, teadmiste baas
- Vestluse ajalugu (inkrementaalne): ainult lisanduv, mitte kunagi muudetav
- Praegune sõnum (muutlik): kasutaja uus päring
Selle paigutuse korral satuvad kihid 1 kuni 3 vahemällu ja ainult kiht 4 arveldatakse tavahinnaga. Rakenduses, kus süsteemivihje ja hoidla kaaluvad 8000 tokenit, arveldatakse 60-tokeniline kasutaja küsimus täishinnaga vaid nende 60 tokeni eest.
See loogika kehtib ka vähem ilmsete juhtumite puhul. Kui sinu rakendus tugineb pikale viitekontekstile – tootedokumentatsioon, KKK, tehnilised spetsifikatsioonid – paiguta see kohe pärast süsteemivihjet: see salvestatakse vahemällu alates iga vestluse teisest päringust. Ja vastupidiselt levinud arvamusele ei piirdu kasu üksiku sessiooniga: kaks erinevat vestlust, mis jagavad sama prefiksi, sama süsteemivihjet ja sama viitekonteksti, vahemälluvad teineteist. Mitme kasutajaga rakenduses, kus on ühine vihje, saab iga kasutaja kasu teiste liiklusest, muutes pika ja stabiilse süsteemivihje palju odavamaks, kui see esmapilgul tundub.
Refleks, mis rikub kõik: ajaloo lühendamine
Kui vestlus pikeneb ja läheneb konteksti piirile, on instinkt lõigata varasemaid sõnumeid. See on täpselt see, mida sa ei tohi teha: alguse eemaldamisega nihutad kõike muud ja hävitad prefiksi sobitamise. Säästad paar tuhat tokenit ja maksad tagasi viiskümmend tuhat täishinnaga. Eelista kokkuvõtmist, mis kondenseerib vanad vahetused ümberkirjutatud süsteemivihjesse üks kord, jättes hiljutised sõnumid puutumatuks:
# Ajaloo lühendamise asemel:
# messages = messages[-10:] # HALB: rikub vahemälu
# Võta vanad sõnumid kokku süsteemivihjes:
messages = [
{"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
# Hiljutised sõnumid muutmata
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."},
{"role": "user", "content": "New question"}
]
Mõõda ja paranda
Jälgi igapäevast vahemälu tabamuse määra kui iseseisvat tootmismõõdikut, täpselt nagu veamäära. Siin on juhend, kuidas tõlgendada seda väärtust, mida jälgid.
| Vahemälu määr | Tõlgendus |
|---|---|
| Vähem kui 30% | Halvasti struktureeritud vihjed või muutlikud elemendid jada alguses |
| 30 kuni 60% | Vastuvõetav lühikeste vestluste puhul, parandatav pikema ja stabiilsema süsteemivihjega |
| Rohkem kui 60% | Hea tulemus, tüüpiline hästi struktureeritud vihjetele |
| Rohkem kui 80% | Suurepärane, sääst on märkimisväärne |
Selle jälgimise väärtus on enamasti diferentsiaalne. Stabiilne väärtus 65%, mis langeb üleöö 20%-le, ositab vigasele juurutusele mõne tunniga: peaaegu alati on vihje etteotsa just lisatud muutuja. Testi seda ise oma praeguses rakenduses – võta keskmine määr saja päringu lõikes, liiguta muutuv element vihje lõppu ja võrdle tulemust.
Peamised punktid
- Vahemälu töötab prefiksi sobitamise teel: ära kunagi muuda tokeneid vihje alguses
- Struktureeri oma vihjed kõige stabiilsemast kõige muutlikumani
- Ära kunagi lisa muutuvaid andmeid (ajatempel, ID-d) süsteemivihjesse
- Eelista pikkade vestluste puhul vahemälu säilitamiseks kokkuvõtmist lühendamisele
- Jälgi oma igapäevast vahemälu tabamuse määra kui finantsjõudluse mõõdikut