Optimizuokite talpyklos pasiekimų rodiklį
Šiame puslapyje
Struktūruokite savo užklausas talpyklai
„Grok“ API talpykla veikia pagal priešdėlio atitikimo principą. Žetonai į talpyklą įrašomi nuosekliai, nuo pirmojo iki paskutiniojo, o atitikimo paieška sustoja ties pirmuoju besiskiriančiu simboliu. Pasekmės gali būti sunkios: pakeiskite vieną žetoną užklausos viduryje ir viskas, kas eina po jo, praranda talpyklos pranašumą, net jei likusi dalis yra identiška žodis žodin. Dvidešimties simbolių laiko žyma užklausos pradžioje pakanka, kad už 50 000 toliau einančių žetonų būtų taikomas pilnas įkainis. Užklausų struktūravimas nėra inžinerinis tuščiagarbiškumas – tai skiria 200 USD sąskaitą nuo 1000 USD sąskaitos už tą pačią paslaugą.
Auksinė taisyklė: nekeiskite istorijos
Dažniausia klaida gamyboje – koreguoti žinučių istoriją tarp užklausų. Ankstesnės žinutės formatavimo pakeitimas, ėjimų sukeitimas vietomis arba dabartinės datos ar sesijos ID įterpimas į sistemos užklausą: kiekvienas iš šių, atrodytų, nekenksmingų veiksmų anuliuoja talpyklą nuo pakeitimo momento iki galo. Dažniausias atvejis telpa į vieną kodo eilutę:
# BAD: timestamp in system prompt
messages = [
{"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
# ...
]
Ši laiko žyma keičiasi kiekvieno kvietimo metu. Kadangi ji yra pačioje pirmojoje žinutėje, priešdėlio atitikimas nepavyksta jau nuo pirmojo žetono, ir visa užklausa apmokestinama standartiniu tarifu, pokalbis po pokalbio. Jei jūsų modeliui iš tikrųjų reikia žinoti datą, įdėkite ją į paskutinę naudotojo žinutę, kur tai kainuos tik kelias dešimtis neįtalpyklintų žetonų.
Teisinga tos pačios užklausos versija išlaiko griežtai fiksuotą antraštę, tik papildomą istoriją ir visus naujus elementus koncentruoja pabaigoje:
# GOOD: static content first, variables at the end
messages = [
{"role": "system", "content": "You are a customer support specialist assistant."},
# UNCHANGED conversation history
{"role": "user", "content": "Previous question..."},
{"role": "assistant", "content": "Previous response..."},
# Only the last message is new
{"role": "user", "content": "User's new question"}
]
Užklausų architektūra, kuri gerai veikia su talpykla
Principas telpa į vieną sakinį: nuo stabiliausio iki kintamiausio. Konkrečiai, keturi sluoksniai išsidėsto tokia tvarka.
- Sistemos užklausa (stabili): bendros instrukcijos, asmenybė, taisyklės
- Informacinis kontekstas (stabili): dokumentacija, žinių bazė
- Pokalbio istorija (papildoma): tik papildoma, niekada nekeičiama
- Dabartinė žinutė (kintama): naujas naudotojo prašymas
Taip išdėsčius, 1–3 sluoksniai patenka į talpyklą, o standartinu tarifu apmokestinamas tik 4 sluoksnis. Programoje, kurioje sistemos užklausa ir saugykla sveria 8000 žetonų, už 60 žetonų naudotojo klausimą pilna kaina bus apmokestinti tik tie 60 žetonų.
Ši logika taikoma ir mažiau akivaizdžiais atvejais. Jei jūsų programa remiasi ilgu informaciniu kontekstu – produkto dokumentacija, DUK, techninėmis specifikacijomis – patalpinkite jį iškart po sistemos užklausa: jis bus įtalpyklintas nuo antrojo kiekvieno pokalbio kvietimo. Ir priešingai nei dažnai manoma, nauda neapsiriboja viena sesija: du skirtingi pokalbiai, turintys tą patį priešdėlį, tą pačią sistemos užklausą ir tą patį informacinį kontekstą, talpina vienas kitą. Daugiau naudotojų turinčioje programoje su bendra užklausa kiekvienas naudotojas pasinaudoja kitų srautu, todėl ilga, stabili sistemos užklausa tampa daug pigesnė, nei atrodo iš pirmo žvilgsnio.
Refleksas, kuris viską sugriauna: istorijos trumpinimas
Kai pokalbis ilgėja ir artėja prie konteksto ribos, instinktas liepia iškirpti ankstyviausias žinutes. Būtent to daryti negalima: pašalinus pradžią, viskas pasislenka ir sugriaunamas priešdėlio atitikimas. Sutaupote kelis tūkstančius žetonų, bet sumokate atgal už penkiasdešimt tūkstančių pilnu tarifu. Vietoj trumpinimo rinkitės santraukų kūrimą, kuris senus mainus suspaudžia į vieną kartą perrašytą sistemos užklausą, paliekant naujausias žinutes nepaliestas:
# Instead of truncating history:
# messages = messages[-10:] # BAD: breaks cache
# Summarize old messages into the system prompt:
messages = [
{"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
# Recent messages unmodified
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."},
{"role": "user", "content": "New question"}
]
Matuokite ir tobulinkite
Stebėkite dienos talpyklos pasiekimų rodiklį kaip savarankišką gamybos metriką, lygiai taip pat kaip ir klaidų rodiklį. Štai kaip interpretuoti stebimą reikšmę.
| Talpyklos rodiklis | Interpretacija |
|---|---|
| Mažiau nei 30 % | Prastai struktūruotos užklausos arba kintami elementai sekos pradžioje |
| 30–60 % | Priimtina trumpiems pokalbiams, galima pagerinti naudojant ilgesnę, stabilią sistemos užklausą |
| Daugiau nei 60 % | Geras rezultatas, būdingas gerai struktūruotoms užklausoms |
| Daugiau nei 80 % | Puiku, santaupos yra reikšmingos |
Šio stebėjimo vertė daugiausia yra diferencialinė. Stabilus 65 % rodiklis, kuris per vieną naktį nukrenta iki 20 %, per kelias valandas nurodo į klaidingą diegimą: beveik visais atvejais užklausos pradžioje buvo įvestas kintamas elementas. Išbandykite tai patys savo dabartinėje programoje – paimkite vidutinį rodiklį iš šimto užklausų, perkeltite kintamą elementą į užklausos pabaigą ir palyginkite.
Svarbiausi punktai
- Talpykla veikia pagal priešdėlio atitikimą: niekada nekeiskite žetonų užklausos pradžioje
- Struktūruokite savo užklausas nuo stabiliausio iki kintamiausio
- Nikada nedėkite kintamų duomenų (laiko žymų, ID) į sistemos užklausą
- Ilguose pokalbiuose talpyklai išsaugoti rinkitės santraukų kūrimą, o ne trumpinimą
- Stebėkite dienos talpyklos pasiekimų rodiklį kaip finansinės veiklos efektyvumo metriką