Оптимизиране на процента на попадения в кеша
На тази страница
Структурирайте подканите си за кеш
Кешът на Grok API работи чрез съпоставяне на префикси. Токените се кешират последователно, от първия до последния, а съпоставянето спира при първия различаващ се символ. Последствието е сериозно: ако промените токен в средата на подканата, всичко след него губи кеша си, дори ако останалата част е дума по дума идентична. Времеви печат от двадесет знака в началото на подканата е достатъчен, за да предизвика пълно таксуване за следващите 50 000 токена. Структурирането на подканите не е инженерска суета – това е разликата между сметка от 200 долара и такава от 1000 долара за една и съща услуга.
Златното правило: Не променяйте историята
Най-честата грешка в производствената среда е коригирането на историята на съобщенията между заявките. Преформатиране на предишно съобщение, пренареждане на реплики, вмъкване на текуща дата или ID на сесия в системната подкана: всяко от тези действия, привидно безобидни, анулира кеша от точката на модификация нататък. Най-разпространеният случай се събира в един ред код:
# BAD: timestamp in system prompt
messages = [
{"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
# ...
]
Този времеви печат се променя при всяко извикване. Тъй като се намира в самото първо съобщение, съпоставянето на префикса се проваля още при първия токен и цялата подкана се таксува по стандартния тарифен план, разговор след разговор. Ако моделът Ви наистина има нужда да знае датата, я поставете в последното потребителско съобщение, където това ще струва само няколко десетки некешувани токена.
Правилната версия на същата подкана запазва строго фиксирана заглавна част, история само с добавяне (append-only) и концентрира цялата новост в края:
# GOOD: static content first, variables at the end
messages = [
{"role": "system", "content": "You are a customer support specialist assistant."},
# UNCHANGED conversation history
{"role": "user", "content": "Previous question..."},
{"role": "assistant", "content": "Previous response..."},
# Only the last message is new
{"role": "user", "content": "User's new question"}
]
Архитектура на подканите, която се кешира добре
Принципът се събира в едно изречение: от най-стабилното към най-променливото. Конкретно, четири слоя следват в този ред:
- Системна подкана (стабилна): общи инструкции, персона, правила
- Контекст на справката (стабилен): документация, база знания
- История на разговора (инкрементална): само добавяне, никога промяна
- Текущо съобщение (променливо): новата заявка на потребителя
С тази подредба слоеве 1 до 3 попадат в кеша, а само слой 4 се таксува по стандартния тарифен план. В приложение, където системната подкана и хранилището тежат 8000 токена, потребителски въпрос от 60 токена ще бъде таксуван на пълна цена само за тези 60 токена.
Тази логика се разпростира и върху по-малко очевидни случаи. Ако приложението Ви разчита на дълъг справочен контекст – продуктова документация, ЧЗВ, технически спецификации – го поставете веднага след системната подкана: той ще бъде кеширан от втората заявка на всеки разговор нататък. И вопреки общоприетото схващане, ползата не е ограничена до една сесия: два различни разговора, които споделят един и същ префикс, същата системна подкана и същия справочен контекст, се кешират взаимно. В многопотребителско приложение с обща подкана, всеки потребител се възползва от трафика на другите, което прави дългата, стабилна системна подкана далеч по-евтина, отколкото изглежда.
Рефлексът, който руши всичко: Съкращаване на историята
Когато разговорът се удължи и се приближи до лимита на контекста, инстинктът е да се отрежат най-ранните съобщения. Това е точно онова, което не трябва да правите: премахвайки началото, Вие измествате всичко останало и унищожавате съпоставянето на префикса. Спестявате няколко хиляди токена и плащате обратно петдесет хиляди на пълна цена. Предпочетете обобщаването, което кондензира старите размени в преправена системна подкана веднъж, оставяйки скорошните съобщения непокътнати:
# Instead of truncating history:
# messages = messages[-10:] # BAD: breaks cache
# Summarize old messages into the system prompt:
messages = [
{"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
# Recent messages unmodified
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."},
{"role": "user", "content": "New question"}
]
Измерване и подобряване
Следете дневния процент на попадения в кеша като производствен показател сам по себе си, точно както бихте следили честотата на грешки. Ето как да тълкувате стойността, която наблюдавате.
| Процент кеш | Тълкуване |
|---|---|
| По-малко от 30% | Лошо структурирани подкани или променливи елементи в началото на последователността |
| 30 до 60% | Приемливо за кратки разговори, може да се подобри с по-дълга и стабилна системна подкана |
| Повече от 60% | Добър резултат, типичен за добре структурирани подкани |
| Повече от 80% | Отлично, спестяванията са значителни |
Стойността на това проследяване е предимно диференциална. Стабилна стойност от 65%, която пада до 20% за една нощ, сочи към дефектно внедряване в рамките на часове: в почти всички случаи току-що е въведена променлива в главата на подканата. Тествайте го сами във Вашето текущо приложение – вземете средната стойност за сто заявки, преместете променлив елемент в края на подканата и сравнете.
Ключови изводи
- Кешът работи чрез съпоставяне на префикси: никога не променяйте токените в началото на подканата
- Структурирайте подканите си от най-стабилното към най-променливото
- Никога не добавяйте променливи данни (времеви печат, ID) в системната подкана
- Предпочетете обобщаване пред съкращаване, за да запазите кеша при дълги разговори
- Следете дневния си процент на попадения в кеша като финансов показател за производителност