Премини към основното съдържание
Български— Изберете език
Меню

Оптимизиране на процента на попадения в кеша

Урок 10 от 14 Обновен 29 юли 2026 г. Напреднало
На тази страница
  1. Структурирайте подканите си за кеш
  2. Златното правило: Не променяйте историята
  3. Архитектура на подканите, която се кешира добре
  4. Рефлексът, който руши всичко: Съкращаване на историята
  5. Измерване и подобряване
  6. Ключови изводи

Структурирайте подканите си за кеш

Кешът на Grok API работи чрез съпоставяне на префикси. Токените се кешират последователно, от първия до последния, а съпоставянето спира при първия различаващ се символ. Последствието е сериозно: ако промените токен в средата на подканата, всичко след него губи кеша си, дори ако останалата част е дума по дума идентична. Времеви печат от двадесет знака в началото на подканата е достатъчен, за да предизвика пълно таксуване за следващите 50 000 токена. Структурирането на подканите не е инженерска суета – това е разликата между сметка от 200 долара и такава от 1000 долара за една и съща услуга.

Златното правило: Не променяйте историята

Най-честата грешка в производствената среда е коригирането на историята на съобщенията между заявките. Преформатиране на предишно съобщение, пренареждане на реплики, вмъкване на текуща дата или ID на сесия в системната подкана: всяко от тези действия, привидно безобидни, анулира кеша от точката на модификация нататък. Най-разпространеният случай се събира в един ред код:

# BAD: timestamp in system prompt
messages = [
    {"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
    # ...
]

Този времеви печат се променя при всяко извикване. Тъй като се намира в самото първо съобщение, съпоставянето на префикса се проваля още при първия токен и цялата подкана се таксува по стандартния тарифен план, разговор след разговор. Ако моделът Ви наистина има нужда да знае датата, я поставете в последното потребителско съобщение, където това ще струва само няколко десетки некешувани токена.

Правилната версия на същата подкана запазва строго фиксирана заглавна част, история само с добавяне (append-only) и концентрира цялата новост в края:

# GOOD: static content first, variables at the end
messages = [
    {"role": "system", "content": "You are a customer support specialist assistant."},
    # UNCHANGED conversation history
    {"role": "user", "content": "Previous question..."},
    {"role": "assistant", "content": "Previous response..."},
    # Only the last message is new
    {"role": "user", "content": "User's new question"}
]

Архитектура на подканите, която се кешира добре

Принципът се събира в едно изречение: от най-стабилното към най-променливото. Конкретно, четири слоя следват в този ред:

  1. Системна подкана (стабилна): общи инструкции, персона, правила
  2. Контекст на справката (стабилен): документация, база знания
  3. История на разговора (инкрементална): само добавяне, никога промяна
  4. Текущо съобщение (променливо): новата заявка на потребителя

С тази подредба слоеве 1 до 3 попадат в кеша, а само слой 4 се таксува по стандартния тарифен план. В приложение, където системната подкана и хранилището тежат 8000 токена, потребителски въпрос от 60 токена ще бъде таксуван на пълна цена само за тези 60 токена.

Тази логика се разпростира и върху по-малко очевидни случаи. Ако приложението Ви разчита на дълъг справочен контекст – продуктова документация, ЧЗВ, технически спецификации – го поставете веднага след системната подкана: той ще бъде кеширан от втората заявка на всеки разговор нататък. И вопреки общоприетото схващане, ползата не е ограничена до една сесия: два различни разговора, които споделят един и същ префикс, същата системна подкана и същия справочен контекст, се кешират взаимно. В многопотребителско приложение с обща подкана, всеки потребител се възползва от трафика на другите, което прави дългата, стабилна системна подкана далеч по-евтина, отколкото изглежда.

Рефлексът, който руши всичко: Съкращаване на историята

Когато разговорът се удължи и се приближи до лимита на контекста, инстинктът е да се отрежат най-ранните съобщения. Това е точно онова, което не трябва да правите: премахвайки началото, Вие измествате всичко останало и унищожавате съпоставянето на префикса. Спестявате няколко хиляди токена и плащате обратно петдесет хиляди на пълна цена. Предпочетете обобщаването, което кондензира старите размени в преправена системна подкана веднъж, оставяйки скорошните съобщения непокътнати:

# Instead of truncating history:
# messages = messages[-10:]  # BAD: breaks cache

# Summarize old messages into the system prompt:
messages = [
    {"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
    # Recent messages unmodified
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "New question"}
]

Измерване и подобряване

Следете дневния процент на попадения в кеша като производствен показател сам по себе си, точно както бихте следили честотата на грешки. Ето как да тълкувате стойността, която наблюдавате.

Процент кешТълкуване
По-малко от 30%Лошо структурирани подкани или променливи елементи в началото на последователността
30 до 60%Приемливо за кратки разговори, може да се подобри с по-дълга и стабилна системна подкана
Повече от 60%Добър резултат, типичен за добре структурирани подкани
Повече от 80%Отлично, спестяванията са значителни

Стойността на това проследяване е предимно диференциална. Стабилна стойност от 65%, която пада до 20% за една нощ, сочи към дефектно внедряване в рамките на часове: в почти всички случаи току-що е въведена променлива в главата на подканата. Тествайте го сами във Вашето текущо приложение – вземете средната стойност за сто заявки, преместете променлив елемент в края на подканата и сравнете.

Ключови изводи

  • Кешът работи чрез съпоставяне на префикси: никога не променяйте токените в началото на подканата
  • Структурирайте подканите си от най-стабилното към най-променливото
  • Никога не добавяйте променливи данни (времеви печат, ID) в системната подкана
  • Предпочетете обобщаване пред съкращаване, за да запазите кеша при дълги разговори
  • Следете дневния си процент на попадения в кеша като финансов показател за производителност