Премини към основното съдържание
Български— Изберете език
Меню

Автоматичен кеш за API

Урок 9 от 14 Обновен 29 юли 2026 г. Напреднало
На тази страница
  1. Кешът като лост за намаляване на разходите
  2. Как работи кешът
  3. Хедърът x-grok-conv-id
  4. Проверка на ефективността на кеша
  5. Ключови изводи

Кешът като лост за намаляване на разходите

Автоматичният кеш има най-голямо влияние върху фактурата Ви, било то в положителна или отрицателна посока. При много доставчици трябва изрично да го декларирате в заявката, да маркирате блоковете за запазване и да управлявате тяхното време на живот. xAI избра различен подход: кешът се прилага автоматично към всички заявки, без параметри или анотации. Не е необходимо да активирате нищо, но имате всичко за губене, ако не разберете какво го задейства, защото лошо структуриран промпт никога не се възползва от него и плаща пълната цена за целия си входен данни.

5–7×
По-евтино при кеширан вход
$0.20
На милион кеширани токена при grok-4.3
UUID
Хедър x-grok-conv-id
Автоматично
Активация без конфигурация

Как работи кешът

Кешът оперира само с входните токени и единствено с тях: генерирането на отговор винаги се таксува по стандартния тарифен план. Когато началото на Вашия промпт възпроизвежда точно началото на предишно обработен промпт, идентичната част се обслужва от кеша по намалената тарифа, а само новата част преминава по стандартната ставка.

Три семейства приложения се възползват от това незабавно. Първо, разговорът: системният промпт и всички предишни реплики са строго идентични от едно извикване до следващото, променя се единствено последният въпрос, така че процентът на кеширане естествено нараства с удължаването на обмена. На второ място, промпт с фиксиран контекст – договор, техническо ръководство, хранилище с продукти, следвани от променлив въпрос – вижда своя документален блок кеширан от второто извикване нататък. Накрая, RAG пайплайнът запазва постоянни системни инструкции; променя се само извлеченият контекст и ако го поставите след инструкциите, префиксът остава подходящ за кеширане.

В ценовата листа на xAI разликата е значителна. При grok-4.3 и grok-4.20-0309 един милион кеширани входни токена струват $0.20 спрямо $1.25 по стандартната тарифа. При grok-4.5 същият милион възлиза на $0.30 вместо $2.00. С други думи, стабилен префикс от 5000 токена, използван хиляда пъти на ден, Ви струва пет до седем пъти по-малко от промпт, реконструиран при всяко извикване – за строго идентичен резултат.

Хедърът x-grok-conv-id

За да помогне на инфраструктурата да асоциира заявки, които принадлежат заедно, API приема специализиран хедър:

curl -X POST "https://api.x.ai/v1/chat/completions" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.20",
    "messages": [...]
  }'

Хедърът x-grok-conv-id очаква UUID v4. Правилото за употреба е просто: един идентификатор на разговор или поток на обработка, използван повторно за всички извиквания, които са част от него. Това сигнализира, че тези заявки са свързани, което увеличава вероятността за повторно използване на кеша. Честата грешка е генерирането на UUID по време на извикването, а не при отварянето на сесията – тогава всяка реплика получава различен идентификатор и ползата изчезва. Генерирайте го веднъж и го съхранявайте заедно със състоянието на разговора:

import uuid

# Един UUID на разговор
conv_id = str(uuid.uuid4())

# Използвайте същия UUID за всички реплики в разговора
headers = {
    "Authorization": f"Bearer {api_key}",
    "x-grok-conv-id": conv_id,
    "Content-Type": "application/json"
}

Проверка на ефективността на кеша

Нищо не заменя измерването. Полето cached_tokens в обекта usage, разгледано в предишния урок, Ви казва точно какво е обслужено от кеша:

{
  "usage": {
    "prompt_tokens": 5000,
    "cached_tokens": 4200,
    "completion_tokens": 300
  }
}

Тук 4200 токена от общо 5000 идват от кеша, което представлява процент от 84%; само 800 токена са таксувани по стандартната ставка. Направете си навик да проверявате това съотношение върху извадка от реални заявки след всяко внедряване: ако видите процент близък до нула при конферсационно приложение, нещо варира в началото на промпта и следващият урок ще Ви покаже какво точно.

Ключови изводи

  • Кешът е автоматичен: не е необходима конфигурация
  • Използвайте хедъра x-grok-conv-id с UUID v4, за да групирате свързани заявки
  • Полето cached_tokens в обекта usage показва броя токени, обслужени от кеша
  • Кешираният вход струва 5 до 7 пъти по-малко: $0.20/милион при grok-4.3, $0.30/милион при grok-4.5
  • Колкото по-стабилен е Вашият промпт в началото на последователността, толкова по-висок ще бъде процентът на кеширане