Przejdź do głównej treści
Polski— Wybierz język
Menu

Automatyczne buforowanie API

Lekcja 9 z 14 Zaktualizowano 29 lipca 2026 Zaawansowany
Na tej stronie
  1. Buforowanie jako dźwignia redukcji kosztów
  2. Jak działa bufor
  3. Nagłówek x-grok-conv-id
  4. Sprawdzanie efektywności bufora
  5. Kluczowe wnioski

Buforowanie jako dźwignia redukcji kosztów

Automatyczne buforowanie ma największy wpływ na Twój rachunek – na lepsze lub na gorsze. U wielu dostawców musisz je jawnie zadeklarować w żądaniu, oznaczyć bloki do zatrzymania i zarządzać ich czasem życia. xAI przyjęło inne podejście: buforowanie stosuje się automatycznie do wszystkich żądań, bez żadnych parametrów czy adnotacji. Nie musisz nic aktywować, ale zyskasz wszystko, zrozumiejąc, co je uruchamia, ponieważ źle ustrukturyzowany prompt nigdy nie skorzysta z tej korzyści i zapłacisz pełną cenę za całe swoje wejście.

5–7×
Taniej przy buforowanym wejściu
$0.20
Za M buforowanych tokenów na grok-4.3
UUID
Nagłówek x-grok-conv-id
Auto
Aktywacja bez konfiguracji

Jak działa bufor

Bufor operuje wyłącznie na tokenach wejściowych: generowanie odpowiedzi jest zawsze rozliczane według stawki standardowej. Gdy początek Twojego promptu dokładnie odwzorowuje początek wcześniej przetworzonego promptu, identyczna część jest obsługiwana z bufora po obniżonej stawce, a tylko nowa część jest rozliczana według stawki standardowej.

Trzy rodziny zastosowań korzystają z tego natychmiast. Po pierwsze, konwersacja: prompt systemowy i wszystkie poprzednie tury są rygorystycznie identyczne od jednego wywołania do drugiego, zmienia się tylko ostatnie pytanie, więc wskaźnik buforowania naturalnie rośnie wraz z wydłużaniem się wymiany. Następnie, prompt ze stałym kontekstem – umowa, instrukcja techniczna, repozytorium produktu, po którym następuje zmienne pytanie – widzi swój blok dokumentu buforowanym od drugiego wywołania onwards. Wreszcie, potok RAG utrzymuje stałe instrukcje systemowe; zmienia się tylko pobrany kontekst, a jeśli umieścisz go po instrukcjach, prefiks pozostaje możliwy do zbuforowania.

W cenniku xAI różnica jest ogromna. Na modelach grok-4.3 i grok-4.20-0309 milion zbuforowanych tokenów wejściowych kosztuje 0,20 USD wobec 1,25 USD przy stawce standardowej. Na grok-4.5 ten sam milion to 0,30 USD zamiast 2,00 USD. Innymi słowy, stabilny prefiks 5000 tokenów używany tysiąc razy dziennie kosztuje Cię od pięciu do siedmiu razy mniej niż prompt重构owany przy każdym wywołaniu – przy ściśle identycznym rezultacie.

Nagłówek x-grok-conv-id

Aby pomóc infrastrukturze powiązać należące do siebie żądania, API akceptuje dedykowany nagłówek:

curl -X POST "https://api.x.ai/v1/chat/completions" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.20",
    "messages": [...]
  }'

Nagłówek x-grok-conv-id oczekuje UUID v4. Zasada użytkowania jest prosta: jeden identyfikator na konwersację lub przepływ przetwarzania, ponownie używany dla wszystkich wywołań, które są jego częścią. Sygnalizuje to, że te żądania są powiązane, co zwiększa prawdopodobieństwo ponownego wykorzystania bufora. Powszechnym błędem jest generowanie UUID w momencie wywołania, a nie przy otwieraniu sesji – wtedy każda tura otrzymuje inny identyfikator i korzyść znika. Wygeneruj go raz, przechowuj wraz ze stanem konwersacji:

import uuid

# Jeden UUID na konwersację
conv_id = str(uuid.uuid4())

# Użyj tego samego UUID dla wszystkich tur w konwersacji
headers = {
    "Authorization": f"Bearer {api_key}",
    "x-grok-conv-id": conv_id,
    "Content-Type": "application/json"
}

Sprawdzanie efektywności bufora

Nic nie zastąpi pomiaru. Pole cached_tokens w obiekcie usage, omówione w poprzedniej lekcji, mówi Ci dokładnie, co zostało obsłużone z bufora:

{
  "usage": {
    "prompt_tokens": 5000,
    "cached_tokens": 4200,
    "completion_tokens": 300
  }
}

Tutaj 4200 tokenów z 5000 pochodzi z bufora, co daje wskaźnik 84%; tylko 800 tokenów zostało rozliczonych według stawki standardowej. Wprowadź sobie nawyk sprawdzania tego stosunku na próbce rzeczywistych żądań po każdym wdrożeniu: jeśli widzisz wskaźnik bliski zeru w aplikacji konwersacyjnej, coś zmienia się na początku promptu, a następna lekcja pokaże Ci, co dokładnie.

Kluczowe wnioski

  • Buforowanie jest automatyczne: nie wymaga żadnej konfiguracji
  • Użyj nagłówka x-grok-conv-id z UUID v4, aby grupować powiązane żądania
  • Pole cached_tokens w obiekcie usage wskazuje liczbę tokenów obsłużonych z bufora
  • Buforowane wejście kosztuje od 5 do 7 razy mniej: 0,20 USD/M na grok-4.3, 0,30 USD/M na grok-4.5
  • Im bardziej stabilny jest Twój prompt na początku sekwencji, tym wyższy będzie wskaźnik buforowania