Automatsko keširanje API-ja
Na ovoj stranici
Keš kao poluga za smanjenje troškova
Automatsko keširanje ima najveći utjecaj na tvoj račun, na bolje ili na gore. Kod mnogih pružatelja usluga moraš ga eksplicitno deklarirati u zahtjevu, označiti blokove za zadržavanje i upravljati njihovim vijekom trajanja. xAI je odabrao drugačiji pristup: keš se primjenjuje automatski na sve zahtjeve, bez parametara ili anotacija. Ne moraš ništa aktivirati, ali imaš sve za dobiti razumijevanjem što ga pokreće, jer loše strukturiran upit nikada ne donosi korist i plaćaš punu cijenu za cijeli svoj ulaz.
Kako keš funkcionira
Keš radi na ulaznim tokenima i samo na njima: generiranje odgovora uvijek se naplaćuje po standardnoj tarifi. Kada početak tvog upita točno reproducira početak prethodno obrađenog upita, identični dio se poslužuje iz keša po smanjenoj stopi, a samo novi dio prolazi po standardnoj stopi.
Tri obitelji primjena odmah imaju korist. Prvo, razgovor: sistemski upit i svi prethodni okreti strogo su identični od jednog poziva do drugog, mijenja se samo posljednje pitanje, pa stopa keširanja prirodno raste kako razmjena traje. Zatim, upit s fiksnim kontekstom—ugovor, tehnički priručnik, repozitorij proizvoda kojem slijedi varijabilno pitanje—vidi kako se njegov blok dokumenata kešira od drugog poziva nadalje. Konačno, RAG pipeline zadržava konstantne sistemske instrukcije; mijenja se samo dohvaćeni kontekst, a ako ga postaviš nakon instrukcija, prefiks ostaje moguć za keširanje.
Na cjeniku xAI-ja razlika je znatna. Na grok-4.3 i grok-4.20-0309, milijun keširanih ulaznih tokena košta 0,20 USD naspram 1,25 USD po standardnoj stopi. Na grok-4.5, isti milijun iznosi 0,30 USD umjesto 2,00 USD. Drugim riječima, stabilan prefiks od 5.000 tokena koji se ponovno koristi tisuću puta dnevno košta te pet do sedam puta manje nego upit rekonstruiran pri svakom pozivu—za strogo identičan rezultat.
Zaglavlje x-grok-conv-id
Kako bi infrastruktura lakše povezala zahtjeve koji pripadaju zajedno, API prihvaća namjensko zaglavlje:
curl -X POST "https://api.x.ai/v1/chat/completions" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.20",
"messages": [...]
}'
Zaglavlje x-grok-conv-id očekuje UUID v4. Pravilo korištenja je jednostavno: jedan identifikator po razgovoru ili tijeku obrade, koji se ponovno koristi za sve pozive koji su dio toga. To signalizira da su ti zahtjevi povezani, što povećava vjerojatnost ponovne upotrebe keša. Uobičajena greška je generiranje UUID-a u vrijeme poziva umjesto pri otvaranju sesije—tada svaki okret prima drugačiji identifikator i korist nestaje. Generiraj ga jednom i pohrani zajedno sa stanjem razgovora:
import uuid
# Jedan UUID po razgovoru
conv_id = str(uuid.uuid4())
# Koristi isti UUID za sve okrete u razgovoru
headers = {
"Authorization": f"Bearer {api_key}",
"x-grok-conv-id": conv_id,
"Content-Type": "application/json"
}
Provjera učinkovitosti keša
Ništa ne nadmašuje mjerenje. Polje cached_tokens u objektu usage, obrađeno u prethodnoj lekciji, točno ti govori što je posluženo iz keša:
{
"usage": {
"prompt_tokens": 5000,
"cached_tokens": 4200,
"completion_tokens": 300
}
}
Ovdje 4.200 tokena od 5.000 dolazi iz keša, što je stopa od 84 %; samo je 800 tokena naplaćeno po standardnoj stopi. Učini navikom provjeravati ovaj omjer na uzorku stvarnih zahtjeva nakon svakog uvođenja: ako vidiš stopu blizu nule na aplikaciji za razgovor, nešto varira na početku upita, a sljedeća lekcija pokazat će ti što.
Ključne točke
- Keš je automatski: nije potrebna konfiguracija
- Koristi zaglavlje
x-grok-conv-ids UUID v4 za grupiranje povezanih zahtjeva - Polje
cached_tokensu objektuusageoznačava broj tokena posluženih iz keša - Keširani ulaz košta 5 do 7 puta manje: 0,20 USD/M na grok-4.3, 0,30 USD/M na grok-4.5
- Što je tvoj upit stabilniji na početku sekvence, to će stopa keširanja biti veća