Automatikus API gyorsítótár
Ezen az oldalon
A gyorsítótár mint költségtényező
Az automatikus gyorsítótár gyakorolja a legnagyobb hatást a számládra – jó értelemben és rossz értelemben is. Sok szolgáltatónál ezt explicit módon kell deklarálnod a kérésben, megjelölni a megtartandó blokkokat, és kezelni az élettartamukat. Az xAI más utat választott: a gyorsítótárazás automatikusan vonatkozik minden kérésre, paraméterek vagy annotációk nélkül. Nem kell aktiválnod semmit, de mindenképpen megéri megértened, mi váltja ki, mert egy rosszul felépített prompt sosem részesül az előnyökből, és a teljes bemenet után teljes árat fizetsz.
Hogyan működik a gyorsítótár
A gyorsítótár kizárólag a bemeneti tokenekre vonatkozik: a válaszgenerálás mindig a standard díjszabás szerint kerül számlázásra. Amikor a promptod eleme pontosan megegyezik egy korábban feldolgozott prompt elejével, az azonos részt a gyorsítótárból szolgálja ki a rendszer csökkentett áron, és csak az új rész kerül számlázásra standard áron.
Három alkalmazástípus profitál ebből azonnal. Először is a beszélgetés: a rendszerprompt és az összes előző forduló szigorúan ugyanaz marad hívásról hívásra, csak az utolsó kérdés változik, így a gyorsítótárazási arány természetesen nő a beszélgetés hosszának növekedésével. Másodszor, a rögzített kontextusú prompt – például egy szerződés, egy műszaki kézikönyv vagy egy terméktár, amelyet egy változó kérdés követ – esetén a dokumentumblokk a második hívástól kezdve gyorsítótárazódik. Végül egy RAG (Retrieval-Augmented Generation) pipeline esetén a rendszerutasítások állandóak; csak a lekért kontextus változik, és ha ezt az utasítások után helyezed el, az előtag gyorsítótárazható marad.
Az xAI árazási táblázatában a különbség jelentős. A grok-4.3 és grok-4.20-0309 modelleknél egymillió gyorsítótárazott bemeneti token ára 0,20 USD, szemben a standard 1,25 USD-val. A grok-4.5 esetén ugyanez az egymillió token 0,30 USD-ba kerül a 2,00 USD helyett. Más szóval: egy stabil, 5000 tokenes előtag, amelyet naponta ezerszer használsz újra, ötször-hétszer olcsóbb, mint egy minden híváskor újjáépített prompt – szigorúan ugyanazért az eredményért cserébe.
Az x-grok-conv-id fejléc
Annak érdekében, hogy az infrastruktúra össze tudja kapcsolni az összetartozó kéréseket, az API egy dedikált fejlécet fogad el:
curl -X POST "https://api.x.ai/v1/chat/completions" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.20",
"messages": [...]
}'
Az x-grok-conv-id fejléc egy UUID v4 formátumot vár. A használati szabály egyszerű: egy azonosító beszélgetésenként vagy feldolgozási folyamatonként, amelyet a hozzá tartozó összes hívásnál újrahasználsz. Ez jelzi, hogy ezek a kérések kapcsolódnak egymáshoz, ami növeli a gyorsítótár újrahasználatának valószínűségét. A gyakori hiba az, hogy a UUID-t hívásonként generálod a munkamenet megnyitása helyett – ekkor minden forduló más azonosítót kap, és az előny elvész. Generáld le egyszer, és tárold el a beszélgetés állapotával együtt:
import uuid
# Egy UUID beszélgetésenként
conv_id = str(uuid.uuid4())
# Ugyanazt az UUID-t használd a beszélgetés összes fordulójához
headers = {
"Authorization": f"Bearer {api_key}",
"x-grok-conv-id": conv_id,
"Content-Type": "application/json"
}
A gyorsítótár hatékonyságának ellenőrzése
Semmi sem helyettesíti a mérést. A usage objektum cached_tokens mezője, amelyet az előző leckében tárgyaltunk, pontosan megmutatja, mennyi token szolgált a gyorsítótárból:
{
"usage": {
"prompt_tokens": 5000,
"cached_tokens": 4200,
"completion_tokens": 300
}
}
Itt az 5000 tokenből 4200 a gyorsítótárból származik, ami 84%-os arányt jelent; csupán 800 tokent számláztak standard áron. Szoktasd rá magad, hogy minden telepítés után ellenőrizd ezt az arányt valós kérések mintáján: ha egy beszélgetéses alkalmazásnál nullához közeli arányt látsz, akkor valami változik a prompt elején, és a következő lecke megmutatja, mi az.
Főbb megállapítások
- A gyorsítótár automatikus: nincs szükség konfigurációra
- Használd az
x-grok-conv-idfejlécet egy UUID v4-gyel az összetartozó kérések csoportosításához - A
usageobjektumcached_tokensmezője jelzi a gyorsítótárból kiszolgált tokenek számát - A gyorsítótárazott bemenet 5–7-szer olcsóbb: 0,20 USD/M a grok-4.3 esetén, 0,30 USD/M a grok-4.5 esetén
- Minél stabilabb a promptod a szekvencia elején, annál magasabb lesz a gyorsítótárazási arány