Cache API automat
Pe această pagină
Cache-ul ca pârghie de reducere a costurilor
Cache-ul automat are cel mai mare impact asupra facturii dumneavoastră, fie în bine, fie în rău. La mulți furnizori, trebuie să îl declarați explicit în cerere, să marcați blocurile de reținut și să le gestionați durata de viață. xAI a adoptat o abordare diferită: cache-ul se aplică automat tuturor cererilor, fără parametri sau adnotări. Nu trebuie să activați nimic, dar aveți totul de câștigat înțelegând ce îl declanșează, deoarece un prompt structurat necorespunzător nu beneficiază niciodată de el și plătește prețul întreg pentru tot input-ul său.
Cum funcționează cache-ul
Cache-ul operează exclusiv asupra tokenilor de input; generarea răspunsului este întotdeauna facturat la tariful standard. Când începutul promptului dumneavoastră reproduce exact începutul unui prompt procesat anterior, porțiunea identică este servită din cache la tariful redus, iar doar partea nouă este facturat la tariful standard.
Trei familii de aplicații beneficiază imediat. În primul rând, o conversație: promptul de sistem și toate schimburile anterioare sunt riguros identice de la o apelare la alta, doar ultima întrebare se schimbă, astfel încât rata de cache crește natural pe măsură ce schimbul se lungeste. În al doilea rând, un prompt cu context fix—un contract, un manual tehnic, un depozit de produse urmat de o întrebare variabilă—vede blocul său de documente pus în cache începând cu a doua apelare. În final, un pipeline RAG menține instrucțiuni de sistem constante; doar contextul recuperat se schimbă, iar dacă îl plasați după instrucțiuni, prefixul rămâne cache-abil.
Pe grila de prețuri xAI, decalajul este considerabil. Pe grok-4.3 și grok-4.20-0309, un milion de tokeni de input din cache costă 0,20 USD față de 1,25 USD la tariful standard. Pe grok-4.5, același milion ajunge la 0,30 USD în loc de 2,00 USD. Cu alte cuvinte, un prefix stabil de 5.000 de tokeni, reutilizat de o mie de ori pe zi, vă costă de cinci până la șapte ori mai puțin decât un prompt reconstruit la fiecare apelare—pentru un rezultat strict identic.
Header-ul x-grok-conv-id
Pentru a ajuta infrastructura să asocieze cererile care aparțin aceleiași sesiuni, API-ul acceptă un header dedicat:
curl -X POST "https://api.x.ai/v1/chat/completions" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.20",
"messages": [...]
}'
Header-ul x-grok-conv-id așteaptă un UUID v4. Regula de utilizare este simplă: un identificator per conversație sau flux de procesare, reutilizat pentru toate apelurile care fac parte din acesta. Acest lucru semnalează faptul că aceste cereri sunt legate, ceea ce mărește probabilitatea reutilizării cache-ului. Greșeala comună este generarea UUID-ului la momentul apelării, și nu la deschiderea sesiunii—fiecare tur primește atunci un identificator diferit, iar beneficiul dispare. Generați-l o singură dată și stocați-l împreună cu starea conversației:
import uuid
# Un UUID per conversație
conv_id = str(uuid.uuid4())
# Folosiți același UUID pentru toate tururile din conversație
headers = {
"Authorization": f"Bearer {api_key}",
"x-grok-conv-id": conv_id,
"Content-Type": "application/json"
}
Verificarea eficienței cache-ului
Nimic nu bate măsurătoarea. Câmpul cached_tokens din obiectul usage, abordat în lecția anterioară, vă indică exact ce a fost servit din cache:
{
"usage": {
"prompt_tokens": 5000,
"cached_tokens": 4200,
"completion_tokens": 300
}
}
Aici, 4.200 de tokeni din 5.000 provin din cache, o rată de 84%; doar 800 de tokeni au fost facturați la tariful standard. Obișnuiți-vă să verificați acest raport pe un eșantion de cereri reale după fiecare implementare: dacă observați o rată apropiată de zero într-o aplicație conversațională, ceva variază la începutul promptului, iar lecția următoare vă va arăta despre ce este vorba.
Puncte cheie
- Cache-ul este automat: nu este necesară nicio configurare
- Utilizați header-ul
x-grok-conv-idcu un UUID v4 pentru a grupa cererile legate - Câmpul
cached_tokensdin obiectulusageindică numărul de tokeni serviți din cache - Input-ul din cache costă de 5 până la 7 ori mai puțin: 0,20 USD/M pe grok-4.3, 0,30 USD/M pe grok-4.5
- Cu cât promptul dumneavoastră este mai stabil la începutul secvenței, cu atât rata de cache va fi mai mare