Salt la conținutul principal
Română— Alege o limbă
Meniu

Cache API automat

Lecția 9 din 14 Actualizată 29 iulie 2026 Avansat
Pe această pagină
  1. Cache-ul ca pârghie de reducere a costurilor
  2. Cum funcționează cache-ul
  3. Header-ul x-grok-conv-id
  4. Verificarea eficienței cache-ului
  5. Puncte cheie

Cache-ul ca pârghie de reducere a costurilor

Cache-ul automat are cel mai mare impact asupra facturii dumneavoastră, fie în bine, fie în rău. La mulți furnizori, trebuie să îl declarați explicit în cerere, să marcați blocurile de reținut și să le gestionați durata de viață. xAI a adoptat o abordare diferită: cache-ul se aplică automat tuturor cererilor, fără parametri sau adnotări. Nu trebuie să activați nimic, dar aveți totul de câștigat înțelegând ce îl declanșează, deoarece un prompt structurat necorespunzător nu beneficiază niciodată de el și plătește prețul întreg pentru tot input-ul său.

5–7×
Mai ieftin pentru input-ul din cache
$0.20
Per M tokeni cached pe grok-4.3
UUID
Header x-grok-conv-id
Auto
Activare fără configurare

Cum funcționează cache-ul

Cache-ul operează exclusiv asupra tokenilor de input; generarea răspunsului este întotdeauna facturat la tariful standard. Când începutul promptului dumneavoastră reproduce exact începutul unui prompt procesat anterior, porțiunea identică este servită din cache la tariful redus, iar doar partea nouă este facturat la tariful standard.

Trei familii de aplicații beneficiază imediat. În primul rând, o conversație: promptul de sistem și toate schimburile anterioare sunt riguros identice de la o apelare la alta, doar ultima întrebare se schimbă, astfel încât rata de cache crește natural pe măsură ce schimbul se lungeste. În al doilea rând, un prompt cu context fix—un contract, un manual tehnic, un depozit de produse urmat de o întrebare variabilă—vede blocul său de documente pus în cache începând cu a doua apelare. În final, un pipeline RAG menține instrucțiuni de sistem constante; doar contextul recuperat se schimbă, iar dacă îl plasați după instrucțiuni, prefixul rămâne cache-abil.

Pe grila de prețuri xAI, decalajul este considerabil. Pe grok-4.3 și grok-4.20-0309, un milion de tokeni de input din cache costă 0,20 USD față de 1,25 USD la tariful standard. Pe grok-4.5, același milion ajunge la 0,30 USD în loc de 2,00 USD. Cu alte cuvinte, un prefix stabil de 5.000 de tokeni, reutilizat de o mie de ori pe zi, vă costă de cinci până la șapte ori mai puțin decât un prompt reconstruit la fiecare apelare—pentru un rezultat strict identic.

Header-ul x-grok-conv-id

Pentru a ajuta infrastructura să asocieze cererile care aparțin aceleiași sesiuni, API-ul acceptă un header dedicat:

curl -X POST "https://api.x.ai/v1/chat/completions" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.20",
    "messages": [...]
  }'

Header-ul x-grok-conv-id așteaptă un UUID v4. Regula de utilizare este simplă: un identificator per conversație sau flux de procesare, reutilizat pentru toate apelurile care fac parte din acesta. Acest lucru semnalează faptul că aceste cereri sunt legate, ceea ce mărește probabilitatea reutilizării cache-ului. Greșeala comună este generarea UUID-ului la momentul apelării, și nu la deschiderea sesiunii—fiecare tur primește atunci un identificator diferit, iar beneficiul dispare. Generați-l o singură dată și stocați-l împreună cu starea conversației:

import uuid

# Un UUID per conversație
conv_id = str(uuid.uuid4())

# Folosiți același UUID pentru toate tururile din conversație
headers = {
    "Authorization": f"Bearer {api_key}",
    "x-grok-conv-id": conv_id,
    "Content-Type": "application/json"
}

Verificarea eficienței cache-ului

Nimic nu bate măsurătoarea. Câmpul cached_tokens din obiectul usage, abordat în lecția anterioară, vă indică exact ce a fost servit din cache:

{
  "usage": {
    "prompt_tokens": 5000,
    "cached_tokens": 4200,
    "completion_tokens": 300
  }
}

Aici, 4.200 de tokeni din 5.000 provin din cache, o rată de 84%; doar 800 de tokeni au fost facturați la tariful standard. Obișnuiți-vă să verificați acest raport pe un eșantion de cereri reale după fiecare implementare: dacă observați o rată apropiată de zero într-o aplicație conversațională, ceva variază la începutul promptului, iar lecția următoare vă va arăta despre ce este vorba.

Puncte cheie

  • Cache-ul este automat: nu este necesară nicio configurare
  • Utilizați header-ul x-grok-conv-id cu un UUID v4 pentru a grupa cererile legate
  • Câmpul cached_tokens din obiectul usage indică numărul de tokeni serviți din cache
  • Input-ul din cache costă de 5 până la 7 ori mai puțin: 0,20 USD/M pe grok-4.3, 0,30 USD/M pe grok-4.5
  • Cu cât promptul dumneavoastră este mai stabil la începutul secvenței, cu atât rata de cache va fi mai mare