Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Automātiskā API kešatmiņa

Nodarbība 9 no 14 Atjaunota 2026. gada 29. jūlijs Augstākais
Šajā lapā
  1. Kešatmiņa kā izmaksu samazināšanas svira
  2. Kā darbojas kešatmiņa
  3. Galvene x-grok-conv-id
  4. Kešatmiņas efektivitātes pārbaude
  5. Galvenās atziņas

Kešatmiņa kā izmaksu samazināšanas svira

Automātiskajai kešatmiņai ir vislielākā ietekme uz tavu rēķinu – gan pozitīvā, gan negatīvā nozīmē. Daudzi pakalpojumu sniedzēji prasa to eksplicīti deklarēt pieprasījumā, atzīmēt saglabājamos blokus un pārvaldīt to dzīves ciklu. xAI ir izvēlējies citu pieeju: kešatmiņa tiek piemērota automātiski visiem pieprasījumiem bez papildu parametriem vai anotācijām. Tev nekas nav jāaktivizē, taču tev ir viss ieguvums, ja saproti, kas to iedarbina, jo slikti strukturēts uzvednis nekad negūs labumu un par visu savu ievadi nāksies maksāt pilnu cenu.

5–7×
Lētāk par kešotajiem ievades datiem
$0.20
Par M kešotajiem tokeniem grok-4.3 modelī
UUID
Galvene x-grok-conv-id
Auto
Aktivizācija bez konfigurācijas

Kā darbojas kešatmiņa

Kešatmiņa darbojas tikai ar ievades tokeniem; atbildes ģenerēšana vienmēr tiek tarifēta pēc standarta likmes. Ja tava uzvedņa sākums precīzi atkārto iepriekš apstrādāta uzvedņa sākumu, identiskā daļa tiek nodrošināta no kešatmiņas par samazinātu likmi, un tikai jaunā daļa tiek apstrādāta par standarta likmi.

Trīs lietojumu veidi gūst tūlītēju labumu. Pirmkārt, saruna: sistēmas uzvednis un visi iepriekšējie dialoga gājieni no viena izsaukuma uz nākamo ir stingri identiski, mainās tikai pēdējais jautājums, tāpēc kešatmiņas efektivitāte dabiski pieaug, sarunai ieilgstot. Otrkārt, uzvednis ar fiksētu kontekstu – līgums, tehniskā rokasgrāmata vai produktu repozitorijs, kam seko mainīgs jautājums – redz, ka tā dokumenta bloks tiek kešots jau no otrā izsaukuma. Visbeidzot, RAG pipeline saglabā nemainīgas sistēmas instrukcijas; mainās tikai izgūtais konteksts, un, ja to izvieto aiz instrukcijām, prefikss paliek kešojams.

xAI cenu lapā atšķirība ir ievērojama. Modeļiem grok-4.3 un grok-4.20-0309 miljons kešoto ievades tokenu maksā $0.20, salīdzinot ar $1.25 pēc standarta likmes. Modelim grok-4.5 tas pats miljons izmaksā $0.30, nevis $2.00. Citiem vārdiem sakot, stabils 5000 tokenu prefikss, ko izmanto tūkstoš reižu dienā, tev izmaksā piecas līdz septiņas reizes mazāk nekā uzvednis, kas tiek rekonstruēts katrā izsaukumā, – par pilnīgi identisku rezultātu.

Galvene x-grok-conv-id

Lai palīdzētu infrastruktūrai saistīt pieprasījumus, kas pieder vienam veselumam, API pieņem specializētu galveni:

curl -X POST "https://api.x.ai/v1/chat/completions" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.20",
    "messages": [...]
  }'

Galvene x-grok-conv-id sagaida UUID v4 formātu. Lietošanas noteikums ir vienkāršs: viens identifikators katrai sarunai vai apstrādes plūsmai, ko atkārtoti izmanto visiem tajā ietilpstošajiem izsaukumiem. Tas signalizē, ka šie pieprasījumi ir saistīti, kas palielina kešatmiņas atkārtotas izmantošanas varbūtību. Izplatītākā kļūda ir UUID ģenerēšana izsaukuma brīdī, nevis sesijas atvēršanas brīdī – tad katrs dialoga gājiens saņem atšķirīgu identifikatoru un ieguvums pazūd. Ģenerē to vienreiz un glabā kopā ar sarunas stāvokli:

import uuid

# Viens UUID katrai sarunai
conv_id = str(uuid.uuid4())

# Vienādu UUID izmanto visiem sarunas gājieniem
headers = {
    "Authorization": f"Bearer {api_key}",
    "x-grok-conv-id": conv_id,
    "Content-Type": "application/json"
}

Kešatmiņas efektivitātes pārbaude

Nekas neaizstāj mērījumus. Lauks cached_tokens objektā usage, par ko runājām iepriekšējā nodarbībā, precīzi norāda, kas tika nodrošināts no kešatmiņas:

{
  "usage": {
    "prompt_tokens": 5000,
    "cached_tokens": 4200,
    "completion_tokens": 300
  }
}

Šeit 4200 tokeni no 5000 nāk no kešatmiņas, kas veido 84 %; tikai 800 tokeni tika tarifēti pēc standarta likmes. Pieradini sevi pēc katras izvietošanas reizes pārbaudīt šo attiecību reālu pieprasījumu izlasē: ja sarunu lietotnē redzi likmi, kas tuva nullei, tas nozīmē, ka uzvedņa sākumā kaut kas mainās, un nākamajā nodarbībā redzēsi, kas tieši.

Galvenās atziņas

  • Kešatmiņa ir automātiska: konfigurācija nav nepieciešama
  • Izmanto galveni x-grok-conv-id ar UUID v4, lai grupētu saistītos pieprasījumus
  • Lauks cached_tokens objektā usage norāda no kešatmiņas apkalpoto tokeni skaitu
  • Kešotie ievades dati maksā 5 līdz 7 reizes mazāk: $0.20/M modelim grok-4.3, $0.30/M modelim grok-4.5
  • Jo stabilāks ir tavs uzvednis secības sākumā, jo augstāks būs kešatmiņas rādītājs