API vahemälu automatiseerimine
Sellel lehel
Vahemälu kui kulude vähendamise hoob
Automaatne vahemälu mõjutab sinu arvet kõige rohkem – nii positiivselt kui ka negatiivselt. Paljude teenusepakkujate puhul pead sa selle päringus sõnaselgelt deklareerima, märkima säilitatavad plokid ja haldama nende eluiga. xAI valis teise tee: vahemälu rakendub automaatselt kõigile päringutele ilma parameetrite või annotatsioonideta. Sul pole vaja midagi aktiveerida, kuid sul on palju võita, kui mõistad, mis seda käivitab, sest halvasti struktureeritud vihje ei saa kunagi kasu ja sa maksad täishinda kogu sisendi eest.
Kuidas vahemälu töötab
Vahemälu toimib ainult sisendtokenitega: vastuse genereerimise eest arvestatakse alati tavahinda. Kui sinu vihje algus kordab täpselt eelnevalt töödeldud vihje algust, serveeritakse identne osa vahemälust soodsa hinnaga ja ainult uus osa läbib süsteemi tavahinnaga.
Kolm rakenduste kategooriat saavad sellest kohe kasu. Esiteks vestlus: süsteemne vihje ja kõik eelnevad pöörded on ühest väljakutsest teise rangelt identsed, muutub vaid viimane küsimus, seega kasvab vahemälu kasutusmäär loomulikult vestluse pikenedes. Teiseks fikseeritud kontekstiga vihje – leping, tehniline juhend või toote hoidla, millele järgneb muutuv küsimus – näeb oma dokumendiploki vahemällu salvestamist alates teisest väljakutsest. Lõpuks hoiab RAG-torustik süsteemijuhised konstantsena; muutub vaid hangitud kontekst ja kui paigutad selle pärast juhiseid, jääb prefiks vahemällu salvestatavaks.
xAI hinnakirjas on vahe märkimisväärne. Mudelite grok-4.3 ja grok-4.20-0309 puhul maksab miljon vahemällu salvestatud sisendtokenit 0,20 dollarit võrreldes 1,25 dollariga tavahinnaga. Mudeli grok-4.5 puhul maksab sama miljon 0,30 dollarit 2,00 dollari asemel. Teisisõnu maksab stabiilne 5000 tokeni pikkune prefiks, mida kasutatakse tuhat korda päevas, viis kuni seitse korda vähem kui iga kord uuesti üles ehitatud vihje – tulemuseks on täpselt sama tulemus.
Päis x-grok-conv-id
Selleks, et aidata taristul seostada omavahel kuuluvaid päringuid, aktsepteerib API spetsiaalset päist:
curl -X POST "https://api.x.ai/v1/chat/completions" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.20",
"messages": [...]
}'
Päis x-grok-conv-id eeldab UUID v4 vormingut. Kasutusreegel on lihtne: üks identifikaator vestluse või töötlemisvoogu kohta, mida korratakse kõigi sellesse kuuluvate väljakutsete puhul. See annab märku, et need päringud on seotud, mis suurendab vahemälu taaskasutamise tõenäosust. Levinud viga on UUID genereerimine iga väljakutse ajal, mitte seansi avamisel – siis saab iga pööre erineva identifikaatori ja kasu kaob. Genereeri see üks kord ja salvesta koos vestluse olekuga:
import uuid
# Üks UUID vestluse kohta
conv_id = str(uuid.uuid4())
# Kasuta sama UUID-d kõigi vestluse pöörete jaoks
headers = {
"Authorization": f"Bearer {api_key}",
"x-grok-conv-id": conv_id,
"Content-Type": "application/json"
}
Vahemälu tõhususe kontrollimine
Mõõtmine on parim viis. Eelmises tunnis käsitletud objekti usage väli cached_tokens ütleb sulle täpselt, mida vahemälust serveeriti:
{
"usage": {
"prompt_tokens": 5000,
"cached_tokens": 4200,
"completion_tokens": 300
}
}
Siin pärineb 4200 tokenit 5000-st vahemälust, mis teeb 84%; ainult 800 tokenit arveldati tavahinnaga. Tee harjumuseks kontrollida seda suhet reaalsete päringute valimis pärast iga kasutuselevõttu: kui näed vestlusrakenduses määra, mis on lähedane nullile, muutub midagi vihje alguses ja järgmine tund näitab sulle, mis see on.
Peamised punktid
- Vahemälu on automaatne: seadistamine pole vajalik
- Kasuta seotud päringute rühmitamiseks päist
x-grok-conv-idkoos UUID v4-ga - Väli
cached_tokensobjektisusagenäitab vahemälust serveeritud tokenite arvu - Vahemällu salvestatud sisend maksab 5 kuni 7 korda vähem: 0,20 $/M mudelil grok-4.3, 0,30 $/M mudelil grok-4.5
- Mida stabiilsem on sinu vihje jada alguses, seda kõrgem on vahemälu kasutusmäär