Automaattinen API-välimuisti
Tällä sivulla
Välimuisti kustannusten leikkausvipuna
Automaattisella välimuistilla on suurin vaikutus laskuusi – parempaan tai huonompaan suuntaan. Monilla tarjoajilla sinun on määriteltävä se nimenomaisesti pyynnössä, merkittävä säilytettävät lohkot ja hallittava niiden elinkaarta. xAI on valinnut toisenlaisen lähestymistavan: välimuisti koskee kaikkia pyyntöjä automaattisesti ilman parametreja tai annotaatioita. Sinun ei tarvitse aktivoida mitään, mutta hyödyt valtavasti ymmärtämällä, mikä sen laukaisee, sillä huonosti jäsennelty kehote ei hyödy siitä lainkaan, ja maksat täyden hinnan koko syötteestäsi.
Miten välimuisti toimii
Välimuisti koskee vain syötetokeneitä, ei muita: vastauksen generointi laskutetaan aina normaalihinnalla. Kun kehotteesi alku toistaa täsmälleen aiemmin käsitellyn kehotteen alun, identtinen osa haetaan välimuistista alennetulla hinnalla, ja vain uusi osa kulkee normaalihinnalla.
Kolme sovellusperhettä hyötyvät tästä välittömästi. Ensinnäkin keskustelu: järjestelmäkehote ja kaikki edelliset vuorot ovat täysin identtisiä kutsusta toiseen, vain viimeinen kysymys muuttuu, joten välimuistin käyttöaste nousee luonnostaan vuorovaikutuksen pidentyessä. Toiseksi kiinteän kontekstin kehote – sopimus, tekninen opas tai tuoterepositorio, jota seuraa muuttuva kysymys – näkee dokumenttilohkonsa siirtyvän välimuistiin toisesta kutsusta alkaen. Kolmanneksi RAG-putkisto pitää järjestelmäohjeet vakioina; vain haettu konteksti muuttuu, ja jos sijoitat sen ohjeiden jälkeen, etuliite pysyy välimuistikelpoisena.
xAI:n hinnoittelussa ero on huomattava. Grok-4.3:ssa ja grok-4.20-0309:ssä miljoona välimuistissa olevaa syötetokeniä maksaa 0,20 dollaria verrattuna 1,25 dollariin normaalihinnalla. Grok-4.5:ssä sama miljoona maksaa 0,30 dollaria 2,00 dollarin sijaan. Toisin sanoen vakio etuliite, jossa on 5 000 tokenia ja jota käytetään tuhat kertaa päivässä, maksaa viisi–seitsemän kertaa vähemmän kuin joka kutsussa uudelleenrakennettu kehote – täysin identtisestä tuloksesta huolimatta.
x-grok-conv-id-otsake
Infrastruktuurin auttamiseksi yhdistämään toisiinsa kuuluvat pyynnöt API hyväksyy erityisen otsakkeen:
curl -X POST "https://api.x.ai/v1/chat/completions" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.20",
"messages": [...]
}'
x-grok-conv-id-otsake odottaa UUID v4 -tunnistetta. Käyttösääntö on yksinkertainen: yksi tunniste per keskustelu tai käsittelyvirta, jota käytetään uudelleen kaikissa siihen kuuluvissa kutsuissa. Tämä viestii, että pyynnöt liittyvät toisiinsa, mikä kasvattaa välimuistin uudelleenkäytön todennäköisyyttä. Yleisin virhe on generoida UUID kutsuhetkellä istunnon avaamisen sijaan – tällöin jokainen vuoro saa eri tunnisteen, ja hyöty katoaa. Generoi se kerran ja tallenna se keskustelutilan yhteyteen:
import uuid
# Yksi UUID per keskustelu
conv_id = str(uuid.uuid4())
# Käytä samaa UUID:tä kaikissa keskustelun vuoroissa
headers = {
"Authorization": f"Bearer {api_key}",
"x-grok-conv-id": conv_id,
"Content-Type": "application/json"
}
Välimuistin tehokkuuden tarkistaminen
Mikään ei voita mittaamista. usage-objektin cached_tokens-kenttä, jota käsiteltiin edellisessä oppitunnissa, kertoo tarkasti, mitä haettiin välimuistista:
{
"usage": {
"prompt_tokens": 5000,
"cached_tokens": 4200,
"completion_tokens": 300
}
}
Tässä 4 200 tokenia 5 000:sta tulee välimuistista, mikä on 84 %:n aste; vain 800 tokenia laskutettiin normaalihinnalla. Tee tavaksi tarkistaa tämä suhde otoksessa todellisia pyyntöjä jokaisen käyttöönoton jälkeen: jos näet keskustelusovelluksessa nollan lähellä olevan aste, kehotteen alussa jotain vaihtelee, ja seuraava oppitunti näyttää sinulle, mitä se on.
Keskeiset asiat
- Välimuisti on automaattinen: konfiguraatiota ei tarvita
- Käytä
x-grok-conv-id-otsaketta UUID v4 -tunnisteella ryhmitelläksesi toisiinsa liittyvät pyynnöt usage-objektincached_tokens-kenttä ilmoittaa välimuistista haettujen tokenien määrän- Välimuistissa oleva syöte maksaa 5–7 kertaa vähemmän: 0,20 $/M grok-4.3:ssa, 0,30 $/M grok-4.5:ssä
- Mitä vakaampi kehotteesi on sekvenssin alussa, sitä korkeampi välimuistin käyttöaste on