Automatinis API podėlis
Šiame puslapyje
Podėlis kaip išlaidų mažinimo svert
Automatinis podėlis daro didžiausią įtaką tavo sąskaitai – tiek teigiama, tiek neigiama prasme. Daugelis tiekėjų reikalauja jį aiškiai deklaruoti užklausoje, pažymėti išsaugotinus blokus ir valdyti jų gyvavimo trukmę. „xAI“ pasirinko kitokį požiūrį: podėlis taikomas automatiškai visoms užklausoms be jokių parametrų ar anotacijų. Tau nereikia nieko aktyvuoti, tačiau suprasti, kas jį suaktyvina, yra labai naudinga, nes neteisingai sustruktūruota užuomina niekada neatneša naudos ir už visą savo įvestį tenka mokėti pilną kainą.
Kaip veikia podėlis
Podėlis veikia tik su įvesties tokenais: atsakymo generavimas visada apmokestinamas standartiniu tarifu. Kai tavo užuominos pradžia tiksliai atkartoja anksčiau apdorotos užuominos pradžią, identiška dalis pateikiama iš podėlio sumažintu tarifu, o standartinis tarifas taikomas tik naujai daliai.
Trys taikymo sritys iš to naudos gauna iškart. Pirma, pokalbis: sistemos užuomina ir visi ankstesni posūkiai nuo vieno kvietimo iki kito yra griežtai identiški, keičiasi tik paskutinis klausimas, todėl pokalbiui ilgėjant podėlio naudojimo rodiklis natūraliai kyla. Antra, fiksuoto konteksto užuomina – sutartis, techninis vadovas ar produkto saugykla, po kurios eina kintamas klausimas – nuo antrojo kvietimo dokumento blokas jau saugomas podėlyje. Galiausiai, RAG grandinėje sistemos instrukcijos lieka pastovios; kinta tik gautas kontekstas, ir jei jį patalpinsi po instrukcijomis, priešdėlis išliks tinkamas podėliui.
„xAI“ kainodaroje skirtumas yra didelis. Naudojant „grok-4.3“ ir „grok-4.20-0309“, vienas milijonas podėlyje esančių įvesties tokenų kainuoja 0,20 USD, o standartiniu tarifu – 1,25 USD. Naudojant „grok-4.5“, tas pats milijonas kainuoja 0,30 USD vietoj 2,00 USD. Kitaip tariant, stabilus 5 000 tokenų priešdėlis, per dieną panaudojamas tūkstantį kartų, kainuos penkis–septynis kartus mažiau nei užuomina, kurią tenka kurti iš naujo kiekvieno kvietimo metu – gaunant visiškai identiško rezultatą.
Antraštė x-grok-conv-id
Kad infrastruktūra galėtų susieti tarpusavyje susijusias užklausas, API priima specialią antraštę:
curl -X POST "https://api.x.ai/v1/chat/completions" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.20",
"messages": [...]
}'
Antraštė x-grok-conv-id tikisi UUID v4 formato. Naudojimo taisyklė paprasta: vienam pokalbiui arba apdorojimo srautui skirtas vienas identifikatorius, naudojamas visiems tam srautui priklausančiams kvietimams. Tai signalizuoja, kad šios užklausos yra susijusios, todėl didėja podėlio pakartotinio naudojimo tikimybė. Dažna klaida – generuoti UUID kiekvieno kvietimo metu, o ne sesijos atidarymo metu; tuomet kiekvienas posūkis gauna skirtingą identifikatorių ir nauda išgaruoja. Sugeneruok jį vieną kartą ir saugok kartu su pokalbio būsena:
import uuid
# Vienas UUID vienam pokalbiui
conv_id = str(uuid.uuid4())
# Tas pats UUID naudojamas visiems pokalbio posūkiams
headers = {
"Authorization": f"Bearer {api_key}",
"x-grok-conv-id": conv_id,
"Content-Type": "application/json"
}
Podėlio efektyvumo tikrinimas
Niekas neprilygsta matavimams. usage objekte esantis laukas cached_tokens, apie kurį kalbėjome ankstesnėje pamokoje, tiksliai nurodo, kas buvo pateikta iš podėlio:
{
"usage": {
"prompt_tokens": 5000,
"cached_tokens": 4200,
"completion_tokens": 300
}
}
Čia 4 200 tokenų iš 5 000 gaunami iš podėlio, tai sudaro 84 %; tik 800 tokenų buvo apmokestinti standartiniu tarifu. Įprask po kiekvieno diegimo patikrinti šį santykį realių užklausų imtyje: jei pokalbių programoje matai rodiklį, artimą nuliui, vadinasi, užuominos pradžioje kažkas kinta, o kitame pamokoje pamatysi, kas būtent.
Svarbiausi punktai
- Podėlis yra automatinis: konfigūracija nereikalinga
- Naudok antraštę
x-grok-conv-idsu UUID v4, kad sugrupuotum susijusias užklausas - Laukas
cached_tokensobjekteusagenurodo iš podėlio pateiktų tokenų skaičių - Podėlyje esanti įvestis kainuoja 5–7 kartus mažiau: 0,20 USD už 1 mln. tokenų („grok-4.3“), 0,30 USD („grok-4.5“)
- Kuo stabilesnė tavo užuominos sekvencijos pradžia, tuo didesnis bus podėlio naudojimo rodiklis