Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

„Tokenize“ galinis taškas ir įrankiai

Paskaita 6 iš 14 Atnaujinta 2026 m. liepos 29 d. Pažengusiems
Šiame puslapyje
  1. Suskaičiuok tokenus prieš siųsdamas
  2. /v1/tokenize-text galinis taškas
  3. Konsolės vizualusis įrankis
  4. Kur įtraukti skaičiavimą į duomenų srautą
  5. Integruoti įrankiai – atskira išlaidų eilutė
  6. Svarbiausi punktai

Suskaičiuok tokenus prieš siųsdamas

Prieš kiekvieną rimtą API užklausą kyla trys klausimai: ar mano užklausa telpa į konteksto langą? Kiek tai kainuos? Kur reikia trumpinti, jei dokumentas per ilgas? Atsakyti į juos po siuntimo – kai gauni klaidą arba sąskaitą – visada kainuoja brangiau nei tai padaryti iš anksto. Grok API tam turi būtent tinkamą įrankį: nemokamą tokenizavimo galinį tašką, atskirtą nuo užbaigimo (completion) užklausų.

/v1/tokenize-text galinis taškas

POST /v1/tokenize-text priima žalią tekstą ir grąžina atitinkamą tokenų skaičių. Pagrindinė šio galinio taško savybė telpa į vieną sakinį: skirtingai nei užbaigimo užklausa, šis galinis taškas nesunaudoja apmokestinamų tokenų. Jis tik skaičiuoja, bet negeneruoja.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Your text to tokenize here."
  }'

Atsakyme gausi bendrą tokenų skaičių ir, priklausomai nuo versijos, individualių tokenų suskirstymą. Iš to tiesiogiai išplaukia trys naudojimo būdai. Pirma, validavimas: patikrini, ar sistemos užuomazdos, istorijos ir naudotojo žinutės suma neviršija tikslinio modelio lango ribos – 1 milijonas tokenų modeliui grok-4.3 ir 500 000 modeliui grok-4.5. Antra, kainos įvertinimas: gautą skaičių padauginus iš modelio įkainio, sužinai užklausos kainą prieš ją patvirtindamas. Trečia, trumpinimas: per dideliam dokumentui tokenizacija parodo, kur jį galima švariai nukirpti, užuot leisdamas API visiškai atmesti visą užklausą.

Konsolės vizualusis įrankis

Prototipų kūrimui xAI savo žiniatinklio konsolėje siūlo vizualų tokenizatorių, kuriame įklijuoji tekstą ir iškart matai jo suskirstymą. Tai puiki mokymosi priemonė – panaudok ją bent kartą prieš kurdamas savo užklausų šablonus.

Ten pastebėsi tris naudingus dalykus. Prancūzų kalba semantiškai identiškam turiniui sugeneruoja žymiai daugiau tokenų nei anglų kalba, o tai tiesiogiai veikia prancūziškos programos kainą. Programinis kodas skaidomas pagal kitokią logiką nei natūrali kalba. Be to, skyrybos ženklai ar specialieji simboliai dažnai užima visą tokeną vieni, kas paaiškina, kodėl išsamūs JSON duomenys perduoti kainuoja stebėtinai daug.

Kur įtraukti skaičiavimą į duomenų srautą

Saugokis refleksinio tokenizavimo prieš kiekvieną užklausą: taip padvigubini tinklo užklausų skaičių ir pridėsi delsos kiekvienai sąveikai dėl informacijos, kurią dažnai jau žinai. Tikslų skaičiavimą palik tik tiems atvejams, kai neaiškumas yra realus.

Visais kitais atvejais pakanka įverčio. Skaičiuok apytiksliai 1,5 tokeno vienam prancūziškam žodžiui, apie 0,3 tokeno vienam kodo simboliui ir nuo 256 iki 1 792 tokenų vienam paveikslėliui, priklausomai nuo jo dydžio. Šios eilės, taikomos kliento pusėje, leidžia vietoje atmesti akivaizdžiai per didelę užklausą nesunaudodamas užklausos kvotos.

Todėl galinį tašką naudok tik trimis situacijomis: užklausoms, kurių dydis labai svyruoja (paprastai tai naudotojo pateikti dokumentai arba RAG sistemos gauti ištraukos); pradinei šablonų kalibracijai, kai vieną kartą visiems laikams nustatai tokenų biudžetą kiekvienam statybiniam blokui; ir derinimui (debugging), kai atsiranda konteksto perpildymo klaida ir reikia nustatyti, kuris elementas sukėlė patinimą.

Integruoti įrankiai – atskira išlaidų eilutė

Tokenai nėra vienintelė kainos šaltinis. Integruoti API įrankiai apmokestinami už kiekvieną iškvietimą, nepriklausomai nuo keičiamo teksto apimties.

ĮrankisĮkainis
Web Search5 USD už 1 000 iškvietimų
X Search5 USD už 1 000 iškvietimų
Code Execution5 USD už 1 000 iškvietimų
File Attachments10 USD už 1 000 iškvietimų
Collections Search2,50 USD už 1 000 iškvietimų

Prieš diegdami įrankį masiškai, atlikite skaičiavimus su savo srautu. Programa, kuri kiekvienai užklausai inicijuoja web paiešką, vien tik už įrankį sumoka 5 USD už tūkstantį sąveikų, o tai dažnai viršija tuo pačiu laikotarpiu sunaudotų tokenų kainą. Web paieška nėra nereikalinga, tačiau ji turėtų būti inicijuojama esant sąlygai, o ne pagal nutylėjimą.

Svarbiausi punktai

  • POST /v1/tokenize-text galinis taškas leidžia skaičiuoti tokenus be apmokestinimo
  • Žiniatinklio tokenizavimo konsolė naudinga kuriant prototipus ir suprastant tokenizatorių
  • Gamyboje nekvesk tokenizavimo galinio taško kiekvienai užklausai: naudok įverčius
  • Integruoti įrankiai (Web Search, Code Execution ir kt.) turi papildomų išlaidų už kiekvieną iškvietimą
  • Prancūzų kalba vidutiniškai sunaudoja apie 1,5 tokeno vienam žodžiui