„Tokenize“ galinis taškas ir įrankiai
Šiame puslapyje
Suskaičiuok tokenus prieš siųsdamas
Prieš kiekvieną rimtą API užklausą kyla trys klausimai: ar mano užklausa telpa į konteksto langą? Kiek tai kainuos? Kur reikia trumpinti, jei dokumentas per ilgas? Atsakyti į juos po siuntimo – kai gauni klaidą arba sąskaitą – visada kainuoja brangiau nei tai padaryti iš anksto. Grok API tam turi būtent tinkamą įrankį: nemokamą tokenizavimo galinį tašką, atskirtą nuo užbaigimo (completion) užklausų.
/v1/tokenize-text galinis taškas
POST /v1/tokenize-text priima žalią tekstą ir grąžina atitinkamą tokenų skaičių. Pagrindinė šio galinio taško savybė telpa į vieną sakinį: skirtingai nei užbaigimo užklausa, šis galinis taškas nesunaudoja apmokestinamų tokenų. Jis tik skaičiuoja, bet negeneruoja.
curl -X POST "https://api.x.ai/v1/tokenize-text" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"text": "Your text to tokenize here."
}'
Atsakyme gausi bendrą tokenų skaičių ir, priklausomai nuo versijos, individualių tokenų suskirstymą. Iš to tiesiogiai išplaukia trys naudojimo būdai. Pirma, validavimas: patikrini, ar sistemos užuomazdos, istorijos ir naudotojo žinutės suma neviršija tikslinio modelio lango ribos – 1 milijonas tokenų modeliui grok-4.3 ir 500 000 modeliui grok-4.5. Antra, kainos įvertinimas: gautą skaičių padauginus iš modelio įkainio, sužinai užklausos kainą prieš ją patvirtindamas. Trečia, trumpinimas: per dideliam dokumentui tokenizacija parodo, kur jį galima švariai nukirpti, užuot leisdamas API visiškai atmesti visą užklausą.
Konsolės vizualusis įrankis
Prototipų kūrimui xAI savo žiniatinklio konsolėje siūlo vizualų tokenizatorių, kuriame įklijuoji tekstą ir iškart matai jo suskirstymą. Tai puiki mokymosi priemonė – panaudok ją bent kartą prieš kurdamas savo užklausų šablonus.
Ten pastebėsi tris naudingus dalykus. Prancūzų kalba semantiškai identiškam turiniui sugeneruoja žymiai daugiau tokenų nei anglų kalba, o tai tiesiogiai veikia prancūziškos programos kainą. Programinis kodas skaidomas pagal kitokią logiką nei natūrali kalba. Be to, skyrybos ženklai ar specialieji simboliai dažnai užima visą tokeną vieni, kas paaiškina, kodėl išsamūs JSON duomenys perduoti kainuoja stebėtinai daug.
Kur įtraukti skaičiavimą į duomenų srautą
Saugokis refleksinio tokenizavimo prieš kiekvieną užklausą: taip padvigubini tinklo užklausų skaičių ir pridėsi delsos kiekvienai sąveikai dėl informacijos, kurią dažnai jau žinai. Tikslų skaičiavimą palik tik tiems atvejams, kai neaiškumas yra realus.
Visais kitais atvejais pakanka įverčio. Skaičiuok apytiksliai 1,5 tokeno vienam prancūziškam žodžiui, apie 0,3 tokeno vienam kodo simboliui ir nuo 256 iki 1 792 tokenų vienam paveikslėliui, priklausomai nuo jo dydžio. Šios eilės, taikomos kliento pusėje, leidžia vietoje atmesti akivaizdžiai per didelę užklausą nesunaudodamas užklausos kvotos.
Todėl galinį tašką naudok tik trimis situacijomis: užklausoms, kurių dydis labai svyruoja (paprastai tai naudotojo pateikti dokumentai arba RAG sistemos gauti ištraukos); pradinei šablonų kalibracijai, kai vieną kartą visiems laikams nustatai tokenų biudžetą kiekvienam statybiniam blokui; ir derinimui (debugging), kai atsiranda konteksto perpildymo klaida ir reikia nustatyti, kuris elementas sukėlė patinimą.
Integruoti įrankiai – atskira išlaidų eilutė
Tokenai nėra vienintelė kainos šaltinis. Integruoti API įrankiai apmokestinami už kiekvieną iškvietimą, nepriklausomai nuo keičiamo teksto apimties.
| Įrankis | Įkainis |
|---|---|
| Web Search | 5 USD už 1 000 iškvietimų |
| X Search | 5 USD už 1 000 iškvietimų |
| Code Execution | 5 USD už 1 000 iškvietimų |
| File Attachments | 10 USD už 1 000 iškvietimų |
| Collections Search | 2,50 USD už 1 000 iškvietimų |
Prieš diegdami įrankį masiškai, atlikite skaičiavimus su savo srautu. Programa, kuri kiekvienai užklausai inicijuoja web paiešką, vien tik už įrankį sumoka 5 USD už tūkstantį sąveikų, o tai dažnai viršija tuo pačiu laikotarpiu sunaudotų tokenų kainą. Web paieška nėra nereikalinga, tačiau ji turėtų būti inicijuojama esant sąlygai, o ne pagal nutylėjimą.
Svarbiausi punktai
POST /v1/tokenize-textgalinis taškas leidžia skaičiuoti tokenus be apmokestinimo- Žiniatinklio tokenizavimo konsolė naudinga kuriant prototipus ir suprastant tokenizatorių
- Gamyboje nekvesk tokenizavimo galinio taško kiekvienai užklausai: naudok įverčius
- Integruoti įrankiai (Web Search, Code Execution ir kt.) turi papildomų išlaidų už kiekvieną iškvietimą
- Prancūzų kalba vidutiniškai sunaudoja apie 1,5 tokeno vienam žodžiui