Galapunkts tokenizēšanai un rīki
Šajā lapā
Saskaiti tokenus pirms nosūtīšanas
Pirms katra nopietna API izsaukuma rodas trīs jautājumi: vai mans uzvednes (prompt) teksts ietilpst konteksta logā? Cik tas maksās? Kur griezt, ja dokuments ir pārāk garš? Atbildēšana uz šiem jautājumiem pēc nosūtīšanas – kad redzi kļūdu vai saņem rēķinu – vienmēr izmaksā dārgāk nekā atbildēšana iepriekš. Grok API piedāvā tieši šim nolūkam paredzētu rīku: tokenizācijas galapunktu, kas ir bezmaksas un neatkarīgs no teksta ģenerēšanas.
Galapunkts /v1/tokenize-text
POST /v1/tokenize-text pieņem neapstrādātu tekstu un atgriež atbilstošo tokenu skaitu. Galvenā iezīme izsakāma vienā teikumā: atšķirībā no ģenerēšanas izsaukuma, šis galapunkts nelieto apmaksājamos tokenus. Tas tikai saskaita; tas neģenerē.
curl -X POST "https://api.x.ai/v1/tokenize-text" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"text": "Your text to tokenize here."
}'
Atbilde sniedz kopējo tokenu skaitu un atkarībā no versijas arī atsevišķu tokenu sadalījumu. No tā tieši izriet trīs lietojumi. Pirmkārt, validācija: tu pārbaudi, vai sistēmas uzvednes, vēstures un lietotāja ziņojuma summa ietilpst mērķa modeļa logā – 1 miljons tokenų modelim grok-4.3 un 500 000 modelim grok-4.5. Otrkārt, izmaksu aprēķins: iegūto skaitli, reizinot ar modeļa tarifu, iegūsti pieprasījuma cenu pirms apstiprināšanas. Visbeidzot, saīsināšana: pārmērīgi liela dokumenta gadījumā tokenizācija parāda, kur tīri nogriezt, nevis ļaut API noraidīt visu lietu.
Konsolē pieejamais vizuālais rīks
Prototipēšanai xAI piedāvā vizuālu tokenizētāju savā tīmekļa konsolē, kur ielīmē tekstu un uzreiz redzi tā sadalījumu. Tas ir lielisks mācību rīks – izmanto to vismaz vienu reizi pirms savu uzvedņu veidņu izstrādes.
Tur tu izdarīsi trīs noderīgus novērojumus. Franču valoda rada ievērojami vairāk tokenų nekā angļu valoda semantiski identiskam saturam, kas tieši ietekmē franču valodas lietotnes izmaksas. Pirmkods tiek sadalīts pēc citas loģikas nekā dabiskais teksts. Un interpunkcijas zīmes vai speciālās rakstzīmes bieži vien aizņem veselu tokenу pašas par sevi, kas izskaidro, kāpēc detalizēts JSON pārsteidzoši dārgi izmaksā pārraidē.
Kur izvietot skaitīšanu darbplūsmā
Sargies no refleksa sistemātiski tokenizēt pirms katra izsaukuma: tu dubulto tīkla pieprasījumu skaitu un palielini latentumu katrā mijiedarbībā, lai iegūtu informāciju, ko bieži vien jau zini. Precīzu skaitīšanu atstāj gadījumiem, kad nenoteiktība ir reāla.
Visam pārējam pietiek ar aplēsi. Rēķini aptuveni 1,5 tokenus uz vienu franču valodas vārdu, apmēram 0,3 tokenus uz vienu koda rakstzīmi un no 256 līdz 1792 tokeniem uz attēlu atkarībā no tā izmēra. Šie lieluma rādītāji, pielietoti klienta pusē, ļauj lokāli noraidīt uzvedni, kas acīmredzami pārsniedz robežas, neiztērējot nevienu izsaukumu.
Tādēļ saglabā galapunktu trim situācijām: uzvednēm, kuru izmērs ļoti svārstās (parasti lietotāja nodrošināti dokumenti vai fragmenti, ko atguvusi RAG sistēma); veidņu sākotnējai kalibrēšanai, kad vienreiz un uz visiem laikiem nosaki tokenų budžetu katram būvblokam; un atkļūdošanai, kad parādās konteksta pārpildes kļūda un tev jāidentificē, kurš elements izraisījis apjoma pieaugumu.
Iebūvētie rīki – atsevišķa izmaksu pozīcija
Tokeni nav vienīgais izmaksu avots. API iebūvētie rīki tiek apmaksāti par katru izsaukumu neatkarīgi no apmainītā teksta apjoma.
| Rīks | Tarifs |
|---|---|
| Web Search | 5 USD par 1000 izsaukumiem |
| X Search | 5 USD par 1000 izsaukumiem |
| Code Execution | 5 USD par 1000 izsaukumiem |
| File Attachments | 10 USD par 1000 izsaukumiem |
| Collections Search | 2,50 USD par 1000 izsaukumiem |
Veic aprēķinus par savu satiksmi pirms kāda rīka vispārīgas ieviešanas. Lietotne, kas katrā pieprasījumā aktivizē tīmekļa meklēšanu, maksā 5 USD par tūkstoš mijiedarbībām tikai par rīku, kas bieži pārsniedz tajā pašā periodā patērēto tokenų izmaksas. Tīmekļa meklēšana nav lieka, taču tai jāaktivizējas nosacīti, nevis pēc noklusējuma.
Galvenās atziņas
- Galapunkts
POST /v1/tokenize-textļauj saskaitīt tokenus bez apmaksas - Tīmekļa tokenizācijas konsole ir noderīga prototipēšanai un tokenizētāja izpratnei
- Neizsauc tokenizācijas galapunktu katrā pieprasījumā ražošanas vidē: izmanto aplēses
- Iebūvētajiem rīkiem (Web Search, Code Execution u.c.) ir papildu izmaksas par katru izsaukumu
- Franču valoda vidēji patērē aptuveni 1,5 tokenus uz vārdu