Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Tokeniseerimise lõpp-punkt ja tööriistad

Õppetund 6 / 14 Värskendatud 29. juuli 2026 Edasijõudnutele
Sellel lehel
  1. Loenda tokeneid enne saatmist
  2. Lõpp-punkt /v1/tokenize-text
  3. Konsooli visuaalne tööriist
  4. Kuhu paigutada loendamine töövoogu
  5. Sisseehitatud tööriistad kui eraldi kulukategooria
  6. Peamised punktid

Loenda tokeneid enne saatmist

Enne iga tõsist API väljakutset kerkib kolm küsimust: kas minu sisend mahub kontekstiaknasse? Kui palju see maksab? Kust lõigata, kui dokument on liiga pikk? Nendele küsimustele vastamine alles pärast saatmist – kui näed veateadet või saad arve – maksab alati rohkem kui ettevalmistav hindamine. Grok API pakub selleks täpselt sobivat tööriista: tokeniseerimise lõpp-punkti, mis on tasuta ja sõltumatu teksti genereerimisest.

Lõpp-punkt /v1/tokenize-text

POST /v1/tokenize-text võtab vastu toorteksti ja tagastab vastava tokenite arvu. Peamine eelis seisneb ühes lauses: erinevalt teksti genereerimise kutsest ei tarbi see lõpp-punkt ühtegi tasulist tokenit. See ainult loendab, mitte ei loo.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Your text to tokenize here."
  }'

Vastus annab sulle tokenite koguarvu ja sõltuvalt versioonist ka üksikute tokenite jaotuse. Sellest tulenevad otseselt kolm kasutusviisi. Esiteks valideerimine: kontrollid, et süsteemisisendi, vestlusajaloo ja kasutaja sõnumi summa jääb sihtmudeli akna piiridesse – 1 miljon tokenit mudelil grok-4.3 ja 500 000 mudelil grok-4.5. Teiseks kulude hindamine: korrutades saadud arvu mudeli hinnaga, tead päringu hinda enne kohustuse võtmist. Kolmandaks kärpimine: liiga suure dokumendi puhul näitab tokeniseerimine, kust seda puhtalt lõigata, selle asemel et lasta API-l kogu päring tagasi lükata.

Konsooli visuaalne tööriist

Prototüüpimiseks pakub xAI oma veebikonsoolis visuaalset tokeniseerijat, kuhu saad teksti kleepida ja kohe selle jaotust näha. See on suurepärane õppevahend – kasuta seda vähemalt korra enne oma sisendimallide kavandamist.

Seal teed kolm kasulikku tähelepanekut. Prantsuse keel genereerib semantiliselt identse sisu puhul oluliselt rohkem tokeneid kui inglise keel, mis mõjutab otseselt prantsuskeelse rakenduse kulu. Lähtekood jaotatakse teise loogika järgi kui loomulik tekst. Ja kirjavahemärgid või erimärgid hõivavad sageli üksi terve tokeni, mis seletab, miks mahuka JSON-i edastamine üllatavalt palju maksab.

Kuhu paigutada loendamine töövoogu

Hoia end tagasi refleksist tokeniseerida süstemaatiliselt enne iga väljakutset: sellega kahekordistad võrgupäringute arvu ja lisad latentsust igale interaktsioonile info eest, mida sageli juba tead. Jäta täpne loendamine juhtudeks, kus ebakindlus on reaalne.

Kõige muu jaoks piisab hinnangust. Arvesta ligikaudu 1,5 tokenit prantsuskeelse sõna kohta, umbes 0,3 tokenit koodimärgi kohta ja 256 kuni 1792 tokenit pildi kohta sõltuvalt selle suurusest. Need suurusjärgud, mida rakendad kliendipoolselt, võimaldavad sul lokaalselt tagasi lükata ilmselgelt piiridest väljuva sisendi, kulutamata ühtegi API väljakutset.

Kasuta lõpp-punkti siis kolmes olukorras: sisendid, mille suurus varieerub laialdaselt (tavaliselt kasutaja pakutavad dokumendid või RAG-süsteemi toodud väljavõtted); sinu mallide esmane kalibreerimine, kui kehtestad üks kord ja lõplikult iga ehitusploki tokenite eelarve; ja silumine, kui ilmneb konteksti ületamise viga ja pead tuvastama, milline element põhjustas paisumist.

Sisseehitatud tööriistad kui eraldi kulukategooria

Tokenid ei ole ainus kuluallikas. API sisseehitatud tööriistade eest tasutakse iga väljakutse eest eraldi, sõltumata vahetatud teksti mahust.

TööriistHind
Veebiotsing5 $ 1000 väljakutse kohta
X-i otsing5 $ 1000 väljakutse kohta
Koodi käivitamine5 $ 1000 väljakutse kohta
Failide lisamine10 $ 1000 väljakutse kohta
Kogude otsing2,50 $ 1000 väljakutse kohta

Enne tööriista laialdast kasutuselevõttu tee oma liikluse põhjal arvutused. Rakendus, mis käivitab iga päringu korral veebiotsingu, maksab ainult tööriista eest 5 $ tuhande interaktsiooni kohta, mis ületab sageli samal perioodil tarbitud tokenite kulu. Veebiotsing pole üleliigne, kuid seda tuleks käivitada tingimuslikult, mitte vaikimisi.

Peamised punktid

  • Lõpp-punkt POST /v1/tokenize-text võimaldab tokeneid loendada ilma tasu nõudmata
  • Veebipõhine tokeniseerimise konsool on kasulik prototüüpimiseks ja tokeniseerija mõistmiseks
  • Ära kutsu tootmises iga päringu korral tokeniseerimise lõpp-punkti: kasuta hinnanguid
  • Sisseehitatud tööriistadel (Veebiotsing, Koodi käivitamine jne) on iga väljakutse kohta lisakulu
  • Prantsuse keel tarbib keskmiselt umbes 1,5 tokenit sõna kohta