Tokeniseerimise lõpp-punkt ja tööriistad
Sellel lehel
Loenda tokeneid enne saatmist
Enne iga tõsist API väljakutset kerkib kolm küsimust: kas minu sisend mahub kontekstiaknasse? Kui palju see maksab? Kust lõigata, kui dokument on liiga pikk? Nendele küsimustele vastamine alles pärast saatmist – kui näed veateadet või saad arve – maksab alati rohkem kui ettevalmistav hindamine. Grok API pakub selleks täpselt sobivat tööriista: tokeniseerimise lõpp-punkti, mis on tasuta ja sõltumatu teksti genereerimisest.
Lõpp-punkt /v1/tokenize-text
POST /v1/tokenize-text võtab vastu toorteksti ja tagastab vastava tokenite arvu. Peamine eelis seisneb ühes lauses: erinevalt teksti genereerimise kutsest ei tarbi see lõpp-punkt ühtegi tasulist tokenit. See ainult loendab, mitte ei loo.
curl -X POST "https://api.x.ai/v1/tokenize-text" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"text": "Your text to tokenize here."
}'
Vastus annab sulle tokenite koguarvu ja sõltuvalt versioonist ka üksikute tokenite jaotuse. Sellest tulenevad otseselt kolm kasutusviisi. Esiteks valideerimine: kontrollid, et süsteemisisendi, vestlusajaloo ja kasutaja sõnumi summa jääb sihtmudeli akna piiridesse – 1 miljon tokenit mudelil grok-4.3 ja 500 000 mudelil grok-4.5. Teiseks kulude hindamine: korrutades saadud arvu mudeli hinnaga, tead päringu hinda enne kohustuse võtmist. Kolmandaks kärpimine: liiga suure dokumendi puhul näitab tokeniseerimine, kust seda puhtalt lõigata, selle asemel et lasta API-l kogu päring tagasi lükata.
Konsooli visuaalne tööriist
Prototüüpimiseks pakub xAI oma veebikonsoolis visuaalset tokeniseerijat, kuhu saad teksti kleepida ja kohe selle jaotust näha. See on suurepärane õppevahend – kasuta seda vähemalt korra enne oma sisendimallide kavandamist.
Seal teed kolm kasulikku tähelepanekut. Prantsuse keel genereerib semantiliselt identse sisu puhul oluliselt rohkem tokeneid kui inglise keel, mis mõjutab otseselt prantsuskeelse rakenduse kulu. Lähtekood jaotatakse teise loogika järgi kui loomulik tekst. Ja kirjavahemärgid või erimärgid hõivavad sageli üksi terve tokeni, mis seletab, miks mahuka JSON-i edastamine üllatavalt palju maksab.
Kuhu paigutada loendamine töövoogu
Hoia end tagasi refleksist tokeniseerida süstemaatiliselt enne iga väljakutset: sellega kahekordistad võrgupäringute arvu ja lisad latentsust igale interaktsioonile info eest, mida sageli juba tead. Jäta täpne loendamine juhtudeks, kus ebakindlus on reaalne.
Kõige muu jaoks piisab hinnangust. Arvesta ligikaudu 1,5 tokenit prantsuskeelse sõna kohta, umbes 0,3 tokenit koodimärgi kohta ja 256 kuni 1792 tokenit pildi kohta sõltuvalt selle suurusest. Need suurusjärgud, mida rakendad kliendipoolselt, võimaldavad sul lokaalselt tagasi lükata ilmselgelt piiridest väljuva sisendi, kulutamata ühtegi API väljakutset.
Kasuta lõpp-punkti siis kolmes olukorras: sisendid, mille suurus varieerub laialdaselt (tavaliselt kasutaja pakutavad dokumendid või RAG-süsteemi toodud väljavõtted); sinu mallide esmane kalibreerimine, kui kehtestad üks kord ja lõplikult iga ehitusploki tokenite eelarve; ja silumine, kui ilmneb konteksti ületamise viga ja pead tuvastama, milline element põhjustas paisumist.
Sisseehitatud tööriistad kui eraldi kulukategooria
Tokenid ei ole ainus kuluallikas. API sisseehitatud tööriistade eest tasutakse iga väljakutse eest eraldi, sõltumata vahetatud teksti mahust.
| Tööriist | Hind |
|---|---|
| Veebiotsing | 5 $ 1000 väljakutse kohta |
| X-i otsing | 5 $ 1000 väljakutse kohta |
| Koodi käivitamine | 5 $ 1000 väljakutse kohta |
| Failide lisamine | 10 $ 1000 väljakutse kohta |
| Kogude otsing | 2,50 $ 1000 väljakutse kohta |
Enne tööriista laialdast kasutuselevõttu tee oma liikluse põhjal arvutused. Rakendus, mis käivitab iga päringu korral veebiotsingu, maksab ainult tööriista eest 5 $ tuhande interaktsiooni kohta, mis ületab sageli samal perioodil tarbitud tokenite kulu. Veebiotsing pole üleliigne, kuid seda tuleks käivitada tingimuslikult, mitte vaikimisi.
Peamised punktid
- Lõpp-punkt
POST /v1/tokenize-textvõimaldab tokeneid loendada ilma tasu nõudmata - Veebipõhine tokeniseerimise konsool on kasulik prototüüpimiseks ja tokeniseerija mõistmiseks
- Ära kutsu tootmises iga päringu korral tokeniseerimise lõpp-punkti: kasuta hinnanguid
- Sisseehitatud tööriistadel (Veebiotsing, Koodi käivitamine jne) on iga väljakutse kohta lisakulu
- Prantsuse keel tarbib keskmiselt umbes 1,5 tokenit sõna kohta