Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Končna točka za tokenizacijo in orodja

Lekcija 6 od 14 Posodobljeno 29. julij 2026 Napredni
Na tej strani
  1. Preštej žetone pred pošiljanjem
  2. Končna točka /v1/tokenize-text
  3. Vizualno orodje v konzoli
  4. Kam umestiti štetje v cevovod
  5. Vgrajena orodja, ločena postavka
  6. Ključne ugotovitve

Preštej žetone pred pošiljanjem

Pred vsakim resnim klicem API-ja se pojavijo tri vprašanja: Ali se moj poziv prilega oknu konteksta? Koliko bo stal? Kje ga skrajšati, če je dokument predolg? Odgovarjanje na ta vprašanja šele po pošiljanju – ko prejmeš napako ali račun – je vedno dražje kot odgovarjanje vnaprej. API Grok ponuja ravno pravo orodje za to: končno točko za tokenizacijo, ki je brezplačna in ločena od generiranja besedila.

Končna točka /v1/tokenize-text

POST /v1/tokenize-text sprejme surovo besedilo in vrne ustrezno število žetonov. Ključna lastnost se skriva v enem stavku: za razliko od klica za dopolnjevanje (completion) ta končna točka ne porabi zaračunanih žetonov. Samo šteje; ne generira.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Your text to tokenize here."
  }'

Odgovor ti poda skupno število žetonov in, odvisno od različice, razčlenitev posameznih žetonov. Iz tega neposredno izhajajo tri uporabe. Prvič, validacija: preveriš, ali vsota sistemskega poziva, zgodovine in uporabnikovega sporočila ostane znotraj okna ciljnega modela – 1 milijon žetonov pri grok-4.3 in 500.000 pri grok-4.5. Drugič, ocena stroškov: dobljeno število, pomnoženo s tarifo modela, ti da ceno zahteve, preden se zavežeš. Tretjič, obrezovanje: pri prevelikem dokumentu ti tokenizacija pokaže, kje ga čisto odrezati, namesto da bi API zavrgel celotno vsebino.

Vizualno orodje v konzoli

Za prototipiranje xAI ponuja vizualni tokenizator v svoji spletni konzoli, kamor prilepiš besedilo in takoj vidiš njegovo razčlenitev. To je odlično učno orodje – uporabi ga vsaj enkrat, preden oblikuješ svoje predloge za pozive.

Tam boš prišel do treh koristnih spoznanj. Slovenščina (in drugi jeziki razen angleščine) proizvede bistveno več žetonov kot angleščina za semantično enako vsebino, kar neposredno vpliva na stroške aplikacije v slovenščini. Izvorna koda je razdeljena po drugačni logiki kot naravno besedilo. Ločila ali posebni znaki pogosto zasedajo cel žeton sami zase, kar pojasnjuje, zakaj je pošiljanje obsežnega JSON-a presenetljivo drago.

Kam umestiti štetje v cevovod

Pazi se refleksa sistematične tokenizacije pred vsakim klicem: podvojiš število omrežnih zahtev in dodaš zakasnitev vsaki interakciji zaradi informacij, ki jih pogosto že poznaš. Natančno štetje prihrani za primere, ko je negotovost realna.

Za vse ostalo zadostuje ocena. Računaj približno 1,5 žetona na slovensko besedo, približno 0,3 žetona na znak kode in od 256 do 1.792 žetonov na sliko, odvisno od njene velikosti. Ti redi velikosti, uporabljeni na strani odjemalca, ti omogočajo, da lokalno zavrneš poziv, ki je očitno izven meja, ne da bi porabil klic.

Končno točko torej uporabi v treh situacijah: pri pozivih, katerih velikost močno variira (običajno dokumenti, ki jih priskrbi uporabnik, ali izseki, ki jih pridobi sistem RAG); pri začetni kalibraciji tvojih predlog, ko enkrat za vselej določiš proračun žetonov za vsak gradnik; in pri odpravljanju napak, ko se pojavi napaka zaradi prekoračitve konteksta in moraš ugotoviti, kateri element je povzročil napihnjenost.

Vgrajena orodja, ločena postavka

Žetoni niso edini vir stroškov. Vgrajena orodja API-ja se zaračunavajo na klic, neodvisno od količine izmenjanega besedila.

OrodjeTarifa
Web Search5 $ na 1.000 klicev
X Search5 $ na 1.000 klicev
Code Execution5 $ na 1.000 klicev
File Attachments10 $ na 1.000 klicev
Collections Search2,50 $ na 1.000 klicev

Preden posplošiš uporabo orodja, izračunaj številke za svoj promet. Aplikacija, ki sproži spletno iskanje ob vsaki zahtevi, plača 5 $ na tisoč interakcij samo za orodje, kar pogosto preseže strošek žetonov, porabljenih v istem obdobju. Spletno iskanje ni odveč, vendar naj se sproži pogojno, ne pa privzeto.

Ključne ugotovitve

  • Končna točka POST /v1/tokenize-text ti omogoča štetje žetonov brez zaračunavanja
  • Spletna konzola za tokenizacijo je uporabna za prototipiranje in razumevanje tokenizatorja
  • Končne točke za tokenizacijo ne kliči ob vsaki zahtevi v proizvodnem okolju: uporabi ocene
  • Vgrajena orodja (Web Search, Code Execution itd.) imajo dodatne stroške na klic
  • Slovenščina porabi povprečno približno 1,5 žetona na besedo