Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Tokeniziraj krajnju točku i alate

Lekcija 6 od 14 Ažurirano 29. srpnja 2026. Napredno
Na ovoj stranici
  1. Broji tokene prije slanja
  2. Krajnja točka /v1/tokenize-text
  3. Vizualni alat u konzoli
  4. Gdje smjestiti brojanje u pipeline
  5. Ugrađeni alati, zasebna stavka
  6. Ključne točke

Broji tokene prije slanja

Prije svakog ozbiljnog poziva API-ju nameću se tri pitanja: Stane li moj upit u kontekstni prozor? Koliko će to koštati? Gdje odsjeći ako je dokument predugačak? Odgovaranje na ova pitanja nakon slanja—kada vidiš pogrešku ili primiš račun—uvijek košta više nego da si ih riješio unaprijed. Grok API nudi točno alat za to: krajnju točku za tokenizaciju, besplatnu i odvojenu od generiranja odgovora.

Krajnja točka /v1/tokenize-text

POST /v1/tokenize-text prima sirovi tekst i vraća odgovarajući broj tokena. Ključna značajka svodi se na jednu rečenicu: za razliku od poziva za generiranje, ova krajnja točka ne troši naplative tokene. Ona broji; ne generira.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Your text to tokenize here."
  }'

Odgovor ti daje ukupan broj tokena i, ovisno o verziji, raščlambu pojedinačnih tokena. Iz toga izravno proizlaze tri uporabe. Prvo, validacija: provjeravaš zbraja li zbroj sistemskog upita, povijesti i korisničke poruke unutar prozora ciljanog modela—1 milijun tokena na grok-4.3 i 500.000 na grok-4.5. Zatim, procjena troškova: rezultirajući broj, pomnožen cijenom modela, daje ti cijenu zahtjeva prije nego što se obvežeš. Konačno, skraćivanje: za prevelik dokument, tokenizacija ti pokazuje gdje čisto odsjeći umjesto da dopustiš da API odbije cijelu stvar.

Vizualni alat u konzoli

Za izradu prototipova, xAI nudi vizualni tokenizator u svojoj web konzoli gdje zalijepiš tekst i odmah vidiš njegovu raščlambu. To je izvrstan alat za učenje—upotrijebi ga barem jednom prije dizajniranja svojih predložaka upita.

Ondje ćeš napraviti tri korisna zapažanja. Francuski jezik proizvodi znatno više tokena od engleskog za semantički identičan sadržaj, što izravno utječe na trošak aplikacije na francuskom jeziku. Izvorni kod dijeli se prema drugačijoj logici od prirodnog teksta. A interpunkcija ili posebni znakovi često zauzimaju cijeli token sami za sebe, što objašnjava zašto opširni JSON iznenađujuće mnogo košta pri prijenosu.

Gdje smjestiti brojanje u pipeline

Čuvaj se refleksa da sustavno tokeniziraš prije svakog poziva: udvostručuješ broj mrežnih zahtjeva i dodaješ kašnjenje svakoj interakciji, za informacije koje često već znaš. Rezerviraj točno brojanje za slučajeve gdje je nesigurnost stvarna.

Za sve ostalo, procjena je dovoljna. Računaj otprilike 1,5 tokena po francuskoj riječi, oko 0,3 tokena po znaku koda i 256 do 1.792 tokena po slici, ovisno o njezinoj veličini. Ovi redovi veličine, primijenjeni na strani klijenta, omogućuju ti da lokalno odbiješ upit koji je očito izvan granica bez trošenja poziva.

Sačuvaj krajnju točku za tri situacije: upite čija se veličina jako mijenja, tipično dokumenti koje pruža korisnik ili isječci koje dohvaća RAG sustav; početnu kalibraciju tvojih predložaka, kada jednom zauvijek utvrđuješ proračun tokena za svaki gradivni blok; i otklanjanje pogrešaka, kada se pojavi pogreška prelaska konteksta i trebaš identificirati koji je element uzrokovao napuhavanje.

Ugrađeni alati, zasebna stavka

Tokeni nisu jedini izvor troškova. Ugrađeni alati API-ja naplaćuju se po pozivu, neovisno o volumenu razmijenjenog teksta.

AlatCijena
Web Search5 USD per 1.000 poziva
X Search5 USD per 1.000 poziva
Code Execution5 USD per 1.000 poziva
File Attachments10 USD per 1.000 poziva
Collections Search2,50 USD per 1.000 poziva

Izračunaj brojke za svoj vlastiti promet prije generalizacije alata. Aplikacija koja pokreće web pretragu na svaki zahtjev plaća 5 USD po tisuću interakcija samo za alat, što često premašuje trošak tokena potrošenih u istom razdoblju. Web pretraga nije suvišna, ali treba je pokrenuti uvjetno, a ne prema zadanim postavkama.

Ključne točke

  • Krajnja točka POST /v1/tokenize-text omogućuje brojanje tokena bez naplate
  • Web konzola za tokenizaciju korisna je za izradu prototipova i razumijevanje tokenizatora
  • Ne zovi krajnju točku za tokenizaciju na svaki zahtjev u proizvodnji: koristi procjene
  • Ugrađeni alati (Web Search, Code Execution itd.) imaju dodatne troškove po pozivu
  • Francuski jezik troši prosječno oko 1,5 tokena po riječi