Endpoint na tokenizáciu a nástroje
Na tejto strane
Počítaj tokeny pred odoslaním
Pred každým serióznym volaním API si musíš položiť tri otázky: Zmestí sa môj prompt do kontextového okna? Koľko to bude stáť? Kde mám dokument skrátiť, ak je príliš dlhý? Odpovede hľadané až po odoslaní – keď uvidíš chybu alebo dostaneš faktúru – ťa vždy vyjdú drahšie, než keď ich zistíš vopred. Grok API ponúka presne nástroj na tento účel: endpoint na tokenizáciu, ktorý je bezplatný a nezávislý od generovania odpovedí.
Endpoint /v1/tokenize-text
POST /v1/tokenize-text prijíma surový text a vracia zodpovedajúci počet tokenov. Kľúčová vlastnosť sa dá zhrnúť do jednej vety: na rozdiel od volania na dokončenie (completion) tento endpoint nespotrebúva žiadne spoplatnené tokeny. Len počíta; negeneruje.
curl -X POST "https://api.x.ai/v1/tokenize-text" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"text": "Your text to tokenize here."
}'
Odpoveď ti poskytne celkový počet tokenov a v závislosti od verzie aj rozpis jednotlivých tokenov. Z toho priamo vyplývajú tri spôsoby využitia. Po prvé, validácia: overíš si, že súčet systémového promptu, histórie a správy používateľa zostáva v rámci okna cieľového modelu – 1 milión tokenov pre grok-4.3 a 500 000 pre grok-4.5. Po druhé, odhad nákladov: výsledné číslo vynásobené sadzbou modelu ti dá cenu požiadavky skôr, než sa k nej zaväzuješ. Po tretie, orezanie: pri príliš veľkom dokumente ti tokenizácia ukáže, kde ho čisto skrátiť, namiesto toho, aby API zamietlo celú požiadavku.
Vizuálny nástroj v konzole
Na prototypovanie ponúka xAI vo svojej webovej konzole vizuálny tokenizér, kam vložíš text a okamžite uvidíš jeho rozpis. Je to vynikajúci vzdelávací nástroj – použij ho aspoň raz pred tým, než navrhneš svoje šablóny promptov.
Urobíš tam tri užitočné pozorovania. Francúzština vytvára výrazne viac tokenov ako angličtina pre semanticky identický obsah, čo priamo ovplyvňuje náklady aplikácie vo francúzštine. Zdrojový kód sa rozdeľuje podľa inej logiky než prirodzený text. A interpunkcia alebo špeciálne znaky často zaberajú celý token samy o sebe, čo vysvetľuje, prečo je odosielanie rozvláčného JSON prekvapivo drahé.
Kam zaradiť počítanie do pipeline
Stráž sa reflexu tokenizovať systematicky pred každým volaním: zdvojnásobíš počet sieťových požiadaviek a pridáš latenciu každej interakcii kvôli informáciám, ktoré často už poznáš. Presné počítanie si nechaj na prípady, kde je neistota reálna.
Pre všetko ostatné postačuje odhad. Počítaj približne 1,5 tokena na francúzske slovo, asi 0,3 tokena na znak kódu a 256 až 1 792 tokenov na obrázok v závislosti od jeho veľkosti. Tieto rády veľkostí aplikované na strane klienta ti umožnia lokálne odmietnuť prompt, ktorý je zjavne mimo rozsah, bez spotrebovania volania.
Endpoint si teda nechaj na tri situácie: prompty, ktorých veľkosť sa výrazne líši (typicky dokumenty od používateľov alebo úryvky získané systémom RAG); počiatočná kalibrácia tvojich šablón, keď raz a navždy stanovíš tokenový rozpočet pre každý stavebný blok; a ladenie, keď sa objaví chyba pretečenia kontextu a potrebuješ identifikovať, ktorý prvok spôsobil nafúknutie.
Vstavané nástroje, samostatná položka
Tokeny nie sú jediným zdrojom nákladov. Vstavané nástroje API sa účtujú za volanie, nezávisle od objemu vymeneného textu.
| Nástroj | Sadzba |
|---|---|
| Web Search | 5 $ za 1 000 volaní |
| X Search | 5 $ za 1 000 volaní |
| Code Execution | 5 $ za 1 000 volaní |
| File Attachments | 10 $ za 1 000 volaní |
| Collections Search | 2,50 $ za 1 000 volaní |
Prepočítaj si čísla na vlastnej premávke predtým, než nástroj zovšeobecníš. Aplikácia, ktorá spustí webové vyhľadávanie pri každej požiadavke, zaplatí 5 $ za tisíc interakcií len za nástroj, čo často prevyšuje náklady na tokeny spotrebované za rovnaké obdobie. Webové vyhľadávanie nie je zbytočné, ale malo by sa spúšťať podmienene, nie štandardne.
Kľúčové poznatky
- Endpoint
POST /v1/tokenize-textti umožňuje počítať tokeny bez účtovania - Webová konzola na tokenizáciu je užitočná na prototypovanie a pochopenie tokenizéra
- Nevolaj endpoint na tokenizáciu pri každej požiadavke v produkcii: používaj odhady
- Vstavané nástroje (Web Search, Code Execution atď.) majú dodatočné náklady za volanie
- Francúzština spotrebuje v priemere asi 1,5 tokena na slovo