Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Endpoint pro tokenizaci a nástroje

Lekce 6 z 14 Aktualizováno 29. července 2026 Pokročilý
Na této stránce
  1. Počítej tokeny před odesláním
  2. Endpoint /v1/tokenize-text
  3. Vizuální nástroj v konzoli
  4. Kam umístit počítání do pipeline
  5. Vestavěné nástroje, samostatná položka
  6. Klíčové poznatky

Počítej tokeny před odesláním

Před každým vážným voláním API vyvstanou tři otázky: Vejde se můj prompt do kontextového okna? Kolik to bude stát? Kde dokument zkrátit, pokud je příliš dlouhý? Odpovídat na ně až po odeslání – když uvidíš chybu nebo dostaneš fakturu – stojí vždy víc než odpovědět předem. Grok API nabízí přesně nástroj pro tento účel: endpoint pro tokenizaci, který je zdarma a oddělený od generování odpovědí.

Endpoint /v1/tokenize-text

POST /v1/tokenize-text přijme surový text a vrátí odpovídající počet tokenů. Klíčová vlastnost se vejde do jedné věty: na rozdíl od volání pro dokončení tento endpoint nespotřebovává žádné zpoplatněné tokeny. Pouze počítá; negeneruje.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Your text to tokenize here."
  }'

Odpověď ti poskytne celkový počet tokenů a v závislosti na verzi i rozpis jednotlivých tokenů. Z toho přímo vyplývají tři využití. Zaprvé validace: ověříš, že součet systémového promptu, historie a uživatelské zprávy zůstává v rámci okna cílového modelu – 1 milion tokenů u grok-4.3 a 500 000 u grok-4.5. Zadruhé odhad nákladů: výsledné číslo vynásobené sazbou modelu ti dá cenu požadavku ještě před jeho odesláním. Zatřetí zkracování: u příliš velkého dokumentu ti tokenizace ukáže, kde čistě uříznout, místo aby API celý požadavek zamítlo.

Vizuální nástroj v konzoli

Pro prototypování nabízí xAI ve své webové konzoli vizuální tokenizér, kam vložíš text a okamžitě uvidíš jeho rozklad. Je to vynikající vzdělávací nástroj – použij ho alespoň jednou, než navrhneš šablony svých promptů.

Uděláš tam tři užitečná pozorování. Francouzština vytváří výrazně více tokenů než angličtina pro sémanticky totožný obsah, což přímo ovlivňuje náklady aplikace ve francouzštině. Zdrojový kód se dělí podle jiné logiky než přirozený text. A interpunkce či speciální znaky často zabírají celý token samy o sobě, což vysvětluje, proč verbose JSON překvapivě hodně stojí na přenosu.

Kam umístit počítání do pipeline

Dej si pozor na reflex tokenizovat systematicky před každým voláním: zdvojnásobíš počet síťových požadavků a přidáš latenci každé interakci kvůli informacím, které často už znáš. Přesné počítání si rezervuj pro případy, kdy je nejistota reálná.

Pro všechno ostatní stačí odhad. Počítej zhruba 1,5 tokenu na francouzské slovo, asi 0,3 tokenu na znak kódu a 256 až 1 792 tokenů na obrázek v závislosti na jeho velikosti. Tyto řády velikosti aplikované na straně klienta ti umožní lokálně odmítnout prompt, který je zjevně mimo limity, aniž bys spotřeboval volání.

Endpoint si tedy nech pro tři situace: pro prompty, jejichž velikost se výrazně mění (typicky dokumenty od uživatelů nebo úryvky získané systémem RAG); pro počáteční kalibraci šablon, kdy jednou provždy stanovíš tokenový rozpočet pro každý stavební blok; a pro ladění, když se objeví chyba přetečení kontextu a potřebuješ identifikovat, který prvek způsobil nafouknutí.

Vestavěné nástroje, samostatná položka

Tokeny nejsou jediným zdrojem nákladů. Vestavěné nástroje API se účtují za volání, nezávisle na objemu vyměněného textu.

NástrojSazba
Web Search5 $ za 1 000 volání
X Search5 $ za 1 000 volání
Code Execution5 $ za 1 000 volání
File Attachments10 $ za 1 000 volání
Collections Search2,50 $ za 1 000 volání

Před generalizací nástroje si spočítej čísla pro svůj vlastní provoz. Aplikace, která spustí webové vyhledávání při každém požadavku, platí 5 $ za tisíc interakcí pouze za nástroj, což často převyšuje náklady na tokeny spotřebované za stejné období. Webové vyhledávání není zbytečné, ale mělo by se spouštět podmíněně, nikoliv implicitně.

Klíčové poznatky

  • Endpoint POST /v1/tokenize-text umožňuje počítat tokeny bez zpoplatnění
  • Webová konzole pro tokenizaci je užitečná pro prototypování a pochopení tokenizéru
  • Nevolej endpoint pro tokenizaci u každého požadavku v produkci: používej odhady
  • Vestavěné nástroje (Web Search, Code Execution atd.) mají další náklady za volání
  • Francouzština spotřebuje v průměru asi 1,5 tokenu na slovo