Punkt końcowy tokenizacji i narzędzia
Na tej stronie
Licz tokeny przed wysłaniem
Przed każdym poważnym wywołaniem API nasuwają się trzy pytania: czy mój prompt mieści się w oknie kontekstowym? Ile to będzie kosztować? Gdzie uciąć, jeśli dokument jest za długi? Odpowiadanie na nie po wysłaniu – gdy zobaczysz błąd lub otrzymasz rachunek – zawsze kosztuje więcej niż przygotowanie się z wyprzedzeniem. API Grok udostępnia do tego dokładnie odpowiednie narzędzie: punkt końcowy tokenizacji, darmowy i niezależny od generowania odpowiedzi.
Punkt końcowy /v1/tokenize-text
POST /v1/tokenize-text przyjmuje surowy tekst i zwraca odpowiadającą mu liczbę tokenów. Kluczowa cecha sprowadza się do jednego zdania: w przeciwieństwie do wywołania generującego (completion), ten punkt końcowy nie zużywa tokenów objętych opłatami. On liczy, a nie generuje.
curl -X POST "https://api.x.ai/v1/tokenize-text" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"text": "Your text to tokenize here."
}'
Odpowiedź zawiera całkowitą liczbę tokenów oraz, w zależności od wersji, szczegółowy podział na poszczególne tokeny. Wynikają z tego trzy bezpośrednie zastosowania. Po pierwsze, walidacja: weryfikujesz, czy suma promptu systemowego, historii i wiadomości użytkownika mieści się w oknie docelowego modelu – 1 milion tokenów dla grok-4.3 i 500 000 dla grok-4.5. Po drugie, szacowanie kosztów: wynikowa liczba pomnożona przez stawkę modelu daje cenę żądania przed jego zatwierdzeniem. Po trzecie, skracanie: w przypadku zbyt dużego dokumentu tokenizacja pokazuje, gdzie czysto uciąć treść, zamiast pozwalać API na odrzucenie całości.
Wizualne narzędzie w konsoli
Do prototypowania xAI oferuje w swojej konsoli internetowej wizualny tokenizator, w którym wklejasz tekst i natychmiast widzisz jego podział. To doskonałe narzędzie edukacyjne – użyj go przynajmniej raz przed zaprojektowaniem swoich szablonów promptów.
Zauważysz tam trzy istotne rzeczy. Francuski generuje znacznie więcej tokenów niż angielski dla treści o identycznym znaczeniu, co bezpośrednio wpływa na koszt aplikacji w języku francuskim. Kod źródłowy jest dzielony według innej logiki niż tekst naturalny. Znaki interpunkcyjne lub specjalne często zajmują cały token samodzielnie, co wyjaśnia, dlaczego rozwlekły JSON kosztuje zaskakująco dużo przy transmisji.
Gdzie umieścić liczenie w potoku danych
Strzeż się odruchu systematycznej tokenizacji przed każdym wywołaniem: podwajasz liczbę żądań sieciowych i dodajesz opóźnienie do każdej interakcji, często dla informacji, które już znasz. Rezerwuj dokładne liczenie na przypadki, gdy niepewność jest rzeczywista.
W pozostałych sytuacjach wystarczy szacunek. Przyjmij około 1,5 tokena na francuskie słowo, około 0,3 tokena na znak kodu oraz od 256 do 1792 tokenów na obraz w zależności od jego rozmiaru. Te rzędy wielkości, zastosowane po stronie klienta, pozwalają lokalnie odrzucić prompt ewidentnie przekraczający limity bez zużywania wywołania API.
Zachowaj punkt końcowy dla trzech sytuacji: promptów, których rozmiar сильно się zmienia (typowo dokumenty dostarczone przez użytkownika lub fragmenty pobrane przez system RAG); wstępnej kalibracji szablonów, gdy raz na zawsze ustalasz budżet tokenów dla każdego bloku konstrukcyjnego; oraz debugowania, gdy pojawia się błąd przepełnienia kontekstu i musisz zidentyfikować element powodujący problem.
Wbudowane narzędzia, osobna pozycja kosztowa
Tokeny to nie jedyne źródło kosztów. Wbudowane narzędzia API są rozliczane za każde wywołanie, niezależnie od objętości wymienianego tekstu.
| Narzędzie | Stawka |
|---|---|
| Web Search | 5 USD za 1000 wywołań |
| X Search | 5 USD za 1000 wywołań |
| Code Execution | 5 USD za 1000 wywołań |
| File Attachments | 10 USD za 1000 wywołań |
| Collections Search | 2,50 USD za 1000 wywołań |
Przelicz te liczby dla własnego ruchu przed uogólnieniem użycia narzędzia. Aplikacja uruchamiająca wyszukiwanie w sieci przy każdym żądaniu płaci 5 USD za tysiąc interakcji samo za narzędzie, co często przekracza koszt tokenów zużytych w tym samym czasie. Wyszukiwanie w sieci nie jest zbędne, ale powinno być wyzwalane warunkowo, a nie domyślnie.
Kluczowe wnioski
- Punkt końcowy
POST /v1/tokenize-textpozwala liczyć tokeny bez naliczania opłat - Konsola webowa do tokenizacji jest przydatna do prototypowania i zrozumienia działania tokenizatora
- Nie wywołuj punktu końcowego tokenizacji przy każdym żądaniu w produkcji: używaj szacunków
- Wbudowane narzędzia (Web Search, Code Execution itp.) generują dodatkowe koszty za wywołanie
- Francuski zużywa średnio około 1,5 tokena na słowo