Przejdź do głównej treści
Polski— Wybierz język
Menu

Punkt końcowy tokenizacji i narzędzia

Lekcja 6 z 14 Zaktualizowano 29 lipca 2026 Zaawansowany
Na tej stronie
  1. Licz tokeny przed wysłaniem
  2. Punkt końcowy /v1/tokenize-text
  3. Wizualne narzędzie w konsoli
  4. Gdzie umieścić liczenie w potoku danych
  5. Wbudowane narzędzia, osobna pozycja kosztowa
  6. Kluczowe wnioski

Licz tokeny przed wysłaniem

Przed każdym poważnym wywołaniem API nasuwają się trzy pytania: czy mój prompt mieści się w oknie kontekstowym? Ile to będzie kosztować? Gdzie uciąć, jeśli dokument jest za długi? Odpowiadanie na nie po wysłaniu – gdy zobaczysz błąd lub otrzymasz rachunek – zawsze kosztuje więcej niż przygotowanie się z wyprzedzeniem. API Grok udostępnia do tego dokładnie odpowiednie narzędzie: punkt końcowy tokenizacji, darmowy i niezależny od generowania odpowiedzi.

Punkt końcowy /v1/tokenize-text

POST /v1/tokenize-text przyjmuje surowy tekst i zwraca odpowiadającą mu liczbę tokenów. Kluczowa cecha sprowadza się do jednego zdania: w przeciwieństwie do wywołania generującego (completion), ten punkt końcowy nie zużywa tokenów objętych opłatami. On liczy, a nie generuje.

curl -X POST "https://api.x.ai/v1/tokenize-text" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Your text to tokenize here."
  }'

Odpowiedź zawiera całkowitą liczbę tokenów oraz, w zależności od wersji, szczegółowy podział na poszczególne tokeny. Wynikają z tego trzy bezpośrednie zastosowania. Po pierwsze, walidacja: weryfikujesz, czy suma promptu systemowego, historii i wiadomości użytkownika mieści się w oknie docelowego modelu – 1 milion tokenów dla grok-4.3 i 500 000 dla grok-4.5. Po drugie, szacowanie kosztów: wynikowa liczba pomnożona przez stawkę modelu daje cenę żądania przed jego zatwierdzeniem. Po trzecie, skracanie: w przypadku zbyt dużego dokumentu tokenizacja pokazuje, gdzie czysto uciąć treść, zamiast pozwalać API na odrzucenie całości.

Wizualne narzędzie w konsoli

Do prototypowania xAI oferuje w swojej konsoli internetowej wizualny tokenizator, w którym wklejasz tekst i natychmiast widzisz jego podział. To doskonałe narzędzie edukacyjne – użyj go przynajmniej raz przed zaprojektowaniem swoich szablonów promptów.

Zauważysz tam trzy istotne rzeczy. Francuski generuje znacznie więcej tokenów niż angielski dla treści o identycznym znaczeniu, co bezpośrednio wpływa na koszt aplikacji w języku francuskim. Kod źródłowy jest dzielony według innej logiki niż tekst naturalny. Znaki interpunkcyjne lub specjalne często zajmują cały token samodzielnie, co wyjaśnia, dlaczego rozwlekły JSON kosztuje zaskakująco dużo przy transmisji.

Gdzie umieścić liczenie w potoku danych

Strzeż się odruchu systematycznej tokenizacji przed każdym wywołaniem: podwajasz liczbę żądań sieciowych i dodajesz opóźnienie do każdej interakcji, często dla informacji, które już znasz. Rezerwuj dokładne liczenie na przypadki, gdy niepewność jest rzeczywista.

W pozostałych sytuacjach wystarczy szacunek. Przyjmij około 1,5 tokena na francuskie słowo, około 0,3 tokena na znak kodu oraz od 256 do 1792 tokenów na obraz w zależności od jego rozmiaru. Te rzędy wielkości, zastosowane po stronie klienta, pozwalają lokalnie odrzucić prompt ewidentnie przekraczający limity bez zużywania wywołania API.

Zachowaj punkt końcowy dla trzech sytuacji: promptów, których rozmiar сильно się zmienia (typowo dokumenty dostarczone przez użytkownika lub fragmenty pobrane przez system RAG); wstępnej kalibracji szablonów, gdy raz na zawsze ustalasz budżet tokenów dla każdego bloku konstrukcyjnego; oraz debugowania, gdy pojawia się błąd przepełnienia kontekstu i musisz zidentyfikować element powodujący problem.

Wbudowane narzędzia, osobna pozycja kosztowa

Tokeny to nie jedyne źródło kosztów. Wbudowane narzędzia API są rozliczane za każde wywołanie, niezależnie od objętości wymienianego tekstu.

NarzędzieStawka
Web Search5 USD za 1000 wywołań
X Search5 USD za 1000 wywołań
Code Execution5 USD za 1000 wywołań
File Attachments10 USD za 1000 wywołań
Collections Search2,50 USD za 1000 wywołań

Przelicz te liczby dla własnego ruchu przed uogólnieniem użycia narzędzia. Aplikacja uruchamiająca wyszukiwanie w sieci przy każdym żądaniu płaci 5 USD za tysiąc interakcji samo za narzędzie, co często przekracza koszt tokenów zużytych w tym samym czasie. Wyszukiwanie w sieci nie jest zbędne, ale powinno być wyzwalane warunkowo, a nie domyślnie.

Kluczowe wnioski

  • Punkt końcowy POST /v1/tokenize-text pozwala liczyć tokeny bez naliczania opłat
  • Konsola webowa do tokenizacji jest przydatna do prototypowania i zrozumienia działania tokenizatora
  • Nie wywołuj punktu końcowego tokenizacji przy każdym żądaniu w produkcji: używaj szacunków
  • Wbudowane narzędzia (Web Search, Code Execution itp.) generują dodatkowe koszty za wywołanie
  • Francuski zużywa średnio około 1,5 tokena na słowo