Przejdź do głównej treści
Polski— Wybierz język
Menu

Tokenizacja: zrozumienie, jak model widzi Twój prompt

Lekcja 3 z 16 Zaktualizowano 28 lipca 2026 Programista
Na tej stronie
  1. Tokenizacja: zrozumienie, jak model widzi Twój prompt
  2. Czym jest token?
  3. Wpływ języka na koszty
  4. Trzy kosztowne pułapki
  5. Optymalizacja Twoich promptów
  6. Obliczanie kosztów
  7. Kluczowe wnioski

Tokenizacja: zrozumienie, jak model widzi Twój prompt

Model nie czyta tekstu; przetwarza tokeny. To rozróżnienie nie jest akademickie. Decyduje ono o tym, ile płacisz, ile zmieści się w oknie kontekstowym, a czasem wyjaśnia, dlaczego model potyka się o słowo, które uważałeś za błahe. Zrozumienie tokenizacji daje Ci trzy konkretne dźwignie dla Twojej aplikacji: optymalizację promptów, kontrolę kosztów i wyjaśnianie zachowań, które wydają się niewytłumaczalne, gdy myślisz w kategoriach słów.

Czym jest token?

Token to podstawowa jednostka, którą manipuluje model. Nie jest ani słowem, ani znakiem, lecz fragmentem tekstu wygenerowanym przez algorytm kodowania zwany BPE (Byte Pair Encoding), który iteracyjnie scala najczęstsze sekwencje znaków w korpusie treningowym. Średnio jeden token reprezentuje około 4 znaków w języku angielskim, ale współczynnik ten znacznie różni się w zależności od języka. Poniższy skrypt demonstruje to na przykładzie zdania w języku angielskim i jego francuskiego odpowiednika, pokazując rzeczywisty podział. Zobaczenie, jak tokenizer dzieli słowo „aujourd’hui“ (dziś), wart jest więcej niż jakiekolwiek teoretyczne wyjaśnienie.

import tiktoken

# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")

# Visualize the split
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

Wpływ języka na koszty

Język francuski zużywa średnio o 20% do 30% więcej tokenów niż język angielski, aby wyrazić tę samą myśl. Dzieje się tak, ponieważ francuski jest mniej reprezentowany w korpusie treningowym tokenizera, więc jego słowa są dzielone częściej. Pierwszą konsekwencją jest finansowa: płacisz za każdy token wejściowy i wyjściowy, więc baza wiedzy w języku francuskim kosztuje mechanicznie więcej niż jej tłumaczenie na język angielski przy identycznej treści. Druga konsekwencja dotyczy okna kontekstowego, które wypełnia się szybciej dokumentami w języku francuskim – historia rozmowy, która pomieściła trzydzieści wymian w języku angielskim, może pomieścić tylko dwadzieścia cztery w języku francuskim. Trzecią jest opóźnienie: ponieważ każdy token wyjściowy jest generowany sekwencyjnie, odpowiedź w języku francuskim wyświetla się dłużej niż odpowiedź w języku angielskim o równoważnej treści.

~4
Characters per token (EN)
~3
Characters per token (FR)
$2.50
Input GPT-5.6 Terra (per MTok)
200K
BPE o200k Encoding

Trzy kosztowne pułapki

Rzadkie słowa i neologizmy znajdują się na szczycie listy. Ponieważ pojawiają się one rzadko w korpusie treningowym, są dzielone na pod-tokeny, co może pogorszyć zrozumienie przez model. Dotyczy to w szczególności wewnętrznych odniesień do produktów i autorskich nazw kodowych, których tokenizer nigdy wcześniej nie widział:

# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

JSON i strukturalny kod kryją podobną niespodziankę. Nawiasy klamrowe, kwadratowe i cudzysłowy zużywają po jednym tokenie, co oznacza, że sformatowany JSON kosztuje znacznie więcej niż jego wersja zminifikowana. W prompcie few-shot zawierającym kilka przykładów ładunku danych, nie płacisz tej różnicy tylko raz; płacisz ją przy każdym wywołaniu, przez cały dzień.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")

Najsubtelniejszą pułapką jest samo formatowanie: wiodące spacje, puste linie i wcięcia również się liczą. Starannie wyrównany prompt systemowy, zapewniający czytelność dla zespołu, kosztuje więcej, przy ściśle identycznej treści, niż prompt zwarty. Nie jest to powód do pisania nieczytelnego kodu, ale jest to powód, by świadomie dokonywać tego kompromisu.

Optymalizacja Twoich promptów

Złotą zasadą jest mierzenie przed optymalizacją: tiktoken daje Ci dokładny wynik, podczas gdy intuicja często myli się dwukrotnie. Gdy już zmierzysz, preferuj zwięzłe instrukcje. „Respond in JSON“ mówi dokładnie to samo co „I would like you to respond using the JSON format“, zużywając jedną trzecią liczby tokenów. W blokach kontekstowych skróty działają dobrze: model interpretuje „Q:“ i „A:“ tak samo niezawodnie jak „Question:“ i „Answer:“. Na koniec skompresuj kontekst biznesowy, podsumowując długie dokumenty z wyprzedzeniem, zamiast kopiować dziesięć stron dokumentacji do każdego żądania, gdy potrzebujesz tylko jednego akapitu.

Obliczanie kosztów

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Estimates the cost of an API call."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # GPT-5.6 Terra pricing, July 2026 (verify current rates)
    price_input = 2.50 / 1_000_000   # per token
    price_output = 15.00 / 1_000_000  # per token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Ta funkcja szybko staje się narzędziem projektowym: podłącz ją do swoich promptów przed wdrożeniem, a powie Ci, ile będzie kosztował dzień ruchu, gdy jeszcze masz czas działać. Rozszerz to o ćwiczenie, które okazuje się bardziej pouczające, niż się wydaje. Zainstaluj tiktoken (pip install tiktoken), tokenizuj swój najbardziej złożony prompt systemowy i zidentyfikuj najdroższe segmenty – prawie zawsze są to przykłady few-shot i bloki JSON. Następnie przepisz go, celując w redukcję o 20% liczby tokenów, nie tracąc ani jednej informacji. Po drodze odkryjesz, ile zdań w Twoim prompcie było tam tylko po to, by Cię uspokoić.

Stawki na dzień 5 sierpnia 2026 r. – ceny zmieniają się regularnie. Przed budżetowaniem sprawdź aktualny cennik na oficjalnej stronie cenowej OpenAI.

Kluczowe wnioski

  • Token to nie słowo; to fragment z BPE
  • Język francuski kosztuje o 20–30% więcej tokenów niż język angielski
  • Systematycznie mierz swoje prompty za pomocą tiktoken
  • Optymalizuj JSON i formatowanie, aby zmniejszyć koszty
  • Okno kontekstowe mierzone jest w tokenach, a nie w słowach