Премини към основното съдържание
Български— Изберете език
Меню

Токенизация: Как моделът възприема вашата подкана

Урок 3 от 16 Обновен 28 юли 2026 г. Програмист
На тази страница
  1. Токенизация: Как моделът възприема вашата подкана
  2. Какво е токен?
  3. Влиянието на езика върху разходите
  4. Три скъпи капана
  5. Оптимизиране на вашите подкани
  6. Изчисляване на разходите
  7. Ключови изводи

Токенизация: Как моделът възприема вашата подкана

Моделът не чете текст; той обработва токени. Това разграничение не е академично упражнение. То определя колко ще платите, колко данни се събират в контекстния прозорец и понякога защо моделът се затруднява с дума, която сте смятали за тривиална. Разбирането на токенизацията ви дава три конкретни лоста за вашето приложение: оптимизиране на подканите, контрол на разходите и обяснение на поведения, които изглеждат необясними, когато мислите в думи.

Какво е токен?

Токенът е основната единица, с която моделът манипулира. Той не е нито дума, нито символ, а текстов фрагмент, генериран от алгоритъм за кодиране, наречен BPE (Byte Pair Encoding), който итеративно обединява най-честите последователности от символи в обучаващия корпус. Средно един токен представлява около 4 символа на английски език, но това съотношение варира значително в зависимост от езика. Скриптът по-долу демонстрира това с изречение на английски и неговия еквивалент на френски, показвайки действителното разделяне. Да видите как токенизаторът разрязва „aujourd’hui“ (днес) струва повече от всяко теоретично обяснение.

import tiktoken

# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")

# Visualize the split
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

Влиянието на езика върху разходите

Френският език консумира средно с 20% до 30% повече токени от английския, за да изрази една и съща идея. Това се случва, защото френският е по-малко представен в обучаващия корпус на токенизатора, така че думите му се разделят по-често. Първото следствие е финансово: плащате за всеки входен и изходен токен, така че база от знания на френски език струва механично повече от нейния превод на английски за идентично съдържание. Второто следствие засяга контекстния прозорец, който се запълва по-бързо с документи на френски – история на разговор, която е побирала тридесет размени на английски, може да побере само двадесет и четири на френски. Третото е латентността: тъй като всеки изходен токен се генерира последователно, отговорът на френски отнема повече време за показване от еквивалентен по съдържание отговор на английски.

~4
Characters per token (EN)
~3
Characters per token (FR)
$2.50
Input GPT-5.6 Terra (per MTok)
200K
BPE o200k Encoding

Три скъпи капана

Редките думи и неологизмите са на първо място. Тъй като се появяват рядко в обучаващия корпус, те се разделят на под-токени, което може да влоши разбирането на модела. Това важи особено за вашите вътрешни продуктови референции и домашни кодови имена, които токенизаторът никога не е срещал:

# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

JSON и структурираният код крият подобна изненада. Фигурните скоби, квадратните скоби и кавичките консумират по един токен всяка, което означава, че JSON с отстъпи струва значително повече от неговата минифицирана версия. В подкана с няколко примера (few-shot), носеща няколко примера за полезни данни, вие не плащате тази разлика веднъж; плащате я при всяко извикване, цял ден.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")

Най-коварният капан е самото форматиране: водещите интервали, празните редове и отстъпите всички се броят. Системна подкана, внимателно подравнена за четимост от екипа, струва повече, за строго идентично съдържание, отколкото компактна подкана. Това не е причина да пишете нечетим код, но е причина да правите този компромис съзнателно.

Оптимизиране на вашите подкани

Златното правило е да измервате, преди да оптимизирате: tiktoken ви дава точния брой, докато интуицията често греши с коефициент две. След като сте измерили, предпочитайте кратки инструкции. „Respond in JSON“ казва точно това, което казва „I would like you to respond using the JSON format“, но с една трета от токените. В контекстните блокове съкращенията работят добре: моделът интерпретира „Q:“ и „A:“ също толкова надеждно, колкото „Question:“ и „Answer:“. Накрая, компресирайте бизнес контекста, като обобщавате дълги документи предварително, вместо да копирате десет страници документация във всяка заявка, когато ви е необходим само един параграф.

Изчисляване на разходите

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Estimates the cost of an API call."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # GPT-5.6 Terra pricing, July 2026 (verify current rates)
    price_input = 2.50 / 1_000_000   # per token
    price_output = 15.00 / 1_000_000  # per token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Тази функция бързо се превръща в полезна utility за проекта: свържете я с вашите подкани преди внедряване и тя ще ви каже колко ще струва трафикът за един ден, докато все още има време за действие. Разширете това с упражнение, което се оказва по-поучително, отколкото изглежда. Инсталирайте tiktoken (pip install tiktoken), токенизирайте най-сложната си системна подкана и идентифицирайте най-скъпите сегменти – почти винаги това са примерите few-shot и JSON блоковете. След това я пренапишете, целяйки 20% по-малко токени, без да губите нито едно парче информация. По пътя ще откриете колко изречения във вашата подкана са били там просто за да ви успокоят.

Тарифи към 5 август 2026 г. – цените се променят редовно. Преди бюджетиране проверете актуалния ценови лист на официалната страница с цени на OpenAI.

Ключови изводи

  • Токенът не е дума; той е фрагмент от BPE
  • Френският език струва с 20–30% повече токени от английския
  • Систематично измервайте вашите подкани с tiktoken
  • Оптимизирайте JSON и форматирането, за да намалите разходите
  • Контекстният прозорец се измерва в токени, а не в думи