Токенизация: Как моделът възприема вашата подкана
На тази страница
Токенизация: Как моделът възприема вашата подкана
Моделът не чете текст; той обработва токени. Това разграничение не е академично упражнение. То определя колко ще платите, колко данни се събират в контекстния прозорец и понякога защо моделът се затруднява с дума, която сте смятали за тривиална. Разбирането на токенизацията ви дава три конкретни лоста за вашето приложение: оптимизиране на подканите, контрол на разходите и обяснение на поведения, които изглеждат необясними, когато мислите в думи.
Какво е токен?
Токенът е основната единица, с която моделът манипулира. Той не е нито дума, нито символ, а текстов фрагмент, генериран от алгоритъм за кодиране, наречен BPE (Byte Pair Encoding), който итеративно обединява най-честите последователности от символи в обучаващия корпус. Средно един токен представлява около 4 символа на английски език, но това съотношение варира значително в зависимост от езика. Скриптът по-долу демонстрира това с изречение на английски и неговия еквивалент на френски, показвайки действителното разделяне. Да видите как токенизаторът разрязва „aujourd’hui“ (днес) струва повече от всяко теоретично обяснение.
import tiktoken
# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")
texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"
tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)
print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")
# Visualize the split
for t in tokens_fr:
print(f" Token {t}: '{enc.decode([t])}'")
Влиянието на езика върху разходите
Френският език консумира средно с 20% до 30% повече токени от английския, за да изрази една и съща идея. Това се случва, защото френският е по-малко представен в обучаващия корпус на токенизатора, така че думите му се разделят по-често. Първото следствие е финансово: плащате за всеки входен и изходен токен, така че база от знания на френски език струва механично повече от нейния превод на английски за идентично съдържание. Второто следствие засяга контекстния прозорец, който се запълва по-бързо с документи на френски – история на разговор, която е побирала тридесет размени на английски, може да побере само двадесет и четири на френски. Третото е латентността: тъй като всеки изходен токен се генерира последователно, отговорът на френски отнема повече време за показване от еквивалентен по съдържание отговор на английски.
Три скъпи капана
Редките думи и неологизмите са на първо място. Тъй като се появяват рядко в обучаващия корпус, те се разделят на под-токени, което може да влоши разбирането на модела. Това важи особено за вашите вътрешни продуктови референции и домашни кодови имена, които токенизаторът никога не е срещал:
# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
print(f" '{enc.decode([t])}'")
JSON и структурираният код крият подобна изненада. Фигурните скоби, квадратните скоби и кавичките консумират по един токен всяка, което означава, че JSON с отстъпи струва значително повече от неговата минифицирана версия. В подкана с няколко примера (few-shot), носеща няколко примера за полезни данни, вие не плащате тази разлика веднъж; плащате я при всяко извикване, цял ден.
json_verbose = '''{
"nom": "Dupont",
"prenom": "Jean",
"age": 42
}'''
json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'
print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")
Най-коварният капан е самото форматиране: водещите интервали, празните редове и отстъпите всички се броят. Системна подкана, внимателно подравнена за четимост от екипа, струва повече, за строго идентично съдържание, отколкото компактна подкана. Това не е причина да пишете нечетим код, но е причина да правите този компромис съзнателно.
Оптимизиране на вашите подкани
Златното правило е да измервате, преди да оптимизирате: tiktoken ви дава точния брой, докато интуицията често греши с коефициент две. След като сте измерили, предпочитайте кратки инструкции. „Respond in JSON“ казва точно това, което казва „I would like you to respond using the JSON format“, но с една трета от токените. В контекстните блокове съкращенията работят добре: моделът интерпретира „Q:“ и „A:“ също толкова надеждно, колкото „Question:“ и „Answer:“. Накрая, компресирайте бизнес контекста, като обобщавате дълги документи предварително, вместо да копирате десет страници документация във всяка заявка, когато ви е необходим само един параграф.
Изчисляване на разходите
def estimate_cost(prompt: str, estimated_response: int = 500,
model: str = "gpt-5.6-terra") -> dict:
"""Estimates the cost of an API call."""
enc = tiktoken.get_encoding("o200k_base")
tokens_in = len(enc.encode(prompt))
# GPT-5.6 Terra pricing, July 2026 (verify current rates)
price_input = 2.50 / 1_000_000 # per token
price_output = 15.00 / 1_000_000 # per token
cost = (tokens_in * price_input) + (estimated_response * price_output)
return {
"tokens_input": tokens_in,
"tokens_output_estimated": estimated_response,
"estimated_cost_usd": round(cost, 6)
}
Тази функция бързо се превръща в полезна utility за проекта: свържете я с вашите подкани преди внедряване и тя ще ви каже колко ще струва трафикът за един ден, докато все още има време за действие. Разширете това с упражнение, което се оказва по-поучително, отколкото изглежда. Инсталирайте tiktoken (pip install tiktoken), токенизирайте най-сложната си системна подкана и идентифицирайте най-скъпите сегменти – почти винаги това са примерите few-shot и JSON блоковете. След това я пренапишете, целяйки 20% по-малко токени, без да губите нито едно парче информация. По пътя ще откриете колко изречения във вашата подкана са били там просто за да ви успокоят.
Тарифи към 5 август 2026 г. – цените се променят редовно. Преди бюджетиране проверете актуалния ценови лист на официалната страница с цени на OpenAI.
Ключови изводи
- Токенът не е дума; той е фрагмент от BPE
- Френският език струва с 20–30% повече токени от английския
- Систематично измервайте вашите подкани с tiktoken
- Оптимизирайте JSON и форматирането, за да намалите разходите
- Контекстният прозорец се измерва в токени, а не в думи