Токени, контекст и прозорец на разговора
На тази страница
Токени, контекст и прозорец на разговора
Токенът е единицата, с която моделът оперира, и единицата, по която се изчислява Вашата сметка. Докато тази концепция остава неясна, разходите Ви също ще бъдат непредсказуеми и в крайна сметка ще срещнете грешка за надвишаване на лимита на контекста, без да разбирате причината. Този урок изчиства и двата проблема.
Какво е токен?
Токенът не е дума. Той е фрагмент от текст, който моделът третира като неделима единица. На български един токен представлява средно около 0,7 думи. Библиотеката tiktoken Ви позволява да видите точно как се разделя текстът: забележете как „здравейте“ може да се раздели на няколко токена, докато по-често срещани думи в обучаващия корпус се побират в един. Този детайл обяснява защо един текст на български консумира повече токени от текст на английски със сравнима дължина.
from openai import OpenAI
client = OpenAI()
# To estimate tokens, use the tiktoken library
import tiktoken
# cl200k_base is used here as an example: each model generation has its own encoder.
# Check the encoder for the model you call before relying on the count.
enc = tiktoken.get_encoding("cl200k_base")
texte = "Bonjour, comment allez-vous aujourd'hui ?"
tokens = enc.encode(texte)
print(f"Text: {texte}")
print(f"Number of tokens: {len(tokens)}")
print(f"Tokens: {tokens}")
print(f"Decoded: {[enc.decode([t]) for t in tokens]}")
# Result:
# Text: Bonjour, comment allez-vous aujourd'hui ?
# Number of tokens: 9
# Tokens: [38025, 11, 4068, 67590, 5072, 76439, 30, ...]
# Decoded: ['Bonjour', ',', ' comment', ' allez', '-vous', " aujourd'hui", ' ?']
Винаги проверявайте кой енкодер съответства на модела, който извиквате. Бройка, направена с грешен енкодер, остава полезно приближение, но няма да съвпада точно с Вашата сметка.
Прозорецът на контекста
Всеки модел има максимален прозорец на контекста и капанът за начинаещите е, че той включва както входа, така и изхода. Това не е бюджет само за вход: това е общ бюджет. Ако Вашето подканване (prompt) заема 190 000 токена от прозорец от 200 000 токена, за отговора остават само 10 000 токена. Моделът ще прекъсне изречението по средата без допълнително предупреждение.
# Previous generation, for reference:
# GPT-5.4: 1,000,000 context tokens
# GPT-5.3: 200,000 context tokens
# gpt-5.6-sol : 200,000 context tokens
# gpt-5.6-terra : 200,000 context tokens
# Example: if your input is 190,000 tokens in a 200,000-token window,
# only 10,000 tokens remain for the response
response = client.responses.create(
model="gpt-5.6-terra",
input="A very long text...",
max_output_tokens=10000 # Limit explicitly
)
След факта можете да прочетете точната бройка в response.usage, което разграничава входните токени, изходните токени и общия сбор:
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain tokens in three sentences."
)
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Output tokens: {usage.output_tokens}")
print(f"Total: {usage.total_tokens}")
# Result:
# Input tokens: 12
# Output tokens: 58
# Total: 70
Три лоста за оптимизация
Първият лост е сбитостта на подканването. Учтивите формули и риторичните предпазни мерки не подобряват отговора, а струват токени до последния: първата версия по-долу използва тридесет и пет токена за резултат, идентичен с втория, който използва десет. В мащаба на услуга, обработваща един милион заявки, разликата вече не е анекдотична.
# BAD — verbose prompt (35 tokens)
response = client.responses.create(
model="gpt-5.6-terra",
input="Could you please give me a list "
"of three fruits that are red in color, if that "
"does not bother you of course?"
)
# GOOD — concise prompt (10 tokens)
response = client.responses.create(
model="gpt-5.6-terra",
input="List 3 red fruits."
)
Вторият лост цели изхода, който струва няколко пъти повече от входа. Комбинирайте инструкцията в подканването с технически таван: първата рамкира писането, втората гарантира, че бюджетът Ви се удържа, дори ако моделът игнорира инструкцията.
# No limit — the model can generate many tokens
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis."
)
# With limit — cost control
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis in 2 sentences maximum.",
max_output_tokens=100
)
Третият лост е оценката на разхода преди извикването, което става съществено веднага щом обработвате документи с променлив размер. Тогава можете да отхвърлите или разделите заявка, която е твърде тежка, вместо да я откриете във Вашата сметка.
import tiktoken
def estimate_cost(text: str, model: str = "gpt-5.6-terra") -> dict:
"""Estimate the cost of an API call."""
enc = tiktoken.get_encoding("cl200k_base")
input_tokens = len(enc.encode(text))
# Approximate prices per million tokens (check current prices)
prices = {
"gpt-5.6-sol": {"input": 5.0, "output": 30.0},
"gpt-5.6-terra": {"input": 2.0, "output": 12.0},
"gpt-5.6-luna": {"input": 0.20, "output": 1.20},
}
input_cost = (input_tokens / 1_000_000) * prices[model]["input"]
return {
"input_tokens": input_tokens,
"input_cost_usd": round(input_cost, 6),
"model": model
}
print(estimate_cost("Explain relativity in 3 sentences."))
# Result: {'input_tokens': 10, 'input_cost_usd': 2.5e-05, 'model': 'gpt-5.6-terra'}
Контекстът се натрупва през разговора
Когато верижите размени, използвайки previous_response_id, всеки завой започва отново от цялото съдържание на предишните завои. Входните токени следователно продължават да растат: диалог, който започва с 50 токена, тежи 150 на втория завой и много повече на десетия. Това е най-честата причина сметките да се завъртат спираловидно без увеличен трафик, а мониторингът на response.usage.input_tokens е Вашият предупредителен сигнал.
# Turn 1: 50 tokens
r1 = client.responses.create(
model="gpt-5.6-terra",
input="Hello, I am a Python developer."
)
# Turn 2: 50 + 100 = 150 tokens (cumulative context)
r2 = client.responses.create(
model="gpt-5.6-terra",
input="Which web frameworks do you recommend?",
previous_response_id=r1.id
)
# Turn 10: tokens accumulate!
# Monitor response.usage.input_tokens to avoid surprises
print(f"Cumulative tokens at turn 2: {r2.usage.input_tokens}")
За дълги разговори заобиколното решение е активно съкращаване на историята: премахнете най-старите съобщения, докато паднете под избран лимит, като същевременно запазите първото, което обикновено носи основния контекст на размяната.
def conversation_with_limit(messages: list, token_limit: int = 50000):
"""Keep the conversation under a token limit."""
enc = tiktoken.get_encoding("cl200k_base")
total = sum(len(enc.encode(m["content"])) for m in messages)
# Remove oldest messages if necessary
while total > token_limit and len(messages) > 2:
removed = messages.pop(1) # Keep the first message (context)
total -= len(enc.encode(removed["content"]))
return messages
Ключови изводи
- Един токен е равен на около 0,7 думи на български
- Прозорецът на контекста включва входа И изхода
- Прозорците варират според модела: в предишното поколение 1 милион токена за GPT-5.4 и 200 000 за GPT-5.3, o3-pro и o4-mini
- Използвайте
tiktoken, за да броите токените преди извикването - Следете
response.usage, за да контролирате разходите си - Управлявайте активно контекста при дълги разговори