Žetonai, kontekstas ir pokalbio langas
Šiame puslapyje
Žetonai, kontekstas ir pokalbio langas
Žetonas yra vienetas, kuriuo modelis manipuliuoja ir kuris fiksuojamas tavo sąskaitoje. Kol ši sąvoka lieka neaiški, tavo išlaidos taip pat bus nenuspėjamos, ir galiausiai susidursi su konteksto ribos klaida nesuprasdamas priežasties. Ši pamoka pašalina abu šiuos nesusipratimus.
Kas yra žetonas?
Žetonas nėra žodis. Tai teksto fragmentas, kurį modelis laiko nedalomu vienetu. Prancūzų kalba vienas žetonas vidutiniškai atitinka apie 0,7 žodžio. Biblioteka tiktoken leidžia tiksliai pamatyti, kaip tekstas skaidomas: pastebėk, kaip „allez-vous“ suskaidomas į du žetonus, o „aujourd’hui“, kuris mokymo duomenų bazėje pasitaiko dažniau, telpa į vieną. Ši detalė paaiškina, kodėl prancūziškas tekstas suvartoja daugiau žetonų nei panašaus ilgio angliškas tekstas.
from openai import OpenAI
client = OpenAI()
# Žetonams įvertinti naudokite tiktoken biblioteką
import tiktoken
# cl200k_base čia naudojamas kaip pavyzdys: kiekvieno modelio generavimas turi savo koduotę.
# Prieš pasikliaudami skaičiumi, patikrinkite kviečiamo modelio koduotę.
enc = tiktoken.get_encoding("cl200k_base")
texte = "Bonjour, comment allez-vous aujourd'hui ?"
tokens = enc.encode(texte)
print(f"Text: {texte}")
print(f"Number of tokens: {len(tokens)}")
print(f"Tokens: {tokens}")
print(f"Decoded: {[enc.decode([t]) for t in tokens]}")
# Result:
# Text: Bonjour, comment allez-vous aujourd'hui ?
# Number of tokens: 9
# Tokens: [38025, 11, 4068, 67590, 5072, 76439, 30, ...]
# Decoded: ['Bonjour', ',', ' comment', ' allez', '-vous', " aujourd'hui", ' ?']
Visada patikrink, kuri koduotė atitinka tavo kviečiamą modelį. Skaičiavimas naudojant neteisingą koduotę išlieka naudinga apytiksle verte, tačiau tiksliai neatitiks tavo sąskaitos.
Konteksto langas
Kiekvienas modelis turi maksimalų konteksto langą, o pradedančiųjų spąstai slypi tame, kad jis apima tiek įvestį, tiek išvestį. Tai nėra įvesties biudžetas: tai bendras biudžetas. Jei tavo užklausa užima 190 000 žetonų iš 200 000 žetonų lango, atsakymui lieka tik 10 000 žetonų. Modelis nutrauks sakinį viduryje be jokių papildomų įspėjimų.
# Ankstesnė generacija, nuorodai:
# GPT-5.4: 1 000 000 konteksto žetonų
# GPT-5.3: 200 000 konteksto žetonų
# gpt-5.6-sol : 200 000 konteksto žetonų
# gpt-5.6-terra : 200 000 konteksto žetonų
# Pavyzdys: jei tavo įvestis yra 190 000 žetonų 200 000 žetonų lange,
# atsakymui lieka tik 10 000 žetonų
response = client.responses.create(
model="gpt-5.6-terra",
input="A very long text...",
max_output_tokens=10000 # Aiškiai nustatyta riba
)
Po fakto tikslų skaičių gali perskaityti response.usage, kuris atskiria įvesties žetonus, išvesties žetonus ir bendrą sumą:
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain tokens in three sentences."
)
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Output tokens: {usage.output_tokens}")
print(f"Total: {usage.total_tokens}")
# Result:
# Input tokens: 12
# Output tokens: 58
# Total: 70
Trys optimizavimo svertai
Pirmasis svertas – užklausos glaustumas. Mandagumo formulės ir retorinės atsargumo priemonės negerina atsakymo, tačiau kainuoja žetonus iki paskutiniojo: pirmoji žemiau pateikta versija sunaudoja trisdešimt penkis žetonus tokiam pačiam rezultatui gauti, kaip ir antroji, kuri naudoja tik dešimt. Milijono užklausų aptarnaujančio serviso mastu šis skirtumas tampa reikšmingas.
# BLOGAI – išplėstas promptas (35 žetonai)
response = client.responses.create(
model="gpt-5.6-terra",
input="Could you please give me a list "
"of three fruits that are red in color, if that "
"does not bother you of course?"
)
# GERAI – glaustas promptas (10 žetonų)
response = client.responses.create(
model="gpt-5.6-terra",
input="List 3 red fruits."
)
Antrasis svertas taikomas išvestiai, kuri kainuoja kelis kartus daugiau nei įvestis. Derink instrukciją užklausoje su technine riba: pirmoji formuoja rašymo stilių, antroji garantuoja, kad laikysies biudžeto net jei modelis ignoruos instrukciją.
# Be ribos – modelis gali sugeneruoti daug žetonų
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis."
)
# Su riba – išlaidų kontrolė
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis in 2 sentences maximum.",
max_output_tokens=100
)
Trečiasis svertas – išlaidų įvertinimas prieš kvietimą, kas tampa būtina apdorojant įvairaus dydžio dokumentus. Tuomet galėsi atmesti arba padalinti per sunkią užklausą, užuot tai pastebėjęs tik sąskaitoje.
import tiktoken
def estimate_cost(text: str, model: str = "gpt-5.6-terra") -> dict:
"""Įvertinkite API užklausos kainą."""
enc = tiktoken.get_encoding("cl200k_base")
input_tokens = len(enc.encode(text))
# Apytikslės kainos už milijoną žetonų (patikrinkite dabartines kainas)
prices = {
"gpt-5.6-sol": {"input": 5.0, "output": 30.0},
"gpt-5.6-terra": {"input": 2.0, "output": 12.0},
"gpt-5.6-luna": {"input": 0.20, "output": 1.20},
}
input_cost = (input_tokens / 1_000_000) * prices[model]["input"]
return {
"input_tokens": input_tokens,
"input_cost_usd": round(input_cost, 6),
"model": model
}
print(estimate_cost("Explain relativity in 3 sentences."))
# Result: {'input_tokens': 10, 'input_cost_usd': 2.5e-05, 'model': 'gpt-5.6-terra'}
Kontekstas kaupiasi pokalbio eigoje
Kai grandinine tvarka vykdi mainus naudodamas previous_response_id, kiekvienas ėjimas prasideda nuo visų ankstesnių ėjimų turinio. Įvesties žetonai todėl nuolat auga: dialogas, prasidedantis nuo 50 žetonų, antrame ėjime sveria 150, o dešimtame – dar daugiau. Tai dažniausia sąskaitų augimo be padidėjusio srauto priežastis, o response.usage.input_tokens stebėjimas yra tavo įspėjamasis signalas.
# 1 ėjimas: 50 žetonų
r1 = client.responses.create(
model="gpt-5.6-terra",
input="Hello, I am a Python developer."
)
# 2 ėjimas: 50 + 100 = 150 žetonų (kaupiamasis kontekstas)
r2 = client.responses.create(
model="gpt-5.6-terra",
input="Which web frameworks do you recommend?",
previous_response_id=r1.id
)
# 10 ėjimas: žetonai kaupiasi!
# Stebėkite response.usage.input_tokens, kad išvengtumėte netikėtumų
print(f"Cumulative tokens at turn 2: {r2.usage.input_tokens}")
Ilgiems pokalbiams sprendimas yra aktyviai trumpinti istoriją: šalinti seniausias žinutes, kol nukrentate žemiau pasirinktos ribos, paliekant pirmąją, kuri paprastai neša pagrindinį pokalbio kontekstą.
def conversation_with_limit(messages: list, token_limit: int = 50000):
"""Išlaikykite pokalbį neviršijant žetonų ribos."""
enc = tiktoken.get_encoding("cl200k_base")
total = sum(len(enc.encode(m["content"])) for m in messages)
# Jei reikia, pašalinkite seniausias žinutes
while total > token_limit and len(messages) > 2:
removed = messages.pop(1) # Palikite pirmąją žinutę (kontekstą)
total -= len(enc.encode(removed["content"]))
return messages
Svarbiausi punktai
- Vienas žetonas prancūzų kalba atitinka apie 0,7 žodžio
- Konteksto langas apima ir įvestį, IR išvestį
- Langai skiriasi priklausomai nuo modelio: ankstesnėje kartoje GPT-5.4 turėjo 1 mln. žetonų, o GPT-5.3, o3-pro ir o4-mini – 200 tūkst.
- Naudok
tiktokenžetonams suskaičiuoti prieš kvietimą - Stebėk
response.usage, kad kontroliuotum išlaidas - Aktyviai valdyk kontekstą ilguose pokalbiuose