Žetoni, konteksts un sarunas logs
Šajā lapā
Žetoni, konteksts un sarunas logs
Žetons ir vienība, ar kuru modelis strādā, un vienība, pēc kuras tiek rēķināti tavi izdevumi. Kamēr šis jēdziens tev paliks neskaidrs, tikpat neskaidri būs arī tavi izdevumi, un galu galā tu saskarsies ar konteksta limita kļūdu, nesaprotot iemeslu. Šī nodarbība novērš abas šīs problēmas.
Kas ir žetons?
Žetons nav vārds. Tas ir teksta fragments, ko modelis uztver kā nedalāmu vienību. Latviešu valodā viens žetons vidēji atbilst aptuveni 0,7 vārdiem. Bibliotēka tiktoken ļauj precīzi redzēt, kā teksts tiek sadalīts: ievēro, ka „allez-vous” sadalās divos žetonos, savukārt „aujourd’hui”, kas apmācības kopā sastopams biežāk, ietilpst vienā žetonā. Šī detaļa izskaidro, kāpēc franču valodas teksts patērē vairāk žetonu nekā līdzīga garuma angļu valodas teksts.
from openai import OpenAI
client = OpenAI()
# Lai novērtētu žetonus, izmantojiet tiktoken bibliotēku
import tiktoken
# cl200k_base šeit izmantots kā piemērs: katra modeļa ģenerācijai ir savs enkoders.
# Pirms paļauties uz skaitu, pārbaudiet enkoderu modelim, ko izsaucat.
enc = tiktoken.get_encoding("cl200k_base")
texte = "Bonjour, comment allez-vous aujourd'hui ?"
tokens = enc.encode(texte)
print(f"Text: {texte}")
print(f"Number of tokens: {len(tokens)}")
print(f"Tokens: {tokens}")
print(f"Decoded: {[enc.decode([t]) for t in tokens]}")
# Result:
# Text: Bonjour, comment allez-vous aujourd'hui ?
# Number of tokens: 9
# Tokens: [38025, 11, 4068, 67590, 5072, 76439, 30, ...]
# Decoded: ['Bonjour', ',', ' comment', ' allez', '-vous', " aujourd'hui", ' ?']
Vienmēr pārbaudi, kurš enkoders atbilst modelim, ko izsauc. Skaitīšana, veikta ar nepareizo enkoderu, paliek noderīga tuvinājuma vērtība, taču tā precīzi nesakritīs ar tavu rēķinu.
Konteksta logs
Katram modelim ir maksimālais konteksta logs, un iesācēju slazds ir tas, ka tas ietver gan ievadi, gan izvadi. Tas nav ievades budžets: tas ir kopējais budžets. Ja tavs uzvednis aizņem 190 000 žetonu no 200 000 žetonu loga, atbildei atliek tikai 10 000 žetonu. Modelis pārtrauks teikumu vidū bez papildu brīdinājuma.
# Iepriekšējā paaudze atsaucei:
# GPT-5.4: 1 000 000 konteksta žetonu
# GPT-5.3: 200 000 konteksta žetonu
# gpt-5.6-sol : 200 000 konteksta žetonu
# gpt-5.6-terra : 200 000 konteksta žetonu
# Piemērs: ja tava ievade ir 190 000 žetonu 200 000 žetonu logā,
# atbildei atliek tikai 10 000 žetonu
response = client.responses.create(
model="gpt-5.6-terra",
input="A very long text...",
max_output_tokens=10000 # Eksplicīts limits
)
Pēc fakta tu vari izlasīt precīzu skaitu objektā response.usage, kas nošķir ievades žetonus, izvades žetonus un kopējo summu:
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain tokens in three sentences."
)
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Output tokens: {usage.output_tokens}")
print(f"Total: {usage.total_tokens}")
# Result:
# Input tokens: 12
# Output tokens: 58
# Total: 70
Trīs optimizācijas sviras
Pirmā svira ir uzvedņa kodolīgums. Pieklājības frāzes un retoriska piesardzība neuzlabo atbildi, taču izmaksā žetonus līdz pēdējam: zemāk esošā pirmā versija izmanto trīsdesmit piecus žetonus identiskam rezultātam kā otrā, kas izmanto desmit. Mērogā, kurā serviss apstrādā miljonu pieprasījumu, šī starpība vairs nav anekdotiska.
# SLIKTI — daudzvārdīgs uzvednis (35 žetoni)
response = client.responses.create(
model="gpt-5.6-terra",
input="Could you please give me a list "
"of three fruits that are red in color, if that "
"does not bother you of course?"
)
# LABI — kodolīgs uzvednis (10 žetoni)
response = client.responses.create(
model="gpt-5.6-terra",
input="List 3 red fruits."
)
Otrā svira ir vērsta uz izvadi, kas maksā vairākas reizes dārgāk nekā ievade. Apvieno instrukciju uzvednī ar tehnisko griestu: pirmā ierāmē rakstīšanu, otrā garantē, ka tavs budžets tiks ievērots, pat ja modelis ignorēs instrukciju.
# Bez limita — modelis var ģenerēt daudz žetonu
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis."
)
# Ar limitu — izmaksu kontrole
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis in 2 sentences maximum.",
max_output_tokens=100
)
Trešā svira ir izmaksu novērtēšana pirms izsaukuma, kas kļūst būtiska, tiklīdz apstrādā mainīga izmēra dokumentus. Tad tu vari noraidīt vai sadalīt pārāk smagu pieprasījumu, nevis uzzināt par to no sava rēķina.
import tiktoken
def estimate_cost(text: str, model: str = "gpt-5.6-terra") -> dict:
"""Novērtē API izsaukuma izmaksas."""
enc = tiktoken.get_encoding("cl200k_base")
input_tokens = len(enc.encode(text))
# Aptuvenās cenas par miljonu žetonu (pārbaudi aktuālās cenas)
prices = {
"gpt-5.6-sol": {"input": 5.0, "output": 30.0},
"gpt-5.6-terra": {"input": 2.0, "output": 12.0},
"gpt-5.6-luna": {"input": 0.20, "output": 1.20},
}
input_cost = (input_tokens / 1_000_000) * prices[model]["input"]
return {
"input_tokens": input_tokens,
"input_cost_usd": round(input_cost, 6),
"model": model
}
print(estimate_cost("Explain relativity in 3 sentences."))
# Result: {'input_tokens': 10, 'input_cost_usd': 2.5e-05, 'model': 'gpt-5.6-terra'}
Konteksts uzkrājas sarunas gaitā
Kad ķēdē apmaiņas, izmantojot previous_response_id, katrs gājiens sākas no visu iepriekšējo gājienu kopuma. Ievades žetoni tāpēc nepārtraukti pieaug: dialogam, kas sākas ar 50 žetoniem, otrajā gājienā svars ir 150, bet desmitajā — daudz vairāk. Tas ir visbiežākais iemesls, kāpēc rēķini spirālveidīgi aug, nepalielinoties satiksmei, un response.usage.input_tokens monitorings ir tavs brīdinājuma signāls.
# 1. gājiens: 50 žetoni
r1 = client.responses.create(
model="gpt-5.6-terra",
input="Hello, I am a Python developer."
)
# 2. gājiens: 50 + 100 = 150 žetoni (kumulatīvais konteksts)
r2 = client.responses.create(
model="gpt-5.6-terra",
input="Which web frameworks do you recommend?",
previous_response_id=r1.id
)
# 10. gājiens: žetoni uzkrājas!
# Monitorē response.usage.input_tokens, lai izvairītos no pārsteigumiem
print(f"Cumulative tokens at turn 2: {r2.usage.input_tokens}")
Garām sarunām risinājums ir aktīvi saīsināt vēsturi: dzēs vecākos ziņojumus, līdz nokrītat zem izvēlētā limita, saglabājot pirmo ziņojumu, kas parasti nes sarunas pamatkontekstu.
def conversation_with_limit(messages: list, token_limit: int = 50000):
"""Uztur saronu zem žetonu limita."""
enc = tiktoken.get_encoding("cl200k_base")
total = sum(len(enc.encode(m["content"])) for m in messages)
# Dzēš vecākos ziņojumus, ja nepieciešams
while total > token_limit and len(messages) > 2:
removed = messages.pop(1) # Saglabā pirmo ziņojumu (kontekstu)
total -= len(enc.encode(removed["content"]))
return messages
Galvenās atziņas
- Viens žetons franču valodā atbilst aptuveni 0,7 vārdiem
- Konteksta logs ietver gan ievadi, GAN izvadi
- Logi atšķiras atkarībā no modeļa: iepriekšējā paaudzē 1 miljons žetonu modelim GPT-5.4 un 200 tūkstoši modeliem GPT-5.3, o3-pro un o4-mini
- Izmanto
tiktoken, lai saskaitītu žetonus pirms izsaukuma - Monitorē
response.usage, lai kontrolētu savas izmaksas - Aktīvi pārvaldi kontekstu garās sarunās