Salt la conținutul principal
Română— Alege o limbă
Meniu

Tokeni, context și fereastra de conversație

Lecția 7 din 22 Actualizată 29 iulie 2026 Dezvoltator
Pe această pagină
  1. Tokeni, context și fereastra de conversație
  2. Ce este un token?
  3. Fereastra de context
  4. Trei pârghii de optimizare
  5. Contextul se acumulează pe parcursul conversației
  6. Puncte cheie

Tokeni, context și fereastra de conversație

Tokenul este unitatea pe care modelul o manipulează și unitatea pe care o urmărește factura dumneavoastră. Atâta timp cât acest concept rămâne neclar, și costurile dumneavoastră vor fi la fel, iar în cele din urmă veți întâmpina o eroare de limită de context fără să știți de ce. Această lecție clarifică ambele aspecte.

Ce este un token?

Un token nu este un cuvânt. Este un fragment de text pe care modelul îl tratează ca pe o unitate indivizibilă. În română, un token reprezintă în medie aproximativ 0,75 cuvinte. Biblioteca tiktoken vă permite să vedeți exact cum se divizează textul: observați cum „mergeți“ se descompune în doi tokeni, în timp ce „astăzi“, care apare mai des în corpusul de antrenament, se încadrează într-unul singur. Acest detaliu explică de ce un text în română consumă mai mulți tokeni decât un text în engleză de lungime comparabilă.

from openai import OpenAI
client = OpenAI()

# To estimate tokens, use the tiktoken library
import tiktoken

# cl200k_base is used here as an example: each model generation has its own encoder.
# Check the encoder for the model you call before relying on the count.
enc = tiktoken.get_encoding("cl200k_base")

texte = "Bonjour, comment allez-vous aujourd'hui ?"
tokens = enc.encode(texte)
print(f"Text: {texte}")
print(f"Number of tokens: {len(tokens)}")
print(f"Tokens: {tokens}")
print(f"Decoded: {[enc.decode([t]) for t in tokens]}")

# Result:
# Text: Bonjour, comment allez-vous aujourd'hui ?
# Number of tokens: 9
# Tokens: [38025, 11, 4068, 67590, 5072, 76439, 30, ...]
# Decoded: ['Bonjour', ',', ' comment', ' allez', '-vous', " aujourd'hui", ' ?']

Verificați întotdeauna care encoder corespunde modelului pe care îl apelați. O numărătoare efectuată cu encoderul greșit rămâne o aproximare utilă, dar nu se va potrivi exact cu factura dumneavoastră.

Fereastra de context

Fiecare model are o fereastră de context maximă, iar capcana pentru începători este că aceasta include atât intrarea, cât și ieșirea. Acesta nu este un buget de intrare: este un buget total. Dacă promptul dumneavoastră ocupă 190.000 de tokeni dintr-o fereastră de 200.000 de tokeni, mai rămân doar 10.000 de tokeni pentru răspuns. Modelul se va opri la mijlocul unei propoziții fără niciun alt avertisment.

# Previous generation, for reference:
# GPT-5.4: 1,000,000 context tokens
# GPT-5.3: 200,000 context tokens
# gpt-5.6-sol  : 200,000 context tokens
# gpt-5.6-terra : 200,000 context tokens

# Example: if your input is 190,000 tokens in a 200,000-token window,
# only 10,000 tokens remain for the response

response = client.responses.create(
    model="gpt-5.6-terra",
    input="A very long text...",
    max_output_tokens=10000  # Limit explicitly
)

După fapt, puteți citi numărătoarea exactă în response.usage, care distinge tokenii de intrare, tokenii de ieșire și totalul:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Explain tokens in three sentences."
)

usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Output tokens: {usage.output_tokens}")
print(f"Total: {usage.total_tokens}")

# Result:
# Input tokens: 12
# Output tokens: 58
# Total: 70

Trei pârghii de optimizare

Prima pârghie este concizia promptului. Formulele de politețe și precauțiile retorice nu îmbunătățesc răspunsul și costă tokeni până la ultimul: prima versiune de mai jos folosește treizeci și cinci de tokeni pentru un rezultat identic cu al doilea, care folosește zece. La scara unui serviciu care gestionează un milion de cereri, diferența nu mai este anecdotica.

# BAD — verbose prompt (35 tokens)
response = client.responses.create(
    model="gpt-5.6-terra",
    input="Could you please give me a list "
          "of three fruits that are red in color, if that "
          "does not bother you of course?"
)

# GOOD — concise prompt (10 tokens)
response = client.responses.create(
    model="gpt-5.6-terra",
    input="List 3 red fruits."
)

A doua pârghie vizează ieșirea, care costă de câteva ori mai mult decât intrarea. Combinați instrucțiunea din prompt cu un plafon tehnic: primul încadrează scrierea, al doilea garantează că bugetul dumneavoastră se menține chiar dacă modelul ignoră instrucțiunea.

# No limit — the model can generate many tokens
response = client.responses.create(
    model="gpt-5.6-terra",
    input="Explain photosynthesis."
)

# With limit — cost control
response = client.responses.create(
    model="gpt-5.6-terra",
    input="Explain photosynthesis in 2 sentences maximum.",
    max_output_tokens=100
)

A treia pârghie este estimarea costului înainte de apel, ceea ce devine esențial imediat ce procesați documente de dimensiuni variabile. Astfel, puteți respinge sau diviza o cerere care este prea grea, în loc să o descoperiți pe factura dumneavoastră.

import tiktoken

def estimate_cost(text: str, model: str = "gpt-5.6-terra") -> dict:
    """Estimate the cost of an API call."""
    enc = tiktoken.get_encoding("cl200k_base")
    input_tokens = len(enc.encode(text))

    # Approximate prices per million tokens (check current prices)
    prices = {
        "gpt-5.6-sol": {"input": 5.0, "output": 30.0},
        "gpt-5.6-terra": {"input": 2.0, "output": 12.0},
        "gpt-5.6-luna": {"input": 0.20, "output": 1.20},
    }

    input_cost = (input_tokens / 1_000_000) * prices[model]["input"]

    return {
        "input_tokens": input_tokens,
        "input_cost_usd": round(input_cost, 6),
        "model": model
    }

print(estimate_cost("Explain relativity in 3 sentences."))
# Result: {'input_tokens': 10, 'input_cost_usd': 2.5e-05, 'model': 'gpt-5.6-terra'}

Contextul se acumulează pe parcursul conversației

Când înlănțuiți schimburile folosind previous_response_id, fiecare tur repornește de la totalitatea tururilor anterioare. Tokenii de intrare cresc astfel continuu: un dialog care începe la 50 de tokeni cântărește 150 la al doilea tur și mult mai mult la al zecelea. Aceasta este cea mai frecventă cauză a facturilor care spiralează fără o creștere a traficului, iar monitorizarea response.usage.input_tokens este semnalul dumneavoastră de avertizare.

# Turn 1: 50 tokens
r1 = client.responses.create(
    model="gpt-5.6-terra",
    input="Hello, I am a Python developer."
)

# Turn 2: 50 + 100 = 150 tokens (cumulative context)
r2 = client.responses.create(
    model="gpt-5.6-terra",
    input="Which web frameworks do you recommend?",
    previous_response_id=r1.id
)

# Turn 10: tokens accumulate!
# Monitor response.usage.input_tokens to avoid surprises
print(f"Cumulative tokens at turn 2: {r2.usage.input_tokens}")

Pentru conversațiile lungi, soluția este trunchierea activă a istoricului: eliminați mesajele cele mai vechi până când coborâți sub o limită aleasă, păstrând în același timp primul mesaj, care poartă de obicei contextul fondator al schimbului.

def conversation_with_limit(messages: list, token_limit: int = 50000):
    """Keep the conversation under a token limit."""
    enc = tiktoken.get_encoding("cl200k_base")

    total = sum(len(enc.encode(m["content"])) for m in messages)

    # Remove oldest messages if necessary
    while total > token_limit and len(messages) > 2:
        removed = messages.pop(1)  # Keep the first message (context)
        total -= len(enc.encode(removed["content"]))

    return messages

Puncte cheie

  • Un token egal aproximativ 0,75 cuvinte în română
  • Fereastra de context include intrarea ȘI ieșirea
  • Ferestrele variază în funcție de model: în generația anterioară, 1M tokeni pentru GPT-5.4 și 200K pentru GPT-5.3, o3-pro și o4-mini
  • Folosiți tiktoken pentru a număra tokenii înainte de apel
  • Monitorizați response.usage pentru a vă controla costurile
  • Gestionați activ contextul în conversațiile lungi