Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Tokeni, kontekst i prozor razgovora

Lekcija 7 od 22 Ažurirano 29. srpnja 2026. Programer
Na ovoj stranici
  1. Tokeni, kontekst i prozor razgovora
  2. Što je token?
  3. Prozor konteksta
  4. Tri poluge optimizacije
  5. Kontekst se akumulira tijekom razgovora
  6. Ključne točke

Tokeni, kontekst i prozor razgovora

Token je jedinica kojom model upravlja i jedinica koju tvoj račun prati. Dokle god ti je ovaj koncept nejasan, i tvoji će troškovi biti nejasni, a na kraju ćeš naići na pogrešku prekoračenja konteksta bez da znaš zašto. Ova lekcija razjašnjava oba problema.

Što je token?

Token nije riječ. To je fragment teksta koji model tretira kao nedjeljivu cjelinu. U hrvatskom jeziku jedan token u prosjeku predstavlja oko 0,7 riječi. Biblioteka tiktoken omogućuje ti da točno vidiš kako se tekst dijeli: primijeti kako se „allez-vous“ (u francuskom izvorniku) dijeli na dva tokena, dok „aujourd’hui“, koji se češće pojavljuje u korpusu za obuku, staje u jedan. Ova pojedinost objašnjava zašto francuski tekst troši više tokena od engleskog teksta usporedive duljine.

from openai import OpenAI
client = OpenAI()

# To estimate tokens, use the tiktoken library
import tiktoken

# cl200k_base is used here as an example: each model generation has its own encoder.
# Check the encoder for the model you call before relying on the count.
enc = tiktoken.get_encoding("cl200k_base")

texte = "Bonjour, comment allez-vous aujourd'hui ?"
tokens = enc.encode(texte)
print(f"Text: {texte}")
print(f"Number of tokens: {len(tokens)}")
print(f"Tokens: {tokens}")
print(f"Decoded: {[enc.decode([t]) for t in tokens]}")

# Result:
# Text: Bonjour, comment allez-vous aujourd'hui ?
# Number of tokens: 9
# Tokens: [38025, 11, 4068, 67590, 5072, 76439, 30, ...]
# Decoded: ['Bonjour', ',', ' comment', ' allez', '-vous', " aujourd'hui", ' ?']

Uvijek provjeri koji enkoder odgovara modelu koji pozivaš. Brojanje izvršeno s pogrešnim enkoderom ostaje korisna aproksimacija, ali se neće točno poklapati s tvojim računom.

Prozor konteksta

Svaki model ima maksimalni prozor konteksta, a zamka za početnike je što on uključuje i ulaz i izlaz. To nije budžet samo za ulaz: to je ukupni budžet. Ako tvoj prompt zauzima 190.000 tokena od prozora od 200.000 tokena, za odgovor preostaje samo 10.000 tokena. Model će prekinuti rečenicu usred toka bez daljnjeg upozorenja.

# Previous generation, for reference:
# GPT-5.4: 1,000,000 context tokens
# GPT-5.3: 200,000 context tokens
# gpt-5.6-sol  : 200,000 context tokens
# gpt-5.6-terra : 200,000 context tokens

# Example: if your input is 190,000 tokens in a 200,000-token window,
# only 10,000 tokens remain for the response

response = client.responses.create(
    model="gpt-5.6-terra",
    input="A very long text...",
    max_output_tokens=10000  # Limit explicitly
)

Nakon izvršenja, točan broj možeš pročitati u response.usage, koji razlikuje ulazne tokene, izlazne tokene i ukupni zbroj:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Explain tokens in three sentences."
)

usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Output tokens: {usage.output_tokens}")
print(f"Total: {usage.total_tokens}")

# Result:
# Input tokens: 12
# Output tokens: 58
# Total: 70

Tri poluge optimizacije

Prva poluga je sažetost prompta. Uljudne formule i retoričke opreznosti ne poboljšavaju odgovor, a troše tokene do zadnjega: prva verzija u nastavku koristi trideset pet tokena za rezultat identičan drugoj, koja koristi deset. U razmjeru servisa koji obrađuje milijun zahtjeva, razlika više nije anegdotska.

# BAD — verbose prompt (35 tokens)
response = client.responses.create(
    model="gpt-5.6-terra",
    input="Could you please give me a list "
          "of three fruits that are red in color, if that "
          "does not bother you of course?"
)

# GOOD — concise prompt (10 tokens)
response = client.responses.create(
    model="gpt-5.6-terra",
    input="List 3 red fruits."
)

Druga poluga cilja izlaz, koji košta nekoliko puta više od ulaza. Kombiniraj instrukciju u promptu s tehničkim ograničenjem: prva okviruje pisanje, druga jamči da ćeš se održati unutar budžeta čak i ako model ignorira instrukciju.

# No limit — the model can generate many tokens
response = client.responses.create(
    model="gpt-5.6-terra",
    input="Explain photosynthesis."
)

# With limit — cost control
response = client.responses.create(
    model="gpt-5.6-terra",
    input="Explain photosynthesis in 2 sentences maximum.",
    max_output_tokens=100
)

Treća poluga je procjena troška prije poziva, što postaje bitno čim obrađuješ dokumente promjenjive veličine. Tada možeš odbiti ili podijeliti zahtjev koji je pretežak, umjesto da to otkriješ tek na računu.

import tiktoken

def estimate_cost(text: str, model: str = "gpt-5.6-terra") -> dict:
    """Estimate the cost of an API call."""
    enc = tiktoken.get_encoding("cl200k_base")
    input_tokens = len(enc.encode(text))

    # Approximate prices per million tokens (check current prices)
    prices = {
        "gpt-5.6-sol": {"input": 5.0, "output": 30.0},
        "gpt-5.6-terra": {"input": 2.0, "output": 12.0},
        "gpt-5.6-luna": {"input": 0.20, "output": 1.20},
    }

    input_cost = (input_tokens / 1_000_000) * prices[model]["input"]

    return {
        "input_tokens": input_tokens,
        "input_cost_usd": round(input_cost, 6),
        "model": model
    }

print(estimate_cost("Explain relativity in 3 sentences."))
# Result: {'input_tokens': 10, 'input_cost_usd': 2.5e-05, 'model': 'gpt-5.6-terra'}

Kontekst se akumulira tijekom razgovora

Kada lančaš razmjene koristeći previous_response_id, svaki krug ponovno kreće od cjelokupnog sadržaja prethodnih krugova. Ulazni tokeni stoga neprestano rastu: dijalog koji kreće s 50 tokena teži 150 u drugom krugu, a znatno više u desetom. To je najčešći uzrok spirale troškova bez povećanja prometa, a praćenje response.usage.input_tokens tvoj je signal za uzbunu.

# Turn 1: 50 tokens
r1 = client.responses.create(
    model="gpt-5.6-terra",
    input="Hello, I am a Python developer."
)

# Turn 2: 50 + 100 = 150 tokens (cumulative context)
r2 = client.responses.create(
    model="gpt-5.6-terra",
    input="Which web frameworks do you recommend?",
    previous_response_id=r1.id
)

# Turn 10: tokens accumulate!
# Monitor response.usage.input_tokens to avoid surprises
print(f"Cumulative tokens at turn 2: {r2.usage.input_tokens}")

Za duge razgovore, zaobilazno rješenje je aktivno skraćivanje povijesti: ukloni najstarije poruke dok ne padneš ispod odabranog ograničenja, zadržavajući prvu poruku koja obično nosi utemeljujući kontekst razmjene.

def conversation_with_limit(messages: list, token_limit: int = 50000):
    """Keep the conversation under a token limit."""
    enc = tiktoken.get_encoding("cl200k_base")

    total = sum(len(enc.encode(m["content"])) for m in messages)

    # Remove oldest messages if necessary
    while total > token_limit and len(messages) > 2:
        removed = messages.pop(1)  # Keep the first message (context)
        total -= len(enc.encode(removed["content"]))

    return messages

Ključne točke

  • Jedan token jednak je oko 0,7 riječi u francuskom jeziku
  • Prozor konteksta uključuje ulaz I izlaz
  • Prozori variraju ovisno o modelu: u prethodnoj generaciji, 1 milijun tokena za GPT-5.4 i 200 tisuća za GPT-5.3, o3-pro i o4-mini
  • Koristi tiktoken za brojanje tokena prije poziva
  • Prati response.usage kako bi kontrolirao troškove
  • Aktivno upravljaj kontekstom u dugim razgovorima