Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Tokenek, kontextus és beszélgetési ablak

7. lecke 22 közül Frissítve 2026. július 29. Fejlesztő
Ezen az oldalon
  1. Tokenek, kontextus és beszélgetési ablak
  2. Mi az a token?
  3. A kontextusablak
  4. Három optimalizálási kar
  5. A kontextus felhalmozódik a beszélgetés során
  6. Főbb megállapítások

Tokenek, kontextus és beszélgetési ablak

A token az az egység, amelyet a modell kezel, és amely alapján a számládat kiszámolják. Amíg ez a fogalom homályos marad, addig a költségeid is azok lesznek, és előbb-utóbb kontextus-túllépési hibába ütközöl anélkül, hogy értenéd az okát. Ez a lecke mindkét problémát tisztázza.

Mi az a token?

A token nem szó. A szövegnek egy olyan töredéke, amelyet a modell oszthatatlan egységként kezel. Franciául egy token átlagosan körülbelül 0,7 szónak felel meg. A tiktoken könyvtár segítségével pontosan láthatod, hogyan darabolódik fel a szöveg: figyeld meg, hogyan válik két tokenné az „allez-vous“, míg az „aujourd’hui“, amely gyakrabban fordul elő a tanító adathalmazban, egyetlen tokenbe fér bele. Ez a részlet magyarázza, miért fogyaszt el egy francia szöveg több tokent, mint egy hasonló hosszúságú angol szöveg.

from openai import OpenAI
client = OpenAI()

# A tokenek becsléséhez használd a tiktoken könyvtárat
import tiktoken

# A cl200k_base itt csak példaként szolgál: minden modellgenerációnak saját kódolója van.
# Mielőtt a számlálásra hagyatkoznál, ellenőrizd a hívott modellhez tartozó kódolót.
enc = tiktoken.get_encoding("cl200k_base")

texte = "Bonjour, comment allez-vous aujourd'hui ?"
tokens = enc.encode(texte)
print(f"Text: {texte}")
print(f"Number of tokens: {len(tokens)}")
print(f"Tokens: {tokens}")
print(f"Decoded: {[enc.decode([t]) for t in tokens]}")

# Eredmény:
# Text: Bonjour, comment allez-vous aujourd'hui ?
# Number of tokens: 9
# Tokens: [38025, 11, 4068, 67590, 5072, 76439, 30, ...]
# Decoded: ['Bonjour', ',', ' comment', ' allez', '-vous', " aujourd'hui", ' ?']

Mindig ellenőrizd, melyik kódoló illik a hívott modellhez. A rossz kódolóval végzett számolás hasznos közelítés marad, de nem fog pontosan egyezni a számláddal.

A kontextusablak

Minden modellnek van egy maximális kontextusablaka, és a kezdők csapdája az, hogy ez magában foglalja mind a bemenetet, mind a kimenetet. Ez nem egy bemeneti keret: ez egy teljes keret. Ha a promptod 190 000 tokent foglal el egy 200 000 tokenes ablakból, akkor csak 10 000 token marad a válasz számára. A modell figyelmeztetés nélkül félmondat közben megszakítja a generálást.

# Előző generáció, referencia céljából:
# GPT-5.4: 1 000 000 kontextus token
# GPT-5.3: 200 000 kontextus token
# gpt-5.6-sol  : 200 000 kontextus token
# gpt-5.6-terra : 200 000 kontextus token

# Példa: ha a bemeneted 190 000 token egy 200 000 tokenes ablakban,
# akkor csak 10 000 token marad a válasz számára

response = client.responses.create(
    model="gpt-5.6-terra",
    input="A very long text...",
    max_output_tokens=10000  # Explicit korlátozás
)

Utólag a pontos számlálást a response.usage mezőben olvashatod le, amely megkülönbözteti a bemeneti tokeneket, a kimeneti tokeneket és az összesítettet:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Explain tokens in three sentences."
)

usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Output tokens: {usage.output_tokens}")
print(f"Total: {usage.total_tokens}")

# Eredmény:
# Input tokens: 12
# Output tokens: 58
# Total: 70

Három optimalizálási kar

Az első kar a prompt tömörsége. A udvariassági formulák és a retorikai óvatoskodás nem javítják a választ, és az utolsó tokenig költséget jelentenek: az alábbi első változat harmincöt tokent használ egy olyan eredményhez, amely megegyezik a másodikkal, ami csak tízet használ. Egy millió kérést kezelő szolgáltatás szintjén a különbség már nem elhanyagolható.

# ROSSZ — bőbeszédű prompt (35 token)
response = client.responses.create(
    model="gpt-5.6-terra",
    input="Could you please give me a list "
          "of three fruits that are red in color, if that "
          "does not bother you of course?"
)

# JÓ — tömör prompt (10 token)
response = client.responses.create(
    model="gpt-5.6-terra",
    input="List 3 red fruits."
)

A második kar a kimenetre irányul, amely többszöröseibe kerül, mint a bemenet. Kombináld a promptban lévő utasítást egy technikai felső korláttal: az első keretezi a szöveget, a második pedig garantálja, hogy a költségkeretedet betartod, még akkor is, ha a modell figyelmen kívül hagyja az utasítást.

# Korlát nélkül — a modell sok tokent generálhat
response = client.responses.create(
    model="gpt-5.6-terra",
    input="Explain photosynthesis."
)

# Korláttal — költségkontroll
response = client.responses.create(
    model="gpt-5.6-terra",
    input="Explain photosynthesis in 2 sentences maximum.",
    max_output_tokens=100
)

A harmadik kar a hívás előtti költségbecslés, amely elengedhetetlenné válik, amint változó méretű dokumentumokat dolgozol fel. Így elutasíthatsz vagy feloszthatsz egy túl nehéz kérést, ahelyett, hogy csak a számládon vennéd észre.

import tiktoken

def estimate_cost(text: str, model: str = "gpt-5.6-terra") -> dict:
    """Becsüld meg egy API-hívás költségét."""
    enc = tiktoken.get_encoding("cl200k_base")
    input_tokens = len(enc.encode(text))

    # Hozzávetőleges árak milliónyi tokenre (ellenőrizd az aktuális árakat)
    prices = {
        "gpt-5.6-sol": {"input": 5.0, "output": 30.0},
        "gpt-5.6-terra": {"input": 2.0, "output": 12.0},
        "gpt-5.6-luna": {"input": 0.20, "output": 1.20},
    }

    input_cost = (input_tokens / 1_000_000) * prices[model]["input"]

    return {
        "input_tokens": input_tokens,
        "input_cost_usd": round(input_cost, 6),
        "model": model
    }

print(estimate_cost("Explain relativity in 3 sentences."))
# Eredmény: {'input_tokens': 10, 'input_cost_usd': 2.5e-05, 'model': 'gpt-5.6-terra'}

A kontextus felhalmozódik a beszélgetés során

Amikor a previous_response_id használatával láncolsz össze cseréket, minden kör az összes előző kör teljes tartalmából indul ki. A bemeneti tokenek ezért folyamatosan növekednek: egy 50 tokennel induló párbeszéd a második körben 150-et nyom, a tizedikben pedig sokkal többet. Ez a leggyakoribb oka annak, hogy a számlák a forgalom növekedése nélkül is elszabadulnak, és a response.usage.input_tokens figyelése a figyelmeztető jelzésed.

# 1. kör: 50 token
r1 = client.responses.create(
    model="gpt-5.6-terra",
    input="Hello, I am a Python developer."
)

# 2. kör: 50 + 100 = 150 token (kumulatív kontextus)
r2 = client.responses.create(
    model="gpt-5.6-terra",
    input="Which web frameworks do you recommend?",
    previous_response_id=r1.id
)

# 10. kör: a tokenek felhalmozódnak!
# Figyeld a response.usage.input_tokens értéket a meglepetések elkerülése érdekében
print(f"Cumulative tokens at turn 2: {r2.usage.input_tokens}")

Hosszú beszélgetések esetén a megoldás a történelem aktív csonkítása: távolítsd el a legrégebbi üzeneteket, amíg egy választott korlát alá nem érsz, miközben megtartod az elsőt, amely általában a beszélgetés alapvető kontextusát hordozza.

def conversation_with_limit(messages: list, token_limit: int = 50000):
    """Tartsd a beszélgetést egy tokenkorlát alatt."""
    enc = tiktoken.get_encoding("cl200k_base")

    total = sum(len(enc.encode(m["content"])) for m in messages)

    # Távolítsd el a legrégebbi üzeneteket, ha szükséges
    while total > token_limit and len(messages) > 2:
        removed = messages.pop(1)  # Tartsd meg az első üzenetet (kontextus)
        total -= len(enc.encode(removed["content"]))

    return messages

Főbb megállapítások

  • Egy token franciául körülbelül 0,7 szónak felel meg
  • A kontextusablak magában foglalja a bemenetet ÉS a kimenetet
  • Az ablakok modellenként változnak: az előző generációban 1 millió token a GPT-5.4 esetén, és 200 ezer a GPT-5.3, o3-pro és o4-mini esetén
  • Használd a tiktoken eszközt a tokenek megszámolására a hívás előtt
  • Figyeld a response.usage adatokat a költségek kontrollálásához
  • Kezeld aktívan a kontextust hosszú beszélgetések során