Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Tokenizálás: Hogyan látja a modell az utasításodat

3. lecke 16 közül Frissítve 2026. július 28. Fejlesztő
Ezen az oldalon
  1. Tokenizálás: Hogyan látja a modell az utasításodat
  2. Mi az a token?
  3. A nyelv hatása a költségekre
  4. Három költséges csapda
  5. Az utasításaid optimalizálása
  6. Költségszámítás
  7. Főbb megállapítások

Tokenizálás: Hogyan látja a modell az utasításodat

A modell nem szöveget olvas, hanem tokeneket dolgoz fel. Ez a különbségtétel nem csupán elméleti kérdés. Ez határozza meg, mennyit fizetsz, mennyi adat fér el a kontextusablakodban, és néha azt is, miért akad el a modell egy-egy szón, amit te jelentéktelennek hittél. A tokenizálás megértése három konkrét eszközt ad a kezedbe az alkalmazásodhoz: az utasításaid optimalizálását, a költségek kontrollálását és olyan viselkedések megmagyarázását, amelyek szavakban gondolkodva megmagyarázhatatlannak tűnnek.

Mi az a token?

A token a modell által kezelt alapvető egység. Nem szó és nem is karakter, hanem egy szövegrészlet, amelyet a BPE (Byte Pair Encoding) nevű kódolási algoritmus hoz létre. Ez az algoritmus iteratív módon egyesíti a leggyakoribb karaktersorozatokat a tanítási adathalmazban. Átlagosan egy token körülbelül 4 karakternek felel meg angol nyelven, de ez az arány nyelvenként jelentősen változik. Az alábbi szkript ezt mutatja be egy angol mondattal és annak francia megfelelőjével, megjelenítve a tényleges felosztást. Látni, ahogy a tokenizáló elvágja az „aujourd’hui“ (ma) szót, többet ér bármilyen elméleti magyarázatnál.

import tiktoken

# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")

# Visualize the split
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

A nyelv hatása a költségekre

A francia nyelv átlagosan 20–30%-kal több tokent fogyaszt, mint az angol ugyanazon gondolat kifejezéséhez. Ennek oka, hogy a francia nyelv kevésbé van jelen a tokenizáló tanítási adathalmazában, így a szavai gyakrabban töredeznek fel. Az első következmény pénzügyi: bemeneti és kimeneti tokenenként fizetsz, tehát egy francia nyelvű tudásbázis mechanikusan többe kerül, mint annak angol fordítása azonos tartalom esetén. A második következmény a kontextusablakot érinti, amely francia dokumentumokkal gyorsabban telik meg: egy beszélgetési előzmény, amely angolul harminc váltást bírt el, franciául talán csak huszonnégyet. A harmadik a késleltetés: mivel minden kimeneti token szekvenciálisan generálódik, egy francia válasz megjelenítése tovább tart, mint egy azonos tartalmú angol válaszé.

~4
Karakter per token (EN)
~3
Karakter per token (FR)
$2.50
Bemenet GPT-5.6 Terra (MTokenenként)
200K
BPE o200k kódolás

Három költséges csapda

A ritka szavak és az újonnan alkotott kifejezések állnak a lista élén. Mivel ezek ritkán fordulnak elő a tanítási adathalmazban, altokenekre töredeznek, ami ronthatja a modell megértését. Ez különösen igaz a belső termékhivatkozásaidra és a házon belül kitalált kódnevekre, amelyeket a tokenizáló sosem látott:

# "Anticonstitutionnellement" (Alkotmányellenesen) több tokenre töredezik
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

A JSON és a strukturált kód hasonló meglepetést tartogat. A kapcsos zárójelek, szögletes zárójelek és idézőjelek mindegyike egy tokent emészt fel, ami azt jelenti, hogy a behúzott JSON jelentősen többe kerül, mint a tömörített változata. Egy néhány példát tartalmazó utasításban (few-shot prompt), amely több adatmintát hordoz, ezt a különbséget nem egyszer fizeted meg, hanem minden egyes hívásnál, egész nap.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")

A legfinomabb csapda maga a formázás: a kezdő szóközök, az üres sorok és a behúzások mind számítanak. Egy csapat olvashatósága miatt gondosan igazított rendszerutasítás (system prompt) többe kerül, mint egy tömör utasítás, szigorúan azonos tartalom mellett. Ez nem ok arra, hogy olvashatatlan kódot írj, de ok arra, hogy ezt a kompromisszumot tudatosan hozd meg.

Az utasításaid optimalizálása

Az aranyszabály: mérj, mielőtt optimalizálsz. A tiktoken pontos számlálást ad, míg a megérzéseid gyakran kétszeresen tévednek. Ha már lemérted az értékeket, részesítsd előnyben a tömör utasításokat. A „Válaszolj JSON-ban“ pontosan ugyanazt jelenti, mint a „Szeretném, ha JSON formátumban válaszolnál“, de a tokenek harmadába kerül. A kontextusblokkokban a rövidítések jól működnek: a modell ugyanolyan megbízhatóan értelmezi a „K:“ és „V:“ jelöléseket, mint a „Kérdés:“ és „Válasz:“ szavakat. Végül tömörítsd az üzleti kontextust a hosszú dokumentumok előzetes összefoglalásával, ahelyett, hogy minden kérésbe bemásolnál tíz oldal dokumentációt, amikor csak egy bekezdésre van szükséged.

Költségszámítás

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Estimates the cost of an API call."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # GPT-5.6 Terra pricing, July 2026 (verify current rates)
    price_input = 2.50 / 1_000_000   # per token
    price_output = 15.00 / 1_000_000  # per token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Ez a függvény gyorsan projekt-szintű segédeszközzé válik: kösd össze az utasításaiddal a telepítés előtt, és megmondja, mibe kerül egy napi forgalom, miközben még van időd cselekedni. Bővítsd ezt egy gyakorlattal, amely tanulságosabb, mint elsőre látszik. Telepítsd a tiktoken csomagot (pip install tiktoken), tokenizáld a legbonyolultabb rendszerutasításodat, és azonosítsd a legdrágább szegmenseket – ezek szinte mindig a néhány példát tartalmazó blokkok és a JSON részek. Ezután írd át úgy, hogy 20%-kal kevesebb tokent használj anélkül, hogy egyetlen információdarabkát is elveszítenél. Útközben rájössz, hogy az utasításaid hány mondata csak arra szolgált, hogy téged nyugtasson meg.

Árak 2026. augusztus 5-i állapot szerint – az árak rendszeresen változnak. A költségvetés tervezése előtt ellenőrizd az aktuális díjszabást a hivatalos OpenAI árlapon.

Főbb megállapítások

  • A token nem szó; ez egy BPE-ből származó töredék
  • A francia nyelv 20–30%-kal több tokenbe kerül, mint az angol
  • Rendszeresen mérd az utasításaidat a tiktoken segítségével
  • Optimalizáld a JSON-t és a formázást a költségek csökkentése érdekében
  • A kontextusablakot tokenekben, nem szavakban mérik