Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Tokenek és kontextus

10. lecke 16 közül Frissítve 2026. november 2. Kezdő
Ezen az oldalon
  1. Értsd meg a nyelvi modellek fizetőeszközét
  2. Mi az a token?
  3. A kontextusablak
  4. Költségszámítás
  5. Tokenek és többnyelvűség
  6. Gyakorlati alkalmazás
  7. Főbb megállapítások

Frissítve: 2026. november 2. A Le Chat mostantól Vibe. 2026. május 28-tól a Le Chat neve Vibe lett (a cím továbbra is chat.mistral.ai): egyetlen ügynök munkához és kódoláshoz, ahol a beszélgetéseid, beállításaid és előfizetéseid megmaradnak. A régi Le Chat élmény továbbra is elérhető a Chat módban; a Work módban az ügynökök készségekké (skills) váltak (az @ jellel hívhatók meg), az emlékek a tudásbázist képezik, a mély keresés pedig a Deep Research készség. A csomagok neve mostantól Mistral Free, Pro, Team és Enterprise. Ez a lecke már a Vibe nevet használja; egyes itt leírt menük neve vagy helye megváltozhatott.

Értsd meg a nyelvi modellek fizetőeszközét

A tokenek bármely nyelvi modell alapvető egységei. Minden, amit a modellnek küldesz, és minden, amit visszaadsz, tokenekben számítódik, dolgozódik fel és számlázódik. A tokenek egyszerre szolgálják a modell memóriájának mérőegységéül és a számlázás pénznemeként. E fogalom megértése elengedhetetlen a Mistral modellek hatékony használatához, a költségek becsléséhez és a lekérdezéseid optimalizálásához. Ráadásul csekély befektetésről van szó: a gondolat egyszerű, ha közelebbről is megvizsgálod.

Mi az a token?

~4
Karakter tokennként (átlag)
256k
Maximális kontextus (Small 4)
~500
Oldal 256k tokenben
BPE
Tokenizációs algoritmus

A token a nyelvi modell által feldolgozott legkisebb szövegegység. Nem pontosan egy szó, és nem is pontosan egy szótag: a modell tokenizációs algoritmusa által definiált szövegrészlet. A gyakorlatban egy gyakori szó, mint például a „hello“, általában egyetlen tokennek felel meg, míg egy ritka vagy műszaki szó több részre hasad – a „disintermediation“ például 3 vagy 4 tokenné is válhat. A szóközök, az írásjelek és a speciális karakterek is számítanak, és egy számjegy vagy szimbólum önmagában is alkothat egy tokent. Röviden: első pillantásra nem tudod megbecsülni egy szöveg tokenhosszát: ez a benne szereplő szavak gyakoriságától függ.

A BPE algoritmus

Honnan ered ez a felbontás? A legtöbb modern modell, beleértve a Mistralét is, a BPE (Byte-Pair Encoding) algoritmust használja. Az elv egyszerű: elemezni egy hatalmas szövegkorpuszt, és azonosítani a leggyakoribb karakterkombinációkat egy optimális szókincs felépítéséhez. Az eredmény a nyelv egyfajta intelligens tömörítése – a gyakori szavakat és kifejezéseket kevés token reprezentálja, míg a ritka kifejezések többet igényelnek.

Gyakorlati becslés

A szövegben lévő tokenek számának gyors megbecsléséhez tartsd észben ezeket az irányadó értékeket: angolul 1 token körülbelül 4 karakternek vagy 0,75 szónak felel meg; franciául az arány kissé kevésbé kedvező az ékezetek és a hosszabb szavak miatt – itt számolj körülbelül 1 tokennel 3,5 karakterenként; kód esetén ez nagyban változik a nyelvtől függően, mivel a szimbólumok és a behúzások is fogyasztják a keretet. Konkrétan egy A4-es oldalnyi szöveg (kb. 500 szó) franciául körülbelül 650–750 tokent jelent.

A kontextusablak

A kontextusablak a tokenek maximális száma, amelyet a modell egyetlen kérésben képes feldolgozni – beleértve az üzenetedet (bemenet) és a modell válaszát (kimenet). Képzeld el úgy, mint a modell munkamemóriáját: mindennek, amit a beszélgetés során „tud“, ide kell férnie. Ez tartalmazza az aktuális kérdésedet, a beszélgetés előzményeit, a csatolt dokumentumokat, a rendszerutasításokat és a generálás alatt álló választ.

Ez a korlát magyaráz egy jelenséget, amellyel előbb-utóbb találkoznál: egy nagyon hosszú beszélgetés során a modell úgy tűnik, „elfelejti“, mi hangzott el a kezdetekkor. Ez nem szeszély – a legrégebbi üzenetek egyszerűen kiesnek az ablakon, és a modell szó szerint már nem látja őket. Ezért veszítik el a végtelen beszélgetések a koherenciájukat, és ezért gyakran jobb új szálat indítani egy új témához.

A Mistralnál a méretek modellenként változnak: a Mistral Small 4 és a Codestral 256 000 tokent kínál – ez a legnagyobb ablak a kínálatban –, míg a Mistral Large 3 és a Ministral 3 131 000 tokent biztosít. 256k tokennel a Mistral Small 4 körülbelül 500 oldalnyi szöveget képes kezelni egyetlen kérésben: ez elég egy teljes szerződés, egy éves jelentés vagy egy jelentős kódbázis elemzéséhez.

Költségszámítás

Ha a Mistral API-t használod a Scale csomagban, a számlád közvetlenül a felhasznált tokenek számától függ. Az árakat millió tokennonkénti dollárban adják meg, különbséget téve a bemeneti tokenek (a kérdésed, a csatolt dokumentumok, a kontextus) és a kimeneti tokenek (a generált válasz) között. A kimeneti tokenek általában drágábbak, mert a szöveg generálása számítástechnikai szempontból költségesebb, mint az olvasása.

Néhány stratégia segít kordában tartani ezt a fogyasztást. Legyél tömör a promptjaidban: minden felesleges utasítás számít, és ezért számlázásra kerül. Korlátozd a kimenet hosszát, amikor csak lehet – ha elég egy 3 mondatos összefoglaló, add meg ezt kifejezetten, különösen mivel a kimeneti tokenek a legdrágábbak. Válaszd ki a megfelelő modellt minden feladathoz: a Ministralt az egyszerű feladatokhoz, a Large-ot a komplexekhez. Végül használd újra a beszélgetés kontextusát: egy folyamatban lévő párbeszédben nincs szükség a már megadott információk ismétlésére; a modell még mindig rendelkezik velük az ablakában.

Tokenek és többnyelvűség

Egy pont különös figyelmet érdemel a francia anyanyelvű felhasználók számára: a francia átlagosan több tokent fogyaszt, mint az angol ugyanazon gondolat kifejezéséhez. Az ékezetek másképp tördelhetik a szavakat, a francia szavak gyakran hosszabbak angol megfelelőiknél, és a névelők, valamint az elöljárószavak is gyakrabban fordulnak elő. A gyakorlatban egy francia nyelvű szöveg körülbelül 10–20%-kal több tokent használ, mint ugyanaz a szöveg angolul – ezt a tényezőt vedd figyelembe a költségbecsléseidnél, ha nagy léptékben dolgozol.

Gyakorlati alkalmazás

Hogy ezek a fogalmak kézzelfoghatóvá váljanak, végezz el három kísérletet a Vibeben. Először tegyél fel egy rövid kérdést, majd egy hosszú kérdést, és figyeld meg a válaszidő különbségét. Ezután próbálj meg összefoglalni egy hosszú dokumentumot egyetlen kérésben – a Small 4 256k tokenes ablaka lehetővé teszi ezt. Végül hasonlítsd össze ugyanannak a promptnak a válaszait, először franciául, majd angolul megfogalmazva, hogy saját szemeddel lásd a hosszbeli különbségeket.

Árak 2026. augusztus 5-i állapot szerint. Az árak rendszeresen változnak. A költségvetés tervezése előtt ellenőrizd az aktuális díjakat a hivatalos Mistral árlapon.

Főbb megállapítások

  • A token a szövegfeldolgozás alapvető egysége, amely körülbelül 4 karakternek felel meg
  • A kontextusablak határozza meg, mennyi szöveget képes a modell egyszerre feldolgozni
  • A Mistral Small 4 kínálja a legnagyobb ablakot: 256 000 token (kb. 500 oldal)
  • Az API költsége közvetlenül arányos a felhasznált tokenek számával
  • A francia nyelv több tokent fogyaszt, mint az angol ugyanazon tartalom esetén
  • Optimalizáld költségeidet a megfelelő modell kiválasztásával és a pontos promptok megfogalmazásával