Tokenek és kontextus
Ezen az oldalon
Frissítve: 2026. november 2. A Le Chat mostantól Vibe. 2026. május 28-tól a Le Chat neve Vibe lett (a cím továbbra is chat.mistral.ai): egyetlen ügynök munkához és kódoláshoz, ahol a beszélgetéseid, beállításaid és előfizetéseid megmaradnak. A régi Le Chat élmény továbbra is elérhető a Chat módban; a Work módban az ügynökök készségekké (skills) váltak (az
@jellel hívhatók meg), az emlékek a tudásbázist képezik, a mély keresés pedig a Deep Research készség. A csomagok neve mostantól Mistral Free, Pro, Team és Enterprise. Ez a lecke már a Vibe nevet használja; egyes itt leírt menük neve vagy helye megváltozhatott.
Értsd meg a nyelvi modellek fizetőeszközét
A tokenek bármely nyelvi modell alapvető egységei. Minden, amit a modellnek küldesz, és minden, amit visszaadsz, tokenekben számítódik, dolgozódik fel és számlázódik. A tokenek egyszerre szolgálják a modell memóriájának mérőegységéül és a számlázás pénznemeként. E fogalom megértése elengedhetetlen a Mistral modellek hatékony használatához, a költségek becsléséhez és a lekérdezéseid optimalizálásához. Ráadásul csekély befektetésről van szó: a gondolat egyszerű, ha közelebbről is megvizsgálod.
Mi az a token?
A token a nyelvi modell által feldolgozott legkisebb szövegegység. Nem pontosan egy szó, és nem is pontosan egy szótag: a modell tokenizációs algoritmusa által definiált szövegrészlet. A gyakorlatban egy gyakori szó, mint például a „hello“, általában egyetlen tokennek felel meg, míg egy ritka vagy műszaki szó több részre hasad – a „disintermediation“ például 3 vagy 4 tokenné is válhat. A szóközök, az írásjelek és a speciális karakterek is számítanak, és egy számjegy vagy szimbólum önmagában is alkothat egy tokent. Röviden: első pillantásra nem tudod megbecsülni egy szöveg tokenhosszát: ez a benne szereplő szavak gyakoriságától függ.
A BPE algoritmus
Honnan ered ez a felbontás? A legtöbb modern modell, beleértve a Mistralét is, a BPE (Byte-Pair Encoding) algoritmust használja. Az elv egyszerű: elemezni egy hatalmas szövegkorpuszt, és azonosítani a leggyakoribb karakterkombinációkat egy optimális szókincs felépítéséhez. Az eredmény a nyelv egyfajta intelligens tömörítése – a gyakori szavakat és kifejezéseket kevés token reprezentálja, míg a ritka kifejezések többet igényelnek.
Gyakorlati becslés
A szövegben lévő tokenek számának gyors megbecsléséhez tartsd észben ezeket az irányadó értékeket: angolul 1 token körülbelül 4 karakternek vagy 0,75 szónak felel meg; franciául az arány kissé kevésbé kedvező az ékezetek és a hosszabb szavak miatt – itt számolj körülbelül 1 tokennel 3,5 karakterenként; kód esetén ez nagyban változik a nyelvtől függően, mivel a szimbólumok és a behúzások is fogyasztják a keretet. Konkrétan egy A4-es oldalnyi szöveg (kb. 500 szó) franciául körülbelül 650–750 tokent jelent.
A kontextusablak
A kontextusablak a tokenek maximális száma, amelyet a modell egyetlen kérésben képes feldolgozni – beleértve az üzenetedet (bemenet) és a modell válaszát (kimenet). Képzeld el úgy, mint a modell munkamemóriáját: mindennek, amit a beszélgetés során „tud“, ide kell férnie. Ez tartalmazza az aktuális kérdésedet, a beszélgetés előzményeit, a csatolt dokumentumokat, a rendszerutasításokat és a generálás alatt álló választ.
Ez a korlát magyaráz egy jelenséget, amellyel előbb-utóbb találkoznál: egy nagyon hosszú beszélgetés során a modell úgy tűnik, „elfelejti“, mi hangzott el a kezdetekkor. Ez nem szeszély – a legrégebbi üzenetek egyszerűen kiesnek az ablakon, és a modell szó szerint már nem látja őket. Ezért veszítik el a végtelen beszélgetések a koherenciájukat, és ezért gyakran jobb új szálat indítani egy új témához.
A Mistralnál a méretek modellenként változnak: a Mistral Small 4 és a Codestral 256 000 tokent kínál – ez a legnagyobb ablak a kínálatban –, míg a Mistral Large 3 és a Ministral 3 131 000 tokent biztosít. 256k tokennel a Mistral Small 4 körülbelül 500 oldalnyi szöveget képes kezelni egyetlen kérésben: ez elég egy teljes szerződés, egy éves jelentés vagy egy jelentős kódbázis elemzéséhez.
Költségszámítás
Ha a Mistral API-t használod a Scale csomagban, a számlád közvetlenül a felhasznált tokenek számától függ. Az árakat millió tokennonkénti dollárban adják meg, különbséget téve a bemeneti tokenek (a kérdésed, a csatolt dokumentumok, a kontextus) és a kimeneti tokenek (a generált válasz) között. A kimeneti tokenek általában drágábbak, mert a szöveg generálása számítástechnikai szempontból költségesebb, mint az olvasása.
Néhány stratégia segít kordában tartani ezt a fogyasztást. Legyél tömör a promptjaidban: minden felesleges utasítás számít, és ezért számlázásra kerül. Korlátozd a kimenet hosszát, amikor csak lehet – ha elég egy 3 mondatos összefoglaló, add meg ezt kifejezetten, különösen mivel a kimeneti tokenek a legdrágábbak. Válaszd ki a megfelelő modellt minden feladathoz: a Ministralt az egyszerű feladatokhoz, a Large-ot a komplexekhez. Végül használd újra a beszélgetés kontextusát: egy folyamatban lévő párbeszédben nincs szükség a már megadott információk ismétlésére; a modell még mindig rendelkezik velük az ablakában.
Tokenek és többnyelvűség
Egy pont különös figyelmet érdemel a francia anyanyelvű felhasználók számára: a francia átlagosan több tokent fogyaszt, mint az angol ugyanazon gondolat kifejezéséhez. Az ékezetek másképp tördelhetik a szavakat, a francia szavak gyakran hosszabbak angol megfelelőiknél, és a névelők, valamint az elöljárószavak is gyakrabban fordulnak elő. A gyakorlatban egy francia nyelvű szöveg körülbelül 10–20%-kal több tokent használ, mint ugyanaz a szöveg angolul – ezt a tényezőt vedd figyelembe a költségbecsléseidnél, ha nagy léptékben dolgozol.
Gyakorlati alkalmazás
Hogy ezek a fogalmak kézzelfoghatóvá váljanak, végezz el három kísérletet a Vibeben. Először tegyél fel egy rövid kérdést, majd egy hosszú kérdést, és figyeld meg a válaszidő különbségét. Ezután próbálj meg összefoglalni egy hosszú dokumentumot egyetlen kérésben – a Small 4 256k tokenes ablaka lehetővé teszi ezt. Végül hasonlítsd össze ugyanannak a promptnak a válaszait, először franciául, majd angolul megfogalmazva, hogy saját szemeddel lásd a hosszbeli különbségeket.
Árak 2026. augusztus 5-i állapot szerint. Az árak rendszeresen változnak. A költségvetés tervezése előtt ellenőrizd az aktuális díjakat a hivatalos Mistral árlapon.
Főbb megállapítások
- A token a szövegfeldolgozás alapvető egysége, amely körülbelül 4 karakternek felel meg
- A kontextusablak határozza meg, mennyi szöveget képes a modell egyszerre feldolgozni
- A Mistral Small 4 kínálja a legnagyobb ablakot: 256 000 token (kb. 500 oldal)
- Az API költsége közvetlenül arányos a felhasznált tokenek számával
- A francia nyelv több tokent fogyaszt, mint az angol ugyanazon tartalom esetén
- Optimalizáld költségeidet a megfelelő modell kiválasztásával és a pontos promptok megfogalmazásával