Tokeny a kontext
Na tejto strane
Aktualizované 2. novembra 2026. Le Chat je teraz Vibe. Od 28. mája 2026 je Le Chat teraz Vibe (stále na chat.mistral.ai): jediný agent pre prácu a kódovanie, ktorý si zachováva tvoje konverzácie, nastavenia a predplatné. Pôvodné prostredie Le Chat zostáva dostupné v režime Chat; v režime Work sú agenti teraz zručnosti (vyvolávané pomocou
@), spomínanie predstavuje znalostnú databázu a hĺbkové vyhľadávanie je zručnosť Deep Research. Plány sa teraz nazývajú Mistral Free, Pro, Team a Enterprise. Táto lekcia používa názov Vibe; niektoré tu opísané ponuky mohli zmeniť názov alebo umiestnenie.
Pochopte menu jazykových modelov
Tokeny sú základnou jednotkou každého jazykového modelu. Všetko, čo modelu pošleš, a všetko, čo ti vráti, sa počíta, spracúva a fakturuje v tokenoch. Tokeny slúžia ako miera pamäte modelu aj ako mena pre fakturáciu. Pochopenie tohto konceptu je nevyhnutné na efektívne využívanie modelov Mistral, odhadovanie nákladov a optimalizáciu tvojich dopytov. Je to tiež skromná investícia: myšlienka je jednoduchá, akonáhle sa na ňu pozrieš bližšie.
Čo je token?
Token je najmenšia jednotka textu, ktorú spracúva jazykový model. Nie je to presne slovo a nie je to ani presne slabika: je to fragment textu definovaný algoritmom tokenizácie modelu. V praxi bežné slovo ako „ahoj“ zvyčajne zodpovedá jednému tokenu, zatiaľ čo zriedkavé alebo technické slovo sa rozdelí na niekoľko fragmentov – „decentralizácia“ sa môže stať 3 alebo 4 tokenmi. Medzery, interpunkcia a špeciálne znaky sa tiež počítajú a číslica alebo symbol môže tvoriť token sám o sebe. Stručne povedané, dĺžku textu v tokenoch nemôžeš odhadnúť na prvý pohľad: závisí od frekvencie slov, ktoré obsahuje.
Algoritmus BPE
Odkiaľ pochádza toto delenie? Väčšina moderných modelov, vrátane tých od Mistral, používa algoritmus BPE (Byte-Pair Encoding). Princíp je jednoduchý: analyzovať obrovský textový korpus a identifikovať najčastejšie kombinácie znakov na vytvorenie optimálnej slovnej zásoby. Výsledkom je forma inteligentnej kompresie jazyka – časté slová a výrazy sú reprezentované malým počtom tokenov, zatiaľ čo zriedkavé termíny si vyžadujú viac.
Praktický odhad
Na rýchly odhad počtu tokenov v texte maj na pamäti tieto referenčné hodnoty: v angličtine 1 token zodpovedá približne 4 znakom alebo 0,75 slova; vo francúzštine je pomer o niečo menej priaznivý kvôli diakritike a dlhším slovám – počítaj približne 1 token na 3,5 znaku; v kóde sa to veľmi líši podľa jazyka, pričom symboly a odsadenie si berú svoju daň. Konkrétne, jedna strana formátu A4 textu (približne 500 slov) predstavuje vo francúzštine približne 650 až 750 tokenov.
Kontextové okno
Kontextové okno je maximálny počet tokenov, ktoré model dokáže spracovať v jednej požiadavke – vrátane tvojej správy (vstup) a odpovede modelu (výstup). Predstav si to ako pracovnú pamäť modelu: všetko, čo „vie“ počas konverzácie, sa musí zmestiť sem. Zahŕňa to tvoju aktuálnu otázku, históriu výmeny správ, pripojené dokumenty, systémové inštrukcie aj generovanú odpoveď.
Tento limit vysvetľuje jav, s ktorým sa skôr či neskôr stretneš: vo veľmi dlhej konverzácii sa zdá, že model „zabúda“, čo bolo povedané na začiatku. Nie je to rozmar – najstaršie správy jednoducho vypadnú z okna a model ich doslova už nevidí. Preto nekonečné konverzácie strácajú súdržnosť a často je lepšie začať nové vlákno pre novú tému.
V Mistrale sa veľkosti líšia podľa modelu: Mistral Small 4 a Codestral ponúkajú 256 000 tokenov – najväčšie okno v ponuke – zatiaľ čo Mistral Large 3 a Ministral 3 ponúkajú 131 000 tokenov. S 256k tokenmi dokáže Mistral Small 4 spracovať ekvivalent 500 strán textu v jednej požiadavke: dosť na analýzu kompletnej zmluvy, výročnej správy alebo rozsiahlej kódovej základne.
Výpočet nákladov
Ak používaš Mistral API v rámci plánu Scale, tvoja faktúra závisí priamo od počtu spotrebovaných tokenov. Ceny sú vyjadrené v dolároch za milión tokenov, s rozlíšením medzi vstupnými tokenmi (tvoja otázka, pripojené dokumenty, kontext) a výstupnými tokenmi (generovaná odpoveď). Výstupné tokeny sú zvyčajne drahšie, pretože generovanie textu je výpočtovo náročnejšie ako jeho čítanie.
Niekoľko stratégií ti pomôže zvládnuť túto spotrebu. Buď stručný vo svojich promptoch: každá nadbytočná inštrukcia sa počíta, a teda fakturuje. Obmedz dĺžku výstupu, keď môžeš – ak stačí zhrnutie na 3 vety, špecifikuj to explicitne, najmä keďže výstupné tokeny sú najdrahšie. Vyber si správny model pre každú úlohu: Ministral na jednoduché úlohy, Large na zložité úlohy. Nakoniec, opätovne využívaj kontext konverzácie: v prebiehajúcej výmene nie potrebné opakovať informácie, ktoré už boli poskytnuté; model ich má stále vo svojom okne.
Tokeny a viacjazyčnosť
Jeden bod si zaslúži pozornosť frankofónnych používateľov: francúzština spotrebuje v priemere viac tokenov ako angličtina na vyjadrenie tej istej myšlienky. Diakritika môže rozdeliť slová inak, francúzske slová sú často dlhšie ako ich anglické ekvivalenty a členy a predložky sa objavujú častejšie. V praxi text vo francúzštine využije o približne 10 % až 20 % viac tokenov ako rovnaký text v angličtine – faktor, ktorý treba zohľadniť v odhadoch nákladov, ak pracuješ vo veľkom meradle.
Praktické cvičenie
Aby boli tieto koncepty hmatateľné, vykonaj tri experimenty na Vibe. Najprv polož krátku otázku, potom dlhú otázku a pozoruj rozdiel v čase odpovede. Potom sa pokús zhrnúť dlhý dokument v jednej požiadavke – okno 256k tokenov modelu Small 4 to umožňuje. Nakoniec porovnaj odpovede na rovnaký prompt formulovaný vo francúzštine a potom v angličtine, aby si si na vlastné oči overil rozdiely v dĺžke.
Ceny k 5. augustu 2026. Ceny sa pravidelne menia. Pred rozpočtovaním si over aktuálne sadzby na oficiálnom cenníku Mistral.
Kľúčové poznatky
- Token je základná jednotka spracovania textu, zodpovedajúca približne 4 znakom
- Kontextové okno určuje množstvo textu, ktoré model dokáže spracovať naraz
- Mistral Small 4 ponúka najväčšie okno: 256 000 tokenov (približne 500 strán)
- Náklady na API sú priamo úmerné počtu spotrebovaných tokenov
- Francúzština spotrebuje viac tokenov ako angličtina pre rovnaký obsah
- Optimalizuj svoje náklady výberom správneho modelu a presnosťou v promptoch