Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Tokenid ja kontekst

Õppetund 10 / 16 Värskendatud 2. november 2026 Algajatele
Sellel lehel
  1. Mõista keelemudelite valuutat
  2. Mis on token?
  3. Konteksti aken
  4. Kulude arvutamine
  5. Tokenid ja mitmekeelsus
  6. Praktiline harjutus
  7. Peamised punktid

Uuendatud 2. novembril 2026. Le Chat on nüüd Vibe. Alates 28. maist 2026 on Le Chat nüüd Vibe (endisel aadressil chat.mistral.ai): üks agent tööks ja kodeerimiseks, kus sinu vestlused, seaded ja tellimused on üle kantud. Vana Le Chati kasutajakogemus on endiselt kättesaadav režiimis Chat; režiimis Work on agentidest saanud oskused (käivitatakse märgiga @), mälud on teadmistebaas ja süvaotsing on oskus Deep Research. Plaanid kannavad nüüd nimesid Mistral Free, Pro, Team ja Enterprise. Selles õppetükis kasutame nime Vibe; mõned siin kirjeldatud menüüd võivad olla muutnud nime või asukohta.

Mõista keelemudelite valuutat

Tokenid on iga keelemudeli põhiühik. Kõik, mida mudelile saadad, ja kõik, mida see tagastab, loendatakse, töödeldakse ja arveldatakse tokenites. Tokenid toimivad nii mudeli mälu mõõtühikuna kui ka arveldusvaluutana. Selle mõiste mõistmine on hädavajalik Mistrali mudelite tõhusaks kasutamiseks, kulude hindamiseks ja päringute optimeerimiseks. See on ka tagasihoidlik investeering: idee on lihtne, kui seda lähemalt uurida.

Mis on token?

~4
Märke tokeni kohta (keskmiselt)
256k
Maksimaalne kontekst (Small 4)
~500
Lehekülgi 256k tokenis
BPE
Tokeniseerimise algoritm

Token on väikseim tekstiühik, mida keelemudel töötleb. See ei ole täpselt sõna ega ka täpselt silp: see on mudeli tokeniseerimisalgoritmi määratletud tekstifragment. Praktikas vastab levinud sõna nagu „hello“ üldjuhul ühele tokenile, samas kui haruldane või tehniline sõna jaguneb mitmeks fragmendiks – „disintermediation“ võib muutuda 3 või 4 tokeniks. Tühikud, kirjavahemärgid ja erimärgid loevad samuti ning number või sümbol võib moodustada omaette tokeni. Lühidalt öeldes ei saa teksti tokenite pikkust pilguheituga ära arvata: see sõltub selles sisalduvate sõnade esinemissagedusest.

BPE algoritm

Kust see tükeldamine pärineb? Enamik kaasaegseid mudeleid, sealhulgas Mistrali omad, kasutavad BPE (Byte-Pair Encoding) algoritmi. Põhimõte on lihtne: analüüsitakse tohutut tekstikorpust ja tuvastatakse kõige sagedasemad märgikombinatsioonid, et luua optimaalne sõnavara. Tulemuseks on omamoodi intelligentne keele tihendamine – sagedased sõnad ja väljendid on esitatud väheste tokenitega, haruldased terminid aga nõuavad rohkem.

Praktiline hindamine

Tekstis olevate tokenite arvu kiireks hindamiseks pea meeles järgmisi võrdlusarve: inglise keeles vastab 1 token umbes 4 märgile ehk 0,75 sõnale; prantsuse keeles on suhe täishäälikumärkide ja pikemate sõnade tõttu veidi ebasoodsam – arvesta umbes 1 tokenit 3,5 märgi kohta; koodi puhul varieerub see sõltuvalt keelest palju, kusjuures sümbolid ja taanded tarbivad oma osa. Konkreetsemalt väljendatuna vastab A4-formaadis tekstileht (umbes 500 sõna) prantsuse keeles ligikaudu 650–750 tokenile.

Konteksti aken

Konteksti aken on maksimaalne tokenite arv, mida mudel suudab ühes päringus töödelda – see hõlmab nii sinu sõnumit (sisend) kui ka mudeli vastust (väljund). Kujuta seda ette kui mudeli töömahtu: kõik, mida see vestluse ajal „teab“, peab sinna ära mahtuma. See hõlmab sinu praegust küsimust, vahetuse ajalugu, manustatud dokumente, süsteemijuhiseid ja genereeritavat vastust.

See piirang selgitab nähtust, millega varem või hiljem kokku puutud: väga pika vestluse korral tundub mudel „unustavat“, mida alguses öeldi. See ei ole tujutus – vanimad sõnumid lihtsalt kukuvad aknast välja ja mudel ei saa neid sõna otseses mõttes enam näha. Seetõttu kaotavad lõputud vestlused sidususe ja sageli on parem alustada uue teema jaoks uut lõnga.

Mistrali puhul erinevad suurused mudeliti: Mistral Small 4 ja Codestral pakuvad 256 000 tokenit – see on sarja suurim aken –, samas kui Mistral Large 3 ja Ministral 3 pakuvad 131 000 tokenit. 256k tokeniga suudab Mistral Small 4 ühes päringus töödelda umbes 500 lehekülje jagu teksti: sellest piisab terve lepingu, aastaruande või mahuka koodibaasi analüüsimiseks.

Kulude arvutamine

Kui kasutad Mistrali API-d Scale’i plaanis, sõltub sinu arve otseselt tarbitud tokenite arvust. Hinnad on väljendatud dollarites miljoni tokeni kohta, tehes vahet sisendtokenite (sinu küsimus, manustatud dokumendid, kontekst) ja väljundtokenite (genereeritud vastus) vahel. Väljundtokenid on üldjuhul kallimad, kuna teksti genereerimine on arvutuslikult kulukam kui selle lugemine.

Mõned strateegiad aitavad sul seda tarbimist hallata. Ole oma vihjetes kokkuhoidlik: iga üleliigne juhend loetakse ja seega arveldatakse. Piira väljundi pikkust, kui see on võimalik – kui piisab 3 lause kokkuvõttest, täpsusta seda selgesõnaliselt, eriti kuna väljundtokenid on kõige kallimad. Vali iga ülesande jaoks õige mudel: Ministral lihtsate ülesannete jaoks, Large keerukate ülesannete jaoks. Lõpuks kasuta vestluskonteksti uuesti: käimasolevas vahetuses pole vaja juba esitatud teavet korrata; mudelil on see endiselt oma aknas olemas.

Tokenid ja mitmekeelsus

Üks punkt väärib prantsuskeelsete kasutajate tähelepanu: prantsuse keel tarbib sama idee väljendamiseks keskmiselt rohkem tokeneid kui inglise keel. Täishäälikumärgid võivad sõnu erinevalt tükeldada, prantsuse sõnad on sageli pikemad kui nende ingliskeelsed vasteid ning artiklid ja eessõnad esinevad sagedamini. Praktikas kasutab prantsuskeelne tekst sama teksti ingliskeelse versiooniga võrreldes umbes 10–20% rohkem tokeneid – tegur, mida tuleks mastaabis töötades oma kuluhinnangutes arvestada.

Praktiline harjutus

Et need mõisted käegakatsutavaks muuta, vii Vibes läbi kolm katset. Esiteks esita lühike küsimus, seejärel pikk küsimus ja jälgi vastuse aja erinevust. Seejärel püüa ühes päringus kokku võtta pikk dokument – Small 4 256k tokenine aken võimaldab seda. Lõpuks võrdle sama vihjele antud vastuseid, formuleerides selle esmalt prantsuse ja seejärel inglise keeles, et ise pikkuse erinevusi näha.

Hinnad seisuga 5. august 2026. Hinnad muutuvad regulaarselt. Enne eelarvestamist kontrolli kehtivaid hindu aadressil official Mistral pricing.

Peamised punktid

  • Token on teksti töötlemise põhiühik, mis vastab umbes 4 märgile
  • Konteksti aken määrab tekstihulga, mida mudel suudab korraga töödelda
  • Mistral Small 4 pakub suurimat akent: 256 000 tokenit (umbes 500 lehekülge)
  • API kulu on võrdeline tarbitud tokenite arvuga
  • Prantsuse keel tarbib sama sisu jaoks rohkem tokeneid kui inglise keel
  • Optimeeri oma kulusid, valides õige mudeli ja olles oma vihjetes täpne