Žetoni in kontekst
Na tej strani
Posodobljeno 2. novembra 2026. Le Chat je zdaj Vibe. Od 28. maja 2026 dalje je Le Chat postal Vibe (še vedno na chat.mistral.ai): en sam agent za delo in kodo, pri čemer so vaši pogovori, nastavitve in naročnine ostali nespremenjeni. Stara izkušnja Le Chat je še vedno dostopna v načinu Chat; v načinu Work so agenti zdaj veščine (ki jih prikličete z
@), spomini so baza znanja, globoko iskanje pa je veščina Deep Research. Načrti se zdaj imenujejo Mistral Free, Pro, Team in Enterprise. Ta lekcija zdaj uporablja ime Vibe; nekateri meniji, opisani tukaj, so morda spremenili ime ali lokacijo.
Razumevanje valute jezikovnih modelov
Žetoni so temeljna enota vsakega jezikovnega modela. Vse, kar pošljete modelu, in vse, kar vam vrne, se šteje, obdela in zaračuna v žetonih. Žetoni služijo kot merilna enota za pomnilnik modela in kot valuta za obračun stroškov. Razumevanje tega koncepta je ključno za učinkovito uporabo modelov Mistral, oceno stroškov in optimizacijo vaših poizvedb. Gre tudi za skromno naložbo: ideja je preprosta, ko si jo pobliže ogledate.
Kaj je žeton?
Žeton je najmanjša enota besedila, ki jo obdela jezikovni model. Ni natančno beseda in ni natančno zlog: gre za delček besedila, ki ga določa algoritem za tokenizacijo modela. V praksi običajna beseda, kot je „zdravo”, običajno ustreza enemu samemu žetonu, medtem ko se redka ali tehnična beseda razdeli na več delčkov – „deintermediacija” lahko postane 3 ali 4 žetoni. Presledki, ločila in posebni znaki se prav tako štejejo, številka ali simbol pa lahko predstavljata žeton sama po sebi. Skratka, dolžine besedila v žetonih ne morete uganiti na prvi pogled: odvisna je od pogostosti besed, ki jih vsebuje.
Algoritem BPE
Od kod ta razdelitev? Večina sodobnih modelov, vključno z Mistralovimi, uporablja algoritem BPE (Byte-Pair Encoding). Načelo je preprosto: analizirajo obsežen korpus besedil in identificirajo najpogostejše kombinacije znakov, da zgradijo optimalen slovar. Rezultat je oblika inteligentnega stiskanja jezika – pogoste besede in izrazi so predstavljeni z nekaj žetoni, redki izrazi pa zahtevajo več.
Praktična ocena
Za hitro oceno števila žetonov v besedilu imejte v mislih naslednja izhodišča: v angleščini 1 žeton ustreza približno 4 znakom ali 0,75 besede; v francoščini je razmerje nekoliko manj ugodno zaradi naglasov in daljših besed – računajte približno 1 žeton na 3,5 znaka; pri kodi se močno razlikuje glede na jezik, pri čemer simboli in zamiki porabijo svoj delež. Konkretno stran A4 besedila (približno 500 besed) predstavlja približno 650 do 750 žetonov v francoščini.
Kontekstno okno
Kontekstno okno je največje število žetonov, ki jih model lahko obdela v enem samem zahtevku – vključno z vašim sporočilom (vhod) in odgovorom modela (izhod). Predstavljajte si ga kot delovni pomnilnik modela: vse, kar model „ve” med pogovorom, mora biti tam. To vključuje vaše trenutno vprašanje, zgodovino izmenjave, priložene dokumente, sistemska navodila in odgovor, ki se ustvarja.
Ta omejitev pojasnjuje pojav, s katerim se boste prej ali slej srečali: v zelo dolgem pogovoru se zdi, da je model „pozabil”, kar je bilo povedano na začetku. Ni muha – najstarejša sporočila preprosto izpadejo iz okna in model jih dobesedno ne more več videti. Zato neskončni pogovori izgubljajo koherenco in zato je pogosto bolje začeti novo nit za novo temo.
Pri Mistralu se velikosti razlikujejo glede na model: Mistral Small 4 in Codestral ponujata 256.000 žetonov – največje okno v ponudbi –, medtem ko Mistral Large 3 in Ministral 3 ponujata 131.000 žetonov. Z 256k žetoni lahko Mistral Small 4 v enem samem zahtevku obdela ekvivalent 500 strani besedila: dovolj za analizo celotne pogodbe, letnega poročila ali obsežne kode.
Izračun stroškov
Če uporabljate Mistral API v okviru načrta Scale, je vaš račun neposredno odvisen od števila porabljenih žetonov. Cene so izražene v dolarjih na milijon žetonov, pri čemer se razlikuje med vhodnimi žetoni (vaše vprašanje, priloženi dokumenti, kontekst) in izhodnimi žetoni (ustvarjeni odgovor). Izhodni žetoni so običajno dražji, ker je ustvarjanje besedila računalniško zahtevnejše kot branje.
Nekaj strategij vam pomaga obvladati to porabo. Bodite jedrnati v svojih pozivih: vsako odvečno navodilo se šteje in zato zaračuna. Omejite dolžino izhoda, kadar lahko – če zadostuje povzetek v treh stavkih, to izrecno navedite, še posebej zato, ker so izhodni žetoni najdražji. Izberite pravi model za vsako nalogo: Ministral za preproste naloge, Large za kompleksne naloge. Nazadnje, ponovno uporabite kontekst pogovora: v tekoči izmenjavi ni treba ponavljati informacij, ki so že bile podane; model jih ima še vedno v svojem oknu.
Žetoni in večjezičnost
Ena točka si zasluži pozornost francosko govorečih uporabnikov: francoščina v povprečju porabi več žetonov kot angleščina za izražanje iste ideje. Naglasi lahko drugače razdelijo besede, francoske besede so pogosto daljše od njihovih angleških ustreznikov, členi in predlogi pa se pojavljajo pogosteje. V praksi bo besedilo v francoščini porabilo približno 10 % do 20 % več žetonov kot isto besedilo v angleščini – dejavnik, ki ga je treba upoštevati pri ocenah stroškov, če delujete v velikem obsegu.
Praktična vaja
Da bi ti koncepti postali otipljivi, izvedite tri poskuse v Vibeu. Najprej zastavite kratko vprašanje, nato dolgo vprašanje in opazujte razliko v času odziva. Nato poskusite povzeti dolg dokument v enem samem zahtevku – okno z 256k žetoni modela Small 4 to omogoča. Nazadnje primerjajte odgovore na isti poziv, oblikovan najprej v francoščini in nato v angleščini, da sami vidite razlike v dolžini.
Cene z dne 5. avgusta 2026. Cene se redno spreminjajo. Pred načrtovanjem proračuna preverite trenutne stopnje na uradnem ceniku Mistral.
Ključne ugotovitve
- Žeton je osnovna enota obdelave besedila, ki ustreza približno 4 znakom
- Kontekstno okno določa količino besedila, ki jo model lahko obdela naenkrat
- Mistral Small 4 ponuja največje okno: 256.000 žetonov (približno 500 strani)
- Strošek API je neposredno sorazmeren s številom porabljenih žetonov
- Francoščina porabi več žetonov kot angleščina za isto vsebino
- Optimizirajte svoje stroške z izbiro pravega modela in natančnostjo v svojih pozivih