Žetonai ir kontekstas
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 2 d. Le Chat dabar vadinasi Vibe. Nuo 2026 m. gegužės 28 d. Le Chat tapo Vibe (vis dar adresu chat.mistral.ai): vienu agentu darbui ir kodui, į kurį perkelti tavo pokalbiai, nustatymai ir prenumeratos. Senoji Le Chat sąsaja vis dar pasiekiama režimu Chat; režimu Work agentai tapo įgūdžiais (kviečiami naudojant
@), atmintys – žinių baze, o giluminė paieška – įgūdžiu „Deep Research“. Planai dabar vadinami Mistral Free, Pro, Team ir Enterprise. Šioje pamokoje naudojamas pavadinimas Vibe; kai kurie čia aprašyti meniu punktai galėjo pakeisti pavadinimą arba vietą.
Suprask kalbos modelių valiutą
Žetonai yra pagrindinis bet kurio kalbos modelio vienetas. Visas tekstas, kurį siunči modeliui, ir visas jo grąžinamas atsakymas yra skaičiuojamas, apdorojamas ir apmokestinamas žetonais. Žetonai tarnauja tiek kaip modelio atminties matavimo vienetas, tiek kaip atsiskaitymo valiuta. Šios sąvokos supratimas yra būtinas norint efektyviai naudoti „Mistral“ modelius, įvertinti išlaidas ir optimizuoti savo užklausas. Tai taip pat nedidelė investicija: idėja paprasta, jei į ją pažvelgi atidžiau.
Kas yra žetonas?
Žetonas yra mažiausias teksto vienetas, kurį apdoroja kalbos modelis. Tai nėra tiksliai žodis ir nėra tiksliai skiemuo: tai teksto fragmentas, apibrėžtas modelio žetonizacijos algoritmo. Praktiškai dažnas žodis, pavyzdžiui, „labas“, paprastai atitinka vieną žetoną, o retas ar techninis žodis suskaidomas į kelis fragmentus – „decentralizacija“ gali tapti 3 ar 4 žetonais. Tarpai, skyrybos ženklai ir specialieji simboliai taip pat skaičiuojami, o skaitmuo ar simbolis gali sudaryti atskirą žetoną. Trumpai tariant, negali iš akių atspėti teksto ilgio žetonais: tai priklauso nuo jame esančių žodžių dažnumo.
BPE algoritmas
Iš kur atsiranda šis skaidymas? Dauguma šiuolaikinių modelių, įskaitant „Mistral“, naudoja BPE (Byte-Pair Encoding) algoritmą. Principas paprastas: išanalizuojama didelė teksto duomenų bazė ir identifikuojami dažniausi simbolių deriniai, kad būtų sukurtas optimalus žodynas. Rezultatas – tam tikra išmani kalbos kompresija: dažni žodžiai ir posakiai vaizduojami keliais žetonais, o retiems terminams jų reikia daugiau.
Praktinis įvertinimas
Norint greitai įvertinti žetonų skaičių tekste, atmink šias gaires: anglų kalboje 1 žetonas atitinka apie 4 simbolius arba 0,75 žodžio; prancūzų kalboje santykis šiek tiek mažiau palankus dėl diakritinių ženklų ir ilgesnių žodžių – skaičiuok apie 1 žetoną kas 3,5 simbolio; kode tai labai svyruoja priklausomai nuo programavimo kalbos, nes simboliai ir įtraukos taip pat suvartoja savo dalį. Konkrečiai, vienas A4 formato teksto puslapis (apie 500 žodžių) prancūzų kalba atitinka maždaug 650–750 žetonus.
Konteksto langas
Konteksto langas yra maksimalus žetonų skaičius, kurį modelis gali apdoroti vieno užklausos metu – tai apima tavo žinutę (įvestį) ir modelio atsakymą (išvestį). Įsivaizduok tai kaip modelio darbinę atmintį: viskas, ką jis „žino“ pokalbio metu, turi tilpti ten. Tai apima tavo dabartinį klausimą, pokalbių istoriją, pridėtus dokumentus, sistemos instrukcijas ir kuriamą atsakymą.
Šis limitas paaiškina reiškinį, su kuriuo anksčiau ar vėliau susidursi: labai ilgo pokalbio metu modelis, atrodo, „pamiršta“ tai, kas buvo pasakyta pradžioje. Tai ne užgaida – seniausios žinutės tiesiog iškrenta iš lango, ir modelis jų tiesiog nebegali matyti. Štai kodėl begaliniai pokalbiai praranda nuoseklumą ir kodėl dažnai geriau pradėti naują temą nauja gija.
„Mistral“ dydžiai skiriasi priklausomai nuo modelio: Mistral Small 4 ir Codestral siūlo 256 000 žetonų – tai didžiausias langas visoje linijoje, o Mistral Large 3 ir Ministral 3 siūlo 131 000 žetonų. Turėdamas 256 tūkst. žetonų, „Mistral Small 4“ vienos užklausos metu gali apdoroti tekstą, lygiavertį 500 puslapių: to pakanka visai sutarčiai, metinei ataskaitai arba didelės apimties kodui analizuoti.
Išlaidų skaičiavimas
Jei naudoji „Mistral“ API pagal „Scale“ planą, tavo sąskaita tiesiogiai priklauso nuo suvartotų žetonų skaičiaus. Kainos išreiškiamos doleriais už milijoną žetonų, atskiriant įvesties žetonus (tavo klausimas, pridėti dokumentai, kontekstas) ir išvesties žetonus (sugeneruotas atsakymas). Išvesties žetonai paprastai yra brangesni, nes teksto generavimas reikalauja daugiau skaičiavimo išteklių nei jo skaitymas.
Keletas strategijų padės tau valdyti šį vartojimą. Būk lakoniškas savo promptuose: kiekviena perteklinė instrukcija yra skaičiuojama ir todėl apmokestinama. Apribok išvesties ilgį, kai gali – jei pakanka 3 sakinių santraukos, tai aiškiai nurodyk, juolab kad išvesties žetonai yra brangiausi. Pasirink tinkamą modelį kiekvienai užduočiai: „Ministral“ paprastoms užduotims, „Large“ – sudėtingoms. Galiausiai, pakartotinai naudok pokalbio kontekstą: vykstančio dialogo metu nereikia kartoti jau pateiktos informacijos; modelis ją vis dar turi savo lange.
Žetonai ir daugiakalbiškumas
Vienas punktas nusipelno prancūzakalbių vartotojų dėmesio: prancūzų kalba vidutiniškai suvartoja daugiau žetonų nei anglų kalba tai pačiai idėjai išreikšti. Diakritiniai ženklai gali kitaip suskaidyti žodžius, prancūzų žodžiai dažnai yra ilgesni nei jų angliški atitikmenys, o artikeliai ir prielinksniai pasitaiko dažniau. Praktiškai tekstas prancūzų kalba sunaudos apie 10–20 % daugiau žetonų nei tas pats tekstas anglų kalba – į tai verta atsižvelgti vertinant išlaidas, jei dirbi dideliu mastu.
Praktinė užduotis
Kad šios sąvokos taptų apčiuopiamos, atlik tris eksperimentus su „Vibe“. Pirmiausia užduok trumpą klausimą, tada ilgą klausimą ir stebėk atsakymo laiko skirtumą. Tada pabandyk apibendrinti ilgą dokumentą viena užklausa – tam pakanka „Small 4“ 256 tūkst. žetonų lango. Galiausiai palygink atsakymus į tą patį promptą, suformuluotą pirmiausia prancūzų, o paskui anglų kalba, kad pats įsitikintum ilgio skirtumais.
Kainos 2026 m. rugpjūčio 5 d. Kainos keičiasi reguliariai. Prieš planuodamas biudžetą, patikrink dabartinius tarifus oficialioje „Mistral“ kainodaros svetainėje.
Svarbiausi punktai
- Žetonas yra pagrindinis teksto apdorojimo vienetas, atitinkantis apie 4 simbolius
- Konteksto langas nustato teksto kiekį, kurį modelis gali apdoroti vienu metu
- „Mistral Small 4“ siūlo didžiausią langą: 256 000 žetonų (apie 500 puslapių)
- API kaina yra tiesiogiai proporcinga suvartotų žetonų skaičiui
- Prancūzų kalba tam pačiam turiniui suvartoja daugiau žetonų nei anglų kalba
- Optimizuok savo išlaidas pasirinkdamas tinkamą modelį ir būdamas tikslus savo promptuose