Žetoni un konteksts
Šajā lapā
Atjaunināts 2026. gada 2. novembrī. Le Chat tagad ir Vibe. Kopš 2026. gada 28. maija Le Chat ir pārdēvēts par Vibe (joprojām pieejams vietnē chat.mistral.ai): vienots aģents darbam un kodam, saglabājot jūsu sarunas, iestatījumus un abonementus. Vecais Le Chat interfeiss joprojām ir pieejams režīmā Chat; režīmā Work aģenti tagad ir prasmes (izsaucamas ar
@), atmiņas ir zināšanu bāze, bet dziļā meklēšana ir prasme Deep Research. Plāni tagad tiek dēvēti par Mistral Free, Pro, Team un Enterprise. Šajā nodarbībā tiek lietots nosaukums Vibe; dažu šeit aprakstīto izvēlņu nosaukumi vai atrašanās vietas var būt mainījušies.
Izprasti valodu modeļu valūtu
Žetoni ir jebkura valodu modeļa pamatvienība. Viss, ko nosūti modelim, un viss, ko tas atgriež, tiek skaitīts, apstrādāts un tarifēts žetonos. Žetoni kalpo gan kā modeļa atmiņas mērvienība, gan kā norēķinu valūta. Šīs koncepcijas izpratne ir būtiska, lai efektīvi izmantotu Mistral modeļus, novērtētu izmaksas un optimizētu savus vaicājumus. Tas ir arī neliels ieguldījums: ideja ir vienkārša, tiklīdz tajā iedziļinies.
Kas ir žetons?
Žetons ir mazākā teksta vienība, ko apstrādā valodu modelis. Tas nav tieši vārds un nav tieši zilbe: tas ir teksta fragments, ko definē modeļa tokenizācijas algoritms. Praksē bieži lietots vārds, piemēram, „sveiki”, parasti atbilst vienam žetonam, savukārt rets vai tehnisks vārds sadalās vairākos fragmentos – „starpposma novēršana” var kļūt par 3 vai 4 žetoniem. Atstarpes, interpunkcijas zīmes un speciālās rakstzīmes arī tiek skaitītas, un cipars vai simbols var veidot atsevišķu žetonu. Īsāk sakot, tu nevari acu uzmetienā noteikt teksta garumu žetonos: tas ir atkarīgs no tajā esošo vārdu biežuma.
BPE algoritms
No kurienes rodas šī sadalīšana? Lielākā daļa mūsdienu modeļu, tostarp Mistral modeļi, izmanto BPE (Byte-Pair Encoding) algoritmu. Princips ir vienkāršs: analizē milzīgu tekstu kopu un identificē biežākās rakstzīmju kombinācijas, lai izveidotu optimālu vārdnīcu. Rezultāts ir sava veida inteliģenta valodas kompresija – bieži lietoti vārdi un izteicieni tiek attēloti ar dažiem žetoniem, savukārt reti termini prasa vairāk.
Praktisks novērtējums
Lai ātri novērtētu žetonu skaitu tekstā, paturi prātā šos orientierus: angļu valodā 1 žetons atbilst aptuveni 4 rakstzīmēm jeb 0,75 vārdiem; franču valodā attiecība ir nedaudz mazāk labvēlīga akcentu un garāku vārdu dēļ – rēķini aptuveni 1 žetonu uz 3,5 rakstzīmēm; kodā tas ļoti atšķiras atkarībā no valodas, jo simboli un atkāpes arī patērē savu daļu. Konkrēti, viena A4 formāta teksta lapa (aptuveni 500 vārdi) franču valodā veido aptuveni 650 līdz 750 žetonus.
Konteksta logs
Konteksta logs ir maksimālais žetonu skaits, ko modelis var apstrādāt vienā pieprasījumā – tas ietver tavu ziņojumu (ievadi) un modeļa atbildi (izvadi). Iedomājies to kā modeļa darba atmiņu: viss, ko tas „zina” sarunas laikā, ir jāietilpst tajā. Tas ietver tavu pašreizējo jautājumu, kā arī sarunu vēsturi, pievienotos dokumentus, sistēmas instrukcijas un ģenerējamo atbildi.
Šis limits izskaidro parādību, ar kuru sooner vai vēlāk saskarsies: ļoti garā sarunā modelis šķietami „aizmirst” to, kas teikts sākumā. Tā nav kaprīze – vecākie ziņojumi vienkārši izkrīt no loga, un modelis tos burtiski vairs neredz. Tieši tāpēc bezgalīgas sarunas zaudē sakarīgumu un bieži vien ir labāk sākt jaunu pavedienu jaunai tēmai.
Mistral vidē izmēri atšķiras atkarībā no modeļa: Mistral Small 4 un Codestral piedāvā 256 000 žetonu – lielāko logu sortimentā –, savukārt Mistral Large 3 un Ministral 3 piedāvā 131 000 žetonu. Ar 256 tūkstošiem žetonu Mistral Small 4 vienā pieprasījumā var apstrādāt tekstu, kas līdzvērtīgs 500 lappusēm: pietiekami, lai analizētu pilnu līgumu, gada pārskatu vai ievērojamu koda bāzi.
Izmaksu aprēķins
Ja izmanto Mistral API ar plānu Scale, tavs rēķins ir tieši atkarīgs no patērēto žetonu skaita. Cenas ir izteiktas dolāros par miljonu žetonu, nošķirot ievades žetonus (tavs jautājums, pievienotie dokumenti, konteksts) un izvades žetonus (ģenerētā atbilde). Izvades žetoni parasti ir dārgāki, jo teksta ģenerēšana ir skaitļošanas ziņā dārgāka nekā tā lasīšana.
Dažas stratēģijas palīdzēs tev kontrolēt šo patēriņu. Esi kodolīgs savos uzdevumos: katra liekā instrukcija tiek skaitīta un līdz ar to arī tarifēta. Ierobežo izvades garumu, kad tas ir iespējams – ja pietiek ar 3 teikumu kopsavilkumu, norādi to tieši, jo īpaši tāpēc, ka izvades žetoni ir visdārgākie. Izvēlies pareizo modeli katram uzdevumam: Ministral vienkāršiem uzdevumiem, Large – sarežģītiem. Visbeidzot, atkārtoti izmanto sarunu kontekstu: notiekošā apmaiņā nav jāatkārto jau sniegtā informācija; modelim tā joprojām ir pieejama tā logā.
Žetoni un daudzvalodība
Viens punkts ir pelnījis franču valodas lietotāju uzmanību: franču valoda vidēji patērē vairāk žetonu nekā angļu valoda, lai izteiktu to pašu ideju. Akcenti var sadalīt vārdus citādāk, franču vārdi bieži ir garāki par to angļu ekvivalentiem, un artikuli un prievārdi parādās biežāk. Praksē teksts franču valodā izmantos par aptuveni 10% līdz 20% vairāk žetonu nekā tas pats teksts angļu valodā – faktors, kas jāņem vērā izmaksu aprēķinos, ja strādā lielos apjomos.
Praktiskie vingrinājumi
Lai padarītu šīs koncepcijas taustāmas, veic trīs eksperimentus vidē Vibe. Vispirms uzdod īsu jautājumu, tad garu jautājumu un novēro atbildes laika atšķirību. Pēc tam mēģini apkopot garu dokumentu vienā pieprasījumā – Small 4 256 tūkstošu žetonu logs to ļauj. Visbeidzot, salīdzini atbildes uz vienu un to pašu uzdevumu, kas formulēts vispirms franču un pēc tam angļu valodā, lai pats pārliecinātos par garuma atšķirībām.
Cenas uz 2026. gada 5. augustu. Cenas regulāri mainās. Pirms budžeta plānošanas pārbaudi aktuālās likmes oficiālajā Mistral cenu lapā.
Galvenās atziņas
- Žetons ir teksta apstrādes pamatvienība, kas atbilst aptuveni 4 rakstzīmēm
- Konteksta logs nosaka teksta daudzumu, ko modelis var apstrādāt vienlaikus
- Mistral Small 4 piedāvā lielāko logu: 256 000 žetonu (aptuveni 500 lappuses)
- API izmaksas ir tieši proporcionālas patērēto žetonu skaitam
- Franču valoda patērē vairāk žetonu nekā angļu valoda vienam un tam pašam saturam
- Optimizē savas izmaksas, izvēloties pareizo modeli un esot precīzs savos uzdevumos