Tokens u Kuntest
F'din il-paġna
Aġġornat fit-2 ta’ Novembru, 2026. Le Chat issa huwa Vibe. Mill-28 ta’ Mejju, 2026, Le Chat sar Vibe (għadu fuq chat.mistral.ai): aġent wieħed għax-xogħol u l-kodiċi, bil-konversazzjonijiet, l-issettjar u s-sottoskrizzjonijiet tiegħek miġbura magħhom. L-esperjenza antika ta’ Le Chat tibqa’ aċċessibbli fil-modalità Chat; fil-modalità Work, l-aġenti issa huma ħiliet (invokati b’
@), il-memorji huma l-bażi tal-għarfien, u t-tfittxija profonda hija l-ħila Deep Research. Il-pjanijiet issa jissejħu Mistral Free, Pro, Team, u Enterprise. Din il-lezzjoni tuża l-isem Vibe; xi menus deskritti hawnhekk jistgħu biddlu l-isem jew il-post.
Ifhem il-munita tal-mudelli tal-lingwa
It-tokens huma l-unità fundamentali ta’ kwalunkwe mudell tal-lingwa. Kollox ma’ kollox li tibgħat lill-mudell u kollox ma’ kollox li jirritorna huwa mgħoddud, ipproċessat u ffatturat f’tokens. It-tokens iservu bħala l-unità ta’ kejl għall-memorja tal-mudell u bħala l-munita għall-fatturar. Li tifhem dan il-kunċett huwa essenzjali biex tuża l-mudelli ta’ Mistral b’mod effettiv, tistma l-ispejjeż u tottimizza l-mistoqsijiet tiegħek. Huwa wkoll investiment modest: l-idea hija sempliċi meta tħares lejha mill-qrib.
X’inhu token?
Token huwa l-iżgħar unità ta’ test ipproċessata minn mudell tal-lingwa. Mhuwiex eżattament kelma, u mhuwiex eżattament sillaba: huwa framment ta’ test iddefinit mill-algoritmu ta’ tokenizzazzjoni tal-mudell. Fil-prattika, kelma komuni bħal “hello” ġeneralment tikkorrispondi għal token wieħed, filwaqt li kelma rari jew teknika taqsam f’diversi frammenti—“disintermediation” tista’ ssir 3 jew 4 tokens. L-ispazji, il-punteġġjatura u l-karattri speċjali jingħaddu wkoll, u ċifra jew simbolu jista’ jikkostitwixxi token waħdu. Fi kliem ieħor, ma tistax tgħasses it-tul f’tokens ta’ test b’daqqa t’għajn: jiddependi mill-frekwenza tal-kliem li fih.
L-algoritmu BPE
Minn fejn tiġi din il-qsim? Il-biċċa l-kbira tal-mudelli moderni, inklużi dawk ta’ Mistral, jużaw l-algoritmu BPE (Byte-Pair Encoding). Il-prinċipju huwa sempliċi: analizza korp vast ta’ testi u identifika l-kombinazzjonijiet ta’ karattri l-aktar frekwenti biex tibni vokabolarju ottimali. Ir-riżultat huwa forma ta’ kompressjoni intelliġenti tal-lingwa—il-kliem u l-espressjonijiet frekwenti huma rrappreżentati b’ftit tokens, filwaqt li termini rari jeħtieġu aktar.
Stima prattika
Biex tistma malajr in-numru ta’ tokens f’test, żomm f’moħħok dawn il-punti ta’ referenza: bl-Ingliż, token wieħed jikkorrispondi għal madwar 4 karattri, jew 0.75 kelma; bil-Franċiż, il-proporzjon huwa ftit inqas favorevoli minħabba l-aċċenti u l-kliem itwal—għodd madwar token wieħed għal kull 3.5 karattri; fil-kodiċi, ivarja ħafna skont il-lingwa, bis-simboli u l-indentazzjoni jieħdu s-sehem tagħhom. Konkretament, paġna A4 ta’ test (madwar 500 kelma) tirrappreżenta bejn wieħed u ieħor 650 sa 750 token bil-Franċiż.
It-tieqa tal-kuntest
It-tieqa tal-kuntest (context window) hija n-numru massimu ta’ tokens li mudell jista’ jipproċessa f’talba waħda—inkluż il-messaġġ tiegħek (input) u t-tweġiba tal-mudell (output). Iftiha bħall-memorja tax-xogħol tal-mudell: kollox ma’ kollox li “jaf” waqt konversazzjoni għandu joqgħod hemmhekk. Dan jinkludi l-mistoqsija attwali tiegħek, flimkien mal-istorja tal-iskambju, id-dokumenti mehmuża, l-istruzzjonijiet tas-sistema u t-tweġiba li qed tiġi ġġenerata.
Dan il-limitu jispjega fenomenu li se tiltaqa’ miegħu qabel jew wara: f’konversazzjoni twila ħafna, il-mudell jidher li “jinsa” dak li ntqal fil-bidu. Mhux kapriċċ—il-messaġġi l-aktar antiki sempliċiment joħorġu mit-tieqa, u l-mudell literalment ma jistax jarahom aktar. Għalhekk konversazzjonijiet bla tmiem jitilfu l-kohorenza, u għalhekk spiss ikun aħjar tibda thread ġdid għal suġġett ġdid.
F’Mistral, id-daqsijiet ivarjaw skont il-mudell: Mistral Small 4 u Codestral joffru 256,000 token—l-akbar tieqa fil-linja—filwaqt li Mistral Large 3 u Ministral 3 joffru 131,000 token. B’256k token, Mistral Small 4 jista’ jittratta l-ekwivalenti ta’ 500 paġna ta’ test f’talba waħda: biżżejjed biex tanalizza kuntratt sħiħ, rapport annwali, jew bażi tal-kodiċi kbira.
Kalkolu tal-ispejjeż
Jekk tuża l-API ta’ Mistral fuq il-pjan Scale, il-kont tiegħek jiddependi direttament min-numru ta’ tokens ikkunsmati. Il-prezzijiet huma espressi f’dollari għal kull miljun token, b’distinzjoni bejn tokens tal-input (il-mistoqsija tiegħek, id-dokumenti mehmuża, il-kuntest) u tokens tal-output (it-tweġiba ġġenerata). It-tokens tal-output ġeneralment huma aktar għaljin għax il-ġenerazzjoni tat-test tispiċċa aktar komputazzjonalment milli l-qari tiegħu.
Xi strateġiji jgħinuk timmasterja dan il-konsum. Kun konċiż fil-prompts tiegħek: kull istruzzjoni ridondanti tingħadd, u għalhekk tiġi ffatturata. Illimita t-tul tal-output meta tkun tista’—jekk sommarju ta’ 3 sentenzi huwa biżżejjed, speċifikah b’mod espliċitu, speċjalment peress li t-tokens tal-output huma l-aktar għaljin. Agħżel il-mudell it-tajjeb għal kull kompitu: Ministral għal kompiti sempliċi, Large għal kompiti kumplessi. Fl-aħħar nett, uża mill-ġdid il-kuntest tal-konversazzjoni: f’skambju għaddej, m’hemmx bżonn terġa’ tgħid informazzjoni diġà pprovduta; il-mudell għadha għandha fit-tieqa tiegħu.
Tokens u multilingwiżmu
Punt wieħed jistħoqqilha l-attenzjoni tal-utenti li jitkellmu bil-Franċiż: il-Franċiż jikkonsma medjament aktar tokens mill-Ingliż biex jesprimi l-istess idea. L-aċċenti jistgħu jifframmentaw il-kliem b’mod differenti, il-kliem Franċiż spiss ikun itwal mill-ekwivalenti Ingliż tiegħu, u l-artikli u l-prepożizzjonijiet jidhru aktar spiss. Fil-prattika, test bil-Franċiż se juża madwar 10% sa 20% aktar tokens mill-istess test bl-Ingliż—fattur li għandek tqis fl-istimi tal-ispejjeż tiegħek jekk taħdem fuq skala kbira.
Prattika manwali
Biex tagħmel dawn il-kunċetti tanġibbli, wettaq tliet esperimenti fuq Vibe. L-ewwel agħmel mistoqsija qasira, imbagħad waħda twila, u osserva d-differenza fil-ħin ta’ tweġiba. Imbagħad ipprova tissommarizza dokument twil f’talba waħda—it-tieqa ta’ 256k token ta’ Small 4 tippermetti dan. Fl-aħħar nett, qabbel it-tweġibiet għall-istess prompt ifformulat bil-Franċiż u mbagħad bl-Ingliż biex tara d-differenzi fit-tul b’għajnejk.
Prezzijiet sal-5 ta’ Awwissu, 2026. Il-prezzijiet jinbidlu regolarment. Qabel ma tibbaġitja, iċċekkja r-rati attwali fuq prezzijiet uffiċjali ta’ Mistral.
Punti Ewlenin
- Token huwa l-unità bażika tal-ipproċessar tat-test, li tikkorrispondi għal madwar 4 karattri
- It-tieqa tal-kuntest tiddetermina l-ammont ta’ test li mudell jista’ jipproċessa f’daqqa
- Mistral Small 4 joffri l-akbar tieqa: 256,000 token (madwar 500 paġna)
- L-ispiża tal-API hija direttament proporzjonali għan-numru ta’ tokens ikkunsmati
- Il-Franċiż jikkonsma aktar tokens mill-Ingliż għall-istess kontenut
- Ottimizza l-ispejjeż tiegħek billi tagħżel il-mudell it-tajjeb u tkun preċiż fil-prompts tiegħek