Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Tokenit ja konteksti

Oppitunti 10 / 16 Päivitetty 2. marraskuuta 2026 Aloittelija
Tällä sivulla
  1. Ymmärrä kielimallien valuutta
  2. Mikä on tokeni?
  3. Konteksti-ikkuna
  4. Kustannusten laskeminen
  5. Tokenit ja monikielisyys
  6. Käytännön harjoitus
  7. Keskeiset asiat

Päivitetty 2. marraskuuta 2026. Le Chat on nyt Vibe. 28. toukokuuta 2026 lähtien Le Chat on ollut Vibe (osoitteessa chat.mistral.ai): yksi agentti työhön ja koodaukseen, jossa keskustelusi, asetuksesi ja tilauksesi siirtyvät mukana. Vanha Le Chat -kokemus on edelleen käytettävissä Chat-tilassa; Work-tilassa agentit ovat nyt taitoja (kutsutaan merkillä @), muistitietokanta on tietopohja ja syvähaku on Deep Research -taito. Suunnitelmat ovat nyt nimeltään Mistral Free, Pro, Team ja Enterprise. Tässä oppitunnissa käytetään nimeä Vibe; jotkin tässä kuvatut valikot voivat olla muuttaneet nimeä tai sijaintia.

Ymmärrä kielimallien valuutta

Tokenit ovat minkä tahansa kielimallin perusyksikkö. Kaikki mallille lähettämäsi ja kaikki sen palauttama lasketaan, käsitellään ja laskutetaan tokeneina. Tokenit toimivat sekä mallin muistin mittayksikkönä että laskutusvaluuttana. Tämän käsitteen ymmärtäminen on välttämätöntä Mistral-mallien tehokkaaseen käyttöön, kustannusten arviointiin ja kyselyidesi optimointiin. Kyseessä on myös vaatimaton investointi: idea on yksinkertainen, kun sitä tarkastelee lähemmin.

Mikä on tokeni?

~4
Merkkiä per tokeni (keskiarvo)
256k
Enimmäiskonteksti (Small 4)
~500
Sivua 256 000 tokenissa
BPE
Tokenisointialgoritmi

Tokeni on pienin kielimallin käsittelemä tekstiyksikkö. Se ei ole täsmälleen sana, eikä se ole täsmälleen tavu: se on mallin tokenisointialgoritmin määrittelemä tekstinpätkä. Käytännössä yleinen sana kuten “hello” vastaa yleensä yhtä tokenia, kun taas harvinainen tai tekninen sana jakautuu useampaan pätkään – “disintermediation” voi muuttua 3 tai 4 tokeniksi. Välilyönnit, välimerkit ja erikoismerkit lasketaan myös mukaan, ja numero tai symboli voi muodostaa tokenin itsessään. Lyhyesti sanottuna et voi arvata tekstin tokenipituutta silmäyksellä: se riippuu tekstin sisältämien sanojen yleisyydestä.

BPE-algoritmi

Mistä tämä pilkkominen johtuu? Useimmat nykyaikaiset mallit, mukaan lukien Mistralin mallit, käyttävät BPE (Byte-Pair Encoding) -algoritmia. Periaate on yksinkertainen: analysoidaan valtava tekstiaineisto ja tunnistetaan yleisimmät merkkiyhdistelmät optimaalisen sanaston luomiseksi. Tuloksena on eräänlainen älykäs kielen pakkaus – yleiset sanat ja ilmaisut esitetään muutamalla tokenilla, kun taas harvinaiset termit vaativat enemmän.

Käytännön arviointi

Arvioidaksesi nopeasti tekstissä olevien tokenien määrän, pidä nämä vertailukohdat mielessä: englanniksi 1 token vastaa noin 4 merkkiä tai 0,75 sanaa; ranskaksi suhde on hieman epäedullisempi tarkkeiden ja pidempien sanojen vuoksi – laske noin 1 tokeni per 3,5 merkkiä; koodissa se vaihtelee suuresti kielen mukaan, sillä symbolit ja sisennys kuluttavat oman osuutensa. Konkreettisesti yksi A4-sivu tekstiä (noin 500 sanaa) vastaa noin 650–750 tokenia ranskaksi.

Konteksti-ikkuna

Konteksti-ikkuna on suurin tokenimäärä, jonka malli voi käsitellä yhdessä pyynnössä – mukaan lukien viestisi (syöte) ja mallin vastaus (tuloste). Kuvittele se mallin työmuistiksi: kaiken, mitä se “tietää” keskustelun aikana, on mahduttava sinne. Tämä sisältää nykyisen kysymyksesi sekä keskusteluhistorian, liitetyt asiakirjat, järjestelmäohjeet ja generoitavan vastauksen.

Tämä raja selittää ilmiön, jonka kohtaat ennemmin tai myöhemmin: hyvin pitkässä keskustelussa malli näyttää “unohtavan”, mitä alussa sanottiin. Se ei ole oikku – vanhimmat viestit yksinkertaisesti putoavat ikkunan ulkopuolelle, eikä malli voi kirjaimellisesti enää nähdä niitä. Siksi loputtomat keskustelut menettävät yhtenäisyytensä, ja on usein parempi aloittaa uusi ketju uutta aihetta varten.

Mistralilla koot vaihtelevat mallin mukaan: Mistral Small 4 ja Codestral tarjoavat 256 000 tokenia – suurimman ikkunan mallistossa – kun taas Mistral Large 3 ja Ministral 3 tarjoavat 131 000 tokenia. 256 000 tokenilla Mistral Small 4 pystyy käsittelemään yhden pyynnön aikana noin 500 sivun verran tekstiä: riittävästi analysoimaan kokonaisen sopimuksen, vuosikertomuksen tai laajan koodikannan.

Kustannusten laskeminen

Jos käytät Mistral API:a Scale-suunnitelmalla, laskusi riippuu suoraan kulutettujen tokenien määrästä. Hinnat ilmaistaan dollareina miljoonaa tokenia kohden, ja ero tehdään syötetokenien (kysymyksesi, liitetyt asiakirjat, konteksti) ja tulostetokenien (generoitu vastaus) välillä. Tulostetokenit ovat yleensä kalliimpia, koska tekstin generointi on laskennallisesti kalliimpaa kuin sen lukeminen.

Muutama strategia auttaa hallitsemaan tätä kulutusta. Ole tiivis kehotteissasi: jokainen tarpeeton ohje lasketaan ja siten laskutetaan. Rajoita tulosteen pituutta, kun voit – jos 3 lauseen yhteenveto riittää, määritä se nimenomaisesti, varsinkin koska tulostetokenit ovat kalleimpia. Valitse oikea malli jokaiseen tehtävään: Ministral yksinkertaisiin tehtäviin, Large monimutkaisiin tehtäviin. Lopuksi, uudelleenkäytä keskustelukontekstia: käynnissä olevassa vaihdossa ei tarvitse toistaa jo annettuja tietoja; mallilla on ne edelleen ikkunassaan.

Tokenit ja monikielisyys

Yksi kohta ansaitsee ranskankielisten käyttäjien huomion: ranska kuluttaa keskimäärin enemmän tokeneita kuin englanti saman idean ilmaisemiseen. Tarkkeet voivat pilkkoa sanoja eri tavalla, ranskan sanat ovat usein pidempiä kuin niiden englanninkieliset vastineet, ja artikkelit sekä prepositiot esiintyvät useammin. Käytännössä ranskankielinen teksti käyttää noin 10–20 % enemmän tokeneita kuin sama teksti englanniksi – tekijä, joka on otettava huomioon kustannusarvioissasi, jos työskentelet laajassa mittakaavassa.

Käytännön harjoitus

Tehdäksesi näistä käsitteistä konkreettisia, suorita kolme koetta Vibessä. Esitä ensin lyhyt kysymys, sitten pitkä kysymys, ja havainnoi eroa vasteajassa. Yritä sitten tiivistää pitkä asiakirja yhdessä pyynnössä – Small 4:n 256 000 tokenin ikkuna mahdollistaa tämän. Lopuksi vertaa vastauksia samaan kehotteeseen, joka on muotoiltu ensin ranskaksi ja sitten englanniksi, nähdäksesi pituuserot omin silmin.

Hinnoittelu 5. elokuuta 2026. Hinnat muuttuvat säännöllisesti. Ennen budjetointia tarkista nykyiset hinnat Mistralin virallisesta hinnoittelusta.

Keskeiset asiat

  • Tokeni on tekinkäsittelyn perusyksikkö, joka vastaa noin 4 merkkiä
  • Konteksti-ikkuna määrittää tekstimäärän, jonka malli voi käsitellä kerralla
  • Mistral Small 4 tarjoaa suurimman ikkunan: 256 000 tokenia (noin 500 sivua)
  • API-kustannus on suoraan verrannollinen kulutettujen tokenien määrään
  • Ranska kuluttaa enemmän tokeneita kuin englanti samalle sisällölle
  • Optimoi kustannuksiasi valitsemalla oikean mallin ja olemalla tarkka kehotteissasi