Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Tokeni i kontekst

Lekcija 10 od 16 Ažurirano 2. studenoga 2026. Početnik
Na ovoj stranici
  1. Razumijevanje valute jezičnih modela
  2. Što je token?
  3. Prozor konteksta
  4. Izračun troškova
  5. Tokeni i višejezičnost
  6. Praktična vježba
  7. Ključne točke

Ažurirano 2. studenoga 2026. Le Chat je sada Vibe. Od 28. svibnja 2026., Le Chat je postao Vibe (i dalje na chat.mistral.ai): jedinstveni agent za posao i kodiranje, s vašim razgovorima, postavkama i pretplatama koje su prenesene. Legacy iskustvo Le Chata ostaje dostupno u načinu Chat; u načinu Work, agenti su sada vještine (pozivaju se s @), memorije su baza znanja, a dubinsko pretraživanje je vještina Deep Research. Planovi se sada zovu Mistral Free, Pro, Team i Enterprise. Ova lekcija sada koristi naziv Vibe; neki izbornici opisani ovdje možda su promijenili naziv ili lokaciju.

Razumijevanje valute jezičnih modela

Tokeni su temeljna jedinica svakog jezičnog modela. Sve što pošaljete modelu i sve što on vrati broji se, obrađuje i naplaćuje u tokenima. Tokeni služe i kao jedinica mjere za memoriju modela i kao valuta za naplatu. Razumijevanje ovog koncepta ključno je za učinkovito korištenje Mistral modela, procjenu troškova i optimizaciju vaših upita. Riječ je također o skromnom ulaganju: ideja je jednostavna čim je pobliže sagledate.

Što je token?

~4
Znakova po tokenu (prosječno)
256k
Maksimalni kontekst (Small 4)
~500
Stranica u 256k tokena
BPE
Algoritam tokenizacije

Token je najmanja jedinica teksta koju obrađuje jezični model. To nije točno riječ, niti je točno slog: to je fragment teksta definiran algoritmom tokenizacije modela. U praksi, uobičajena riječ poput „zdravo“ općenito odgovara jednom tokenu, dok se rijetka ili tehnička riječ dijeli na nekoliko fragmenata – „deintermedijacija“ mogla bi postati 3 ili 4 tokena. Razmaci, interpunkcija i posebni znakovi također se broje, a znamenka ili simbol mogu sami po sebi činiti token. Ukratko, ne možete napamet pogoditi duljinu teksta u tokenima: ona ovisi o učestalosti riječi koje tekst sadrži.

Algoritam BPE

Odakle dolazi to dijeljenje? Većina modernih modela, uključujući Mistralove, koristi algoritam BPE (Byte-Pair Encoding). Princip je jednostavan: analizira se golem korpus teksta i identificiraju najčešće kombinacije znakova kako bi se izgradila optimalna rječnik. Rezultat je oblik inteligentne kompresije jezika – česte riječi i izrazi predstavljeni su s malo tokena, dok rijetki pojmovi zahtijevaju više.

Praktična procjena

Za brzu procjenu broja tokena u tekstu, imajte na umu ove referentne vrijednosti: na engleskom, 1 token odgovara oko 4 znaka ili 0,75 riječi; na francuskom je omjer nešto manje povoljan zbog naglasaka i dužih riječi – računajte oko 1 token na svakih 3,5 znakova; u kodu varira uvelike ovisno o jeziku, pri čemu simboli i uvlačenja troše svoj dio. Konkretno, stranica formata A4 teksta (oko 500 riječi) predstavlja približno 650 do 750 tokena na francuskom.

Prozor konteksta

Prozor konteksta je maksimalni broj tokena koje model može obraditi u jednom zahtjevu – uključujući vašu poruku (ulaz) i odgovor modela (izlaz). Zamislite to kao radnu memoriju modela: sve što on „zna“ tijekom razgovora mora stati tamo. To uključuje vaše trenutno pitanje, plus povijest razmjene, priložene dokumente, sistemske upute i odgovor koji se generira.

Ovo ograničenje objašnjava pojavu s kojom ćete se prije ili kasnije susresti: u vrlo dugom razgovoru čini se da model „zaboravlja“ ono što je rečeno na početku. Nije riječ o hiru – najstarije poruke jednostavno ispadaju iz prozora i model ih doslovno više ne može vidjeti. Zato beskrajni razgovori gube koherenciju i često je bolje započeti novu nit za novu temu.

Kod Mistrala veličine variraju ovisno o modelu: Mistral Small 4 i Codestral nude 256.000 tokena – najveći prozor u ponudi – dok Mistral Large 3 i Ministral 3 nude 131.000 tokena. S 256k tokena, Mistral Small 4 može obraditi ekvivalent od 500 stranica teksta u jednom zahtjevu: dovoljno za analizu cjelovitog ugovora, godišnjeg izvješća ili opsežne baze koda.

Izračun troškova

Ako koristite Mistral API na planu Scale, vaš račun izravno ovisi o broju potrošenih tokena. Cijene su izražene u dolarima po milijun tokena, s razlikom između ulaznih tokena (vaše pitanje, priloženi dokumenti, kontekst) i izlaznih tokena (generirani odgovor). Izlazni tokeni općenito su skuplji jer je generiranje teksta računalno zahtjevnije od njegovog čitanja.

Nekoliko strategija pomaže vam da ovladate ovom potrošnjom. Budite sažeti u svojim promptovima: svaka suvišna uputa se broji, a time i naplaćuje. Ograničite duljinu izlaza kada možete – ako je sažetak od 3 rečenice dovoljan, to eksplicitno navedite, posebno jer su izlazni tokeni najskuplji. Odaberite pravi model za svaki zadatak: Ministral za jednostavne zadatke, Large za složene zadatke. Konačno, ponovno iskoristite kontekst razgovora: u tijeku razmjene nema potrebe ponavljati već dane informacije; model ih još uvijek ima u svom prozoru.

Tokeni i višejezičnost

Jedna točka zaslužuje pozornost korisnika koji govore francuski: francuski jezik u prosjeku troši više tokena od engleskog za izražavanje iste ideje. Naglaci mogu fragmentirati riječi drugačije, francuske riječi su često duže od svojih engleskih ekvivalenata, a članci i prijedlozi pojavljuju se češće. U praksi, tekst na francuskom koristit će oko 10% do 20% više tokena od istog teksta na engleskom – faktor koji treba uzeti u obzir u procjenama troškova ako radite u velikom opsegu.

Praktična vježba

Kako biste ove koncepte učinili opipljivima, provedite tri eksperimenta na Vibeu. Prvo postavite kratko pitanje, zatim dugo pitanje i promatrajte razliku u vremenu odgovora. Zatim pokušajte sažeti dug dokument u jednom zahtjevu – prozor od 256k tokena modela Small 4 to omogućuje. Konačno, usporedite odgovore na isti prompt formuliran prvo na francuskom, a zatim na engleskom kako biste sami vidjeli razlike u duljini.

Cijene od 5. kolovoza 2026. Cijene se redovito mijenjaju. Prije planiranja proračuna provjerite trenutne stope na službenim cijenama Mistrala.

Ključne točke

  • Token je osnovna jedinica obrade teksta, koja odgovara oko 4 znaka
  • Prozor konteksta određuje količinu teksta koju model može obraditi odjednom
  • Mistral Small 4 nudi najveći prozor: 256.000 tokena (oko 500 stranica)
  • Trošak API-ja izravno je proporcionalan broju potrošenih tokena
  • Francuski troši više tokena od engleskog za isti sadržaj
  • Optimizirajte svoje troškove odabirom pravog modela i preciznošću u svojim promptovima