Токени и контекст
На тази страница
Обновено на 2 ноември 2026 г. Le Chat вече е Vibe. От 28 май 2026 г. насам Le Chat се нарича Vibe (все още на chat.mistral.ai): единен агент за работа и кодиране, като Вашите разговори, настройки и абонаменти са прехвърлени. Старата версия на Le Chat остава достъпна в режим Chat; в режим Work агентите вече са умения (извикват се с
@, спомените са базата знания, а задълбоченото търсене е умението Deep Research. Плановете вече се наричат Mistral Free, Pro, Team и Enterprise. Този урок използва името Vibe; някои описани тук менюта може да са променили името или местоположението си.
Разберете валутата на езиковите модели
Токените са фундаменталната единица на всеки езиков модел. Всичко, което изпращате на модела, и всичко, което той връща, се брои, обработва и таксува в токени. Токените служат едновременно като мерна единица за паметта на модела и като валута за фактуриране. Разбирането на тази концепция е от съществено значение за ефективното използване на моделите на Mistral, оценката на разходите и оптимизирането на Вашите заявки. Става въпрос и за скромна инвестиция: идеята е проста, щом я разгледате по-отблизо.
Какво е токен?
Токенът е най-малката единица текст, обработвана от езиков модел. Той не е точно дума и не е точно сричка: това е текстов фрагмент, дефиниран от алгоритъма за токенизация на модела. На практика често срещана дума като „здравей“ обикновено съответства на един токен, докато рядка или техническа дума се разделя на няколко фрагмента – „дезинтермедиация“ може да стане 3 или 4 токена. Интервалите, препинателните знаци и специалните символи също се броят, а една цифра или символ може да съставлява токен сам по себе си. Накратко, не можете да познаете дължината на текста в токени с един поглед: тя зависи от честотата на думите, които съдържа.
Алгоритъмът BPE
Откъде идва това разделяне? Повечето съвременни модели, включително тези на Mistral, използват алгоритъма BPE (Byte-Pair Encoding). Принципът е прост: анализира се огромен текстов корпус и се идентифицират най-честите комбинации от символи, за да се изгради оптимален речник. Резултатът е форма на интелигентно компресиране на езика – честите думи и изрази се представят с малко токени, докато редките термини изискват повече.
Практическа оценка
За бърза оценка на броя токени в даден текст, имайте предвид следните ориентири: на английски 1 токен съответства на около 4 символа или 0,75 думи; на френски съотношението е малко по-неблагоприятно поради ударенията и по-дългите думи – бройте около 1 токен на всеки 3,5 символа; при код варира значително в зависимост от езика, като символите и отстъпите консумират своя дял. Конкретно, една страница А4 с текст (около 500 думи) представлява приблизително 650 до 750 токена на френски.
Прозорецът на контекста
Прозорецът на контекста е максималният брой токени, които един модел може да обработи в една заявка – включително Вашето съобщение (вход) и отговора на модела (изход). Представете си го като работната памет на модела: всичко, което той „знае“ по време на разговор, трябва да се побере там. Това включва текущия Ви въпрос, плюс историята на обмена, прикачените документи, системните инструкции и генерирания отговор.
Това ограничение обяснява явление, с което рано или късно ще се сблъскате: в много дълъг разговор моделът изглежда „забравя“ казаното в началото. Това не е прищявка – най-старите съобщения просто излизат от прозореца и моделът буквално вече не може да ги види. Ето защо безкрайните разговори губят коherence и често е по-добре да започнете нова нишка за нова тема.
В Mistral размерите варират според модела: Mistral Small 4 и Codestral предлагат 256 000 токена – най-големият прозорец в гамата, – докато Mistral Large 3 и Ministral 3 предлагат 131 000 токена. С 256k токена Mistral Small 4 може да обработи еквивалента на 500 страници текст в една заявка: достатъчно, за да анализира пълен договор, годишен отчет или значителна кодова база.
Изчисляване на разходите
Ако използвате Mistral API по плана Scale, Вашата сметка зависи пряко от броя на консумираните токени. Цените са изразени в долари за милион токени, с разграничение между входни токени (Вашият въпрос, прикачени документи, контекст) и изходни токени (генерираният отговор). Изходните токени обикновено са по-скъпи, защото генерирането на текст е по-ресурсоемко от четенето му.
Няколко стратегии Ви помагат да овладеете тази консумация. Бъдете лаконични в подсказките си: всяка излишна инструкция се брои и следователно се таксува. Ограничете дължината на изхода, когато можете – ако резюме от 3 изречения е достатъчно, посочете го изрично, особено след като изходните токени са най-скъпи. Изберете правилния модел за всяка задача: Ministral за прости задачи, Large за сложни. Накрая, преизползвайте контекста на разговора: при текущ обмен няма нужда да повтаряте вече предоставена информация; моделът все още я има в своя прозорец.
Токени и многоезичие
Един момент заслужава вниманието на френскоговорещите потребители: френският език консумира средно повече токени от английския, за да изрази същата идея. Ударенията могат да фрагментират думите по различен начин, френските думи често са по-дълги от английските им еквиваленти, а членовете и предлозите се появяват по-често. На практика един текст на френски ще използва около 10% до 20% повече токени от същия текст на английски – фактор, който трябва да имате предвид при оценката на разходите, ако работите в мащаб.
Практически упражнения
За да направите тези концепции осезаеми, проведете три експеримента във Vibe. Първо задайте кратък въпрос, след това дълъг въпрос и наблюдавайте разликата във времето за отговор. След това се опитайте да обобщите дълъг документ в една заявка – прозорецът от 256k токена на Small 4 позволява това. Накрая, сравнете отговорите на една и съща подсказка, формулирана първо на френски, а след това на английски, за да видите собствените си очи разликите в дължината.
Цени към 5 август 2026 г. Цените се променят редовно. Преди да планирате бюджет, проверете текущите тарифи на официалния ценови лист на Mistral.
Ключови изводи
- Токенът е основната единица за обработка на текст, съответстваща на около 4 символа
- Прозорецът на контекста определя количеството текст, което моделът може да обработи наведнъж
- Mistral Small 4 предлага най-големия прозорец: 256 000 токена (около 500 страници)
- Разходите за API са пряко пропорционални на броя на консумираните токени
- Френският език консумира повече токени от английския за едно и също съдържание
- Оптимизирайте разходите си, като изберете правилния модел и бъдете прецизни в подсказките си