Премини към основното съдържание
Български— Изберете език
Меню

Мултимодална архитектура на моделите на Mistral

Урок 2 от 12 Обновен 29 юли 2026 г. Програмист
На тази страница
  1. Как моделът обработва текст и изображения?
  2. Визуалният енкодер (Vision Encoder)
  3. Сливане на текст и изображение в LLM
  4. Влияние върху броенето на токени
  5. Ограничения за размер и разделителна способност
  6. Опростена архитектура
  7. Ключови изводи

Как моделът обработва текст и изображения?

Когато изпратите изображение на модел на Mistral, той не го „вижда“ по начина, по който го прави човек. Обработката разчита на двуетапна архитектура: първо, визуален енкодер трансформира изображението в поредица от числови токени; след това езиковият модел обработва тези визуални токени заедно с текстовите токени от Вашата подкана.

Този урок може да изглежда теоретичен, но всъщност е най-рентабилната част от курса. Разбирането на този механизъм обяснява защо изображение с разделителна способност 4K не дава по-добри резултати от такова с 1080p, защо месечната Ви сметка нараства много по-бързо при пет изображения, отколкото при пет абзаца текст, и защо дребният текст в екранна снимка често се разпознава лошо.

Визуалният енкодер (Vision Encoder)

Визуалният енкодер е специализирана невронна мрежа – обикновено Vision Transformer (ViT) – която разрязва изображението на малки квадратни участъци (patches), например с размер 14×14 пиксела, и ги преобразува в числови вграждания (embeddings). Процесът протича в пет стъпки:

  1. Преоразмеряване: изображението се мащабира до стандартна разделителна способност (напр. 384×384 или 768×768 пиксела)
  2. Извличане на участъци: преоразмереното изображение се разделя на правилни участъци
  3. Проекция: всеки участък се преобразува в числов вектор (вграждане)
  4. Позиционно кодиране: добавя се информация за позицията на всеки участък
  5. Внимание (Attention): визуалният трансформатор обработва цялата поредица

Резултатът е поредица от визуални токени, напълно сравними с текстовите токени, с тази разлика, че те представляват зони от изображението, а не фрагменти от думи. Първата стъпка заслужава Вашето внимание: тя обяснява защо сканирана фактура с ширина 4000 пиксела се редуцира до няколкостотин пиксела, преди анализът дори да започне. Знаците в ситния шрифт, които вече са на границата на четимостта, се превръщат в няколко размазани пиксела.

Сливане на текст и изображение в LLM

След като визуалните токени са генерирани, те се вмъкват във входната последователност на езиковия модел заедно с текстовите токени. Моделът обработва всичко еднакво благодарение на механизма на кръстосано внимание (cross-attention).

[text tokens: "Describe this image"] + [visual tokens: patch1, patch2, ..., patchN]
                                    ↓
                          Language Model (LLM)
                                    ↓
                    [output tokens: "This image shows..."]

По този начин моделът може едновременно да „чете“ изображението и текста, което му позволява да отговаря на конкретни въпроси относно визуалното съдържание. Това също обяснява защо въпрос, зададен преди изображението, и такъв, зададен след него, не дават абсолютно същия резултат: всичко се намира в една и съща последователност и редът има значение.

Влияние върху броенето на токени

Всяко изображение консумира определен брой токени в зависимост от неговата разделителна способност след преоразмеряването. Това е ключовият извод за оценката на Вашите разходи. Стандартно изображение с размер около 768×768 консумира между 800 и 1500 токена – еквивалентно на една или две страници текст. По-големите изображения се преоразмеряват преди обработката: изпращането на изображение в 4K не струва повече от такова в 1080p, но и не Ви носи никаква полза. Към този общ брой добавете токените от Вашата подкана и генерирания отговор.

# Пример: оценка на разходите за визуално обаждане
tokens_image = 1000  # средна оценка
tokens_prompt = 50   # "Опишете това изображение в детайли"
tokens_response = 200  # оценен отговор

total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Estimated total tokens: {total_tokens}")
# → Estimated total tokens: 1250

Извършете това изчисление за собствения си обем, преди да преминете към индустриализация: хиляда изображения на ден представляват поне един милион входни токена, което превръща разговора от прототип в бюджетен въпрос.

Ограничения за размер и разделителна способност

Mistral приема формати JPEG, PNG, GIF (първи кадър) и WebP, с максимален размер от около 20 MB на изображение. Няколко изображения могат да съществуват едновременно в едно съобщение – тема, която ще разгледаме в Урок 6. Най-контраинтуитивното ограничение остава вътрешното преоразмеряване: много високата разделителна способност не подобрява резултатите; тя просто удължава времето за трансфер.

Практическото следствие е, че трябва сами да преоразмерите изображенията предварително, вместо да оставяте API да го направи след ненужно тежко качване:

from PIL import Image

def prepare_image(path, max_size=1024):
    """Resizes an image before sending to optimize latency."""
    img = Image.open(path)
    img.thumbnail((max_size, max_size))
    img.save(path, quality=85)
    return path

Вмъкнете тази функция точно преди кодирането в Base64 или хостването чрез URL. При партида от 4 MB снимки от смартфон, това намалява прехвърления обем със значителен фактор, без съществена загуба на качество за целите на анализа.

Опростена архитектура

Край до край, пътят на една заявка се свежда до пет стъпки: изпращате съобщение, съдържащо текст и едно или повече изображения; API преоразмерява всяко изображение и го изпраща на визуалния енкодер; получените визуални токени се сливат с текстовите токени; моделът генерира отговор на естествен език; Вие го получавате точно както при стандартно текстово обаждане. Нищо не се променя във Вашия код от страна на API – Mistral поема цялата сложност – но това не означава, че можете да игнорирате какви разходи Ви носи това.

Ключови изводи

  • Изображенията се преобразуват във визуални токени от енкодер Vision Transformer
  • LLM обработва тези визуални токени точно както текстовите токени
  • Стандартно изображение консумира приблизително между 800 и 1500 токена
  • Изображенията се преоразмеряват вътрешно – няма нужда да изпращате много висока разделителна способност
  • Преоразмеряването на изображенията от страна на клиента намалява латентността без загуба на качество