Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Multimodálna architektúra modelov Mistral

Lekcia 2 z 12 Aktualizované 29. júla 2026 Vývojár
Na tejto strane
  1. Ako model spracováva text a obrázky?
  2. Vizuálny enkodér (Vision Encoder)
  3. Fúzia textu a obrázka v LLM
  4. Vplyv na počítanie tokenov
  5. Obmedzenia veľkosti a rozlíšenia
  6. Zjednodušená architektúra
  7. Kľúčové poznatky

Ako model spracováva text a obrázky?

Keď pošleš obrázok modelu Mistral, nevidí ho tak ako človek. Spracovanie sa opiera o dvojstupňovú architektúru: najprv vizuálny enkodér transformuje obrázok na sekvenciu číselných tokenov; následne jazykový model spracuje tieto vizuálne tokeny spolu s textovými tokenmi z tvojho promptu.

Táto lekcia sa môže zdať teoretická, no v skutočnosti je najvýhodnejšou časťou kurzu. Pochopenie tohto mechanizmu vysvetľuje, prečo obrázok v rozlíšení 4K neprináša lepšie výsledky ako obrázok 1080p, prečo ti mesačný účet narastá rýchlejšie pri piatich obrázkoch než pri piatich odsekoch textu a prečo sa drobný text na snímke obrazovky často prepisuje nepresne.

Vizuálny enkodér (Vision Encoder)

Vizuálny enkodér je špecializovaná neurónová sieť – zvyčajne Vision Transformer (ViT) – ktorá rozdeľuje obrázok na malé štvorcové časti, napríklad s rozmermi 14×14 pixelov, a prevádza ich na číselné vektory (embeddings). Celý proces prebieha v piatich krokoch:

  1. Zmena veľkosti: obrázok sa škáluje na štandardné rozlíšenie (napr. 384×384 alebo 768×768 pixelov)
  2. Extrakcia častí: obrázok so zmenenou veľkosťou sa rozdelí na pravidelné časti
  3. Projekcia: každá časť sa prevedie na číselný vektor (embedding)
  4. Pozíciálne kódovanie: pridajú sa informácie o polohe každej časti
  5. Pozornosť (Attention): vizuálny transformér spracuje celú sekvenciu

Výsledkom je sekvencia vizuálnych tokenov, ktoré sú plne porovnateľné s textovými tokenmi, až na to, že reprezentujú oblasti obrázka namiesto fragmentov slov. Prvý krok si zaslúži tvoju pozornosť: vysvetľuje, prečo sa sken faktúry so šírkou 4 000 pixelov pred začiatkom analýzy zmenší na niekoľko stoviek pixelov. Znakys v drobnom písme, ktoré sú už na hranici čitateľnosti, sa zmenia na niekoľko rozmazaných pixelov.

Fúzia textu a obrázka v LLM

Akonáhle sa vygenerujú vizuálne tokeny, vložia sa do vstupnej sekvencie jazykového modelu spolu s textovými tokenmi. Model všetko spracováva jednotne vďaka mechanizmu krížovej pozornosti (cross-attention).

[text tokens: "Describe this image"] + [visual tokens: patch1, patch2, ..., patchN]
                                    ↓
                          Language Model (LLM)
                                    ↓
                    [output tokens: "This image shows..."]

Model tak dokáže „čítať“ obrázok aj text súčasne, čo mu umožňuje odpovedať na konkrétne otázky týkajúce sa vizuálneho obsahu. To tiež vysvetľuje, prečo otázka položená pred obrázkom a otázka položená po obrázku neprinášajú úplne rovnaký výsledok: všetko sa nachádza v tej istej sekvencii a na poradí záleží.

Vplyv na počítanie tokenov

Každý obrázok spotrebuje určitý počet tokenov v závislosti od jeho rozlíšenia po zmene veľkosti. Toto je kľúčový poznatok pre odhad твоjich nákladov. Štandardný obrázok s rozlíšením približne 768×768 spotrebuje medzi 800 a 1 500 tokenmi – čo zodpovedá jednej až dvom stranám textu. Väčšie obrázky sa pred spracovaním zmenšujú: odoslanie obrázka v rozlíšení 4K stojí rovnako ako obrázok 1080p, ale nič ti to navyše neprinesie. K tomuto súčtu pripočítaj tokeny z tvojho promptu a vygenerovanej odpovede.

# Príklad: odhad nákladov na volanie vision API
tokens_image = 1000  # priemerný odhad
tokens_prompt = 50   # "Popíš tento obrázok podrobne"
tokens_response = 200  # odhadovaná odpoveď

total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Odhadovaný celkový počet tokenov: {total_tokens}")
# → Odhadovaný celkový počet tokenov: 1250

Tento výpočet si urob pre svoj vlastný objem ešte pred nasadením do prevádzky: tisíc obrázkov denne predstavuje aspoň milión vstupných tokenov, čím sa konverzácia presúva z roviny prototypu do roviny rozpočtu.

Obmedzenia veľkosti a rozlíšenia

Mistral akceptuje formáty JPEG, PNG, GIF (prvý snímok) a WebP s maximálnou veľkosťou približne 20 MB na jeden obrázok. V jednej správe môže byť viacero obrázkov, čomu sa budeme venovať v lekcii 6. Najkontraintuitívnejším obmedzením zostáva interná zmena veľkosti: veľmi vysoké rozlíšenie nezlepšuje výsledky, iba predlžuje čas prenosu.

Praktickým dôsledkom je, že by si mal obrázky meniť sám ešte pred odoslaním, namiesto toho, aby to robilo API po zbytočne náročnom nahratí:

from PIL import Image

def prepare_image(path, max_size=1024):
    """Zmenší obrázok pred odoslaním na optimalizáciu latencie."""
    img = Image.open(path)
    img.thumbnail((max_size, max_size))
    img.save(path, quality=85)
    return path

Túto funkciu vlož tesne pred kódovanie do Base64 alebo hostovanie cez URL. Pri dávke 4 MB fotografií zo smartfónu tým výrazne znížiš prenesený objem dát bez významnej straty kvality potrebnej pre analýzu.

Zjednodušená architektúra

Celý proces žiadosti od začiatku do konca pozostáva z piatich krokov: pošleš správu obsahujúcu text a jeden alebo viac obrázkov; API zmení veľkosť každého obrázka a pošle ho vizuálnemu enkodéru; výsledné vizuálne tokeny sa zlúčia s textovými tokenmi; model vygeneruje odpoveď v prirodzenom jazyku; ty ju dostaneš presne ako pri štandardnom textovom volaní. Na strane tvojho kódu pre API sa nič nemení – Mistral rieši všetku zložitosť – neznamená to však, že môžeš ignorovať náklady, ktoré ti to prináša.

Kľúčové poznatky

  • Obrázky sa pomocou enkodéra Vision Transformer prevádzajú na vizuálne tokeny
  • LLM spracováva tieto vizuálne tokeny rovnako ako textové tokeny
  • Štandardný obrázok spotrebuje približne 800 až 1 500 tokenov
  • Obrázky sa interne menia – nie je potrebné odosielať veľmi vysoké rozlíšenie
  • Zmena veľkosti obrázkov na strane klienta znižuje latenciu bez straty kvality