Multimodální architektura modelů Mistral
Na této stránce
Jak model zpracovává text a obrázky?
Když odešleš obrázek modelu Mistral, „nevidí“ ho tak jako člověk. Zpracování spoléhá na dvoufázovou architekturu: nejprve vizuální enkodér převede obrázek na posloupnost číselných tokenů; poté jazykový model zpracuje tyto vizuální tokeny společně s textovými tokeny z tvého promptu.
Tato lekce se může zdát teoretická, ale ve skutečnosti je to nejúspornější část kurzu. Pochopení tohoto mechanismu vysvětluje, proč obrázek v rozlišení 4K nepřináší lepší výsledky než obrázek 1080p, proč ti měsíční faktura roste rychleji u pěti obrázků než u pěti odstavců a proč je drobný text na screenshotu často přepsán špatně.
Vizuální enkodér (Vision Encoder)
Vizuální enkodér je specializovaná neuronová síť – typicky Vision Transformer (ViT) – která rozděluje obrázek na malé čtvercové patche, například o velikosti 14×14 pixelů, a převádí je na číselné embedingy. Celý proces probíhá v pěti krocích:
- Změna velikosti: obrázek je škálován na standardní rozlišení (např. 384×384 nebo 768×768 pixelů)
- Extrakce patchů: obrázek po změně velikosti je rozdělen na pravidelné patche
- Projekce: každý patch je převeden na číselný vektor (embeding)
- Poziciční kódování: ke každému patchi jsou přidány informace o jeho pozici
- Attention: vizuální transformér zpracuje celou posloupnost
Výsledkem je posloupnost vizuálních tokenů, plně srovnatelná s textovými tokeny, s tím rozdílem, že reprezentují oblasti obrázku, nikoliv fragmenty slov. První krok si zaslouží tvou pozornost: vysvětluje, proč se sken faktury široký 4 000 pixelů před samotnou analýzou zmenší na několik stovek pixelů. Znaky v drobném písmu, které jsou již na hranici čitelnosti, se změní na několik rozmazaných pixelů.
Fúze textu a obrázku v LLM
Jakmile jsou vygenerovány vizuální tokeny, jsou vloženy do vstupní posloupnosti jazykového modelu společně s textovými tokeny. Model vše zpracovává jednotně díky mechanismu cross-attention.
[text tokens: "Describe this image"] + [visual tokens: patch1, patch2, ..., patchN]
↓
Language Model (LLM)
↓
[output tokens: "This image shows..."]
Model tak může „číst“ obrázek i text současně, což mu umožňuje odpovídat na konkrétní otázky týkající se vizuálního obsahu. To také vysvětluje, proč otázka položená před obrázkem a otázka položená po obrázku nepřinesou přesně stejný výsledek: vše sedí ve stejné posloupnosti a na pořadí záleží.
Dopad na počítání tokenů
Každý obrázek spotřebuje určitý počet tokenů v závislosti na svém rozlišení po změně velikosti. To je klíčové pro odhad tvých nákladů. Standardní obrázek o velikosti přibližně 768×768 spotřebuje mezi 800 a 1 500 tokeny – což odpovídá jedné až dvěma stránkám textu. Větší obrázky jsou před zpracováním zmenšeny: odeslání obrázku v rozlišení 4K stojí stejně jako obrázek 1080p, ale nic ti to navíc nepřinese. K tomuto součtu připočti tokeny ze svého promptu a generované odpovědi.
# Příklad: odhad nákladů na volání vision API
tokens_image = 1000 # průměrný odhad
tokens_prompt = 50 # "Popiš tento obrázek podrobně"
tokens_response = 200 # odhadovaná odpověď
total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Odhadovaný celkový počet tokenů: {total_tokens}")
# → Odhadovaný celkový počet tokenů: 1250
Proveď tento výpočet pro svůj vlastní objem dat před nasazením do produkce: tisíc obrázků denně představuje alespoň milion vstupních tokenů, čímž se konverzace přesune od prototypu k rozpočtu.
Limity velikosti a rozlišení
Mistral přijímá formáty JPEG, PNG, GIF (první snímek) a WebP s maximální velikostí přibližně 20 MB na obrázek. V jedné zprávě může koexistovat více obrázků, čemuž se budeme věnovat v lekci 6. Nejkontraintuitivnějším omezením zůstává interní změna velikosti: velmi vysoké rozlišení nezlepšuje výsledky, pouze prodlužuje dobu přenosu.
Praktickým důsledkem je, že bys měl obrázky měnit velikost sám předem, místo abys nechal API dělat to až po zbytečně náročném nahrávání:
from PIL import Image
def prepare_image(path, max_size=1024):
"""Změní velikost obrázku před odesláním pro optimalizaci latence."""
img = Image.open(path)
img.thumbnail((max_size, max_size))
img.save(path, quality=85)
return path
Tuto funkci vlož těsně před kódování do Base64 nebo hostování na URL. U dávky 4MB fotografií z chytrých telefonů to sníží přenesený objem dat o významný faktor bez podstatné ztráty kvality pro účely analýzy.
Zjednodušená architektura
Od začátku do konce se cesta požadavku scvrkne na pět kroků: odešleš zprávu obsahující text a jeden nebo více obrázků; API změní velikost každého obrázku a odešle jej do vizuálního enkodéru; výsledné vizuální tokeny se sloučí s textovými tokeny; model vygeneruje odpověď v přirozeném jazyce; obdržíš ji stejně jako u běžného textového volání. Nic se nemění v tvém kódu na straně API – Mistral řeší veškerou složitost – ale to neznamená, že můžeš ignorovat, kolik tě to stojí.
Klíčové poznatky
- Obrázky jsou převáděny na vizuální tokeny enkodérem Vision Transformer
- LLM zpracovává tyto vizuální tokeny stejně jako textové tokeny
- Standardní obrázek spotřebuje přibližně 800 až 1 500 tokenů
- Obrázky jsou interně zmenšovány – není třeba odesílat velmi vysoké rozlišení
- Změna velikosti obrázků na straně klienta snižuje latenci bez ztráty kvality