Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

A Mistral modellek multimodális architektúrája

2. lecke 12 közül Frissítve 2026. július 29. Fejlesztő
Ezen az oldalon
  1. Hogyan dolgoz fel egy modell szöveget és képet?
  2. A vizuális enkóder (Vision Encoder)
  3. Szöveg és kép fúziója az LLM-ben
  4. Hatás a tokenszámlálásra
  5. Méret- és felbontáskorlátok
  6. Egyszerűsített architektúra
  7. Főbb megállapítások

Hogyan dolgoz fel egy modell szöveget és képet?

Amikor képet küldesz egy Mistral modellnek, az nem „látja“ azt úgy, ahogy egy ember. A feldolgozás egy kétszakaszos architektúrán alapul: először egy vizuális enkóder alakítja át a képet numerikus tokenek sorozatává; majd a nyelvi modell ezeket a vizuális tokeneket a promptod szöveges tokenjeivel együtt dolgozza fel.

Ez a lecke elméletinek tűnhet, valójában azonban ez a tanfolyam legköltséghatékonyabb része. E mechanizmus megértése magyarázza meg, miért nem hoz jobb eredményt egy 4K-s kép, mint egy 1080p-s, miért ugrik meg gyorsabban a havi számlád öt képpel, mint öt bekezdéssel, és miért lesz gyakran hibás a képernyőmentésen lévő apró betűk felismerése.

A vizuális enkóder (Vision Encoder)

A vizuális enkóder egy specializált neurális hálózat – jellemzően egy Vision Transformer (ViT) –, amely a képet kis négyzet alakú foltokra (például 14×14 pixelre) vágja, majd numerikus beágyazásokká (embedding) alakítja őket. A folyamat öt lépésből áll:

  1. Átméretezés: a képet szabványos felbontásra skálázzuk (pl. 384×384 vagy 768×768 pixel)
  2. Foltok kinyerése: az átméretezett képet szabályos foltokra osztjuk
  3. Projekció: minden foltot numerikus vektorrá (beágyazássá) alakítunk
  4. Pozicionális kódolás: hozzáadjuk az egyes foltok helyére vonatkozó információt
  5. Figyelem (Attention): a vizuális transzformer feldolgozza a teljes szekvenciát

Az eredmény egy vizuális tokenekből álló sorozat, amely teljesen összehasonlítható a szöveges tokenekkel, azzal a különbséggel, hogy ezek nem szótöredékeket, hanem képrészleteket reprezentálnak. Az első lépés kiemelt figyelmet érdemel: ez magyarázza, miért zsugorodik egy 4000 pixel széles számlaszkennelés néhány száz pixelre, még mielőtt az elemzés egyáltalán elindulna. Az apróbetűs rész karakterei, amelyek már eleve az olvashatóság határán vannak, néhány elmosódott pixellé válnak.

Szöveg és kép fúziója az LLM-ben

Miután a vizuális tokenek létrejöttek, a rendszer beszúrja őket a nyelvi modell bemeneti szekvenciájába, a szöveges tokenek mellé. A modell a keresztfelügyeletű figyelem (cross-attention) mechanizmusának köszönhetően egységesen kezeli az összes adatot.

[szöveges tokenek: "Írd le ezt a képet"] + [vizuális tokenek: folt1, folt2, ..., foltN]
                                    ↓
                          Nyelvi modell (LLM)
                                    ↓
                    [kimeneti tokenek: "Ez a kép azt mutatja..."]

A modell így képes egyszerre „olvasni“ a képet és a szöveget, lehetővé téve, hogy konkrét kérdésekre válaszoljon a vizuális tartalommal kapcsolatban. Ez azt is megmagyarázza, miért nem pontosan ugyanaz az eredmény, ha a kép előtt vagy után teszed fel a kérdést: minden ugyanabban a szekvenciában helyezkedik el, és a sorrend számít.

Hatás a tokenszámlálásra

Minden kép egy bizonyos számú tokent fogyaszt el, amely az átméretezés utáni felbontástól függ. Ez a legfontosabb tudnivaló a költségek becsléséhez. Egy szabványos kép, körülbelül 768×768 pixel méretben, 800 és 1500 token közötti fogyasztást jelent – ez egy-két oldalnyi szövegnek felel meg. A nagyobb képeket feldolgozás előtt átméretezik: egy 4K-s kép elküldése nem kerül többe, mint egy 1080p-s kéié, de előnyt sem jelent. Ehhez az összeghez add hozzá a promptod és a generált válasz tokenjeit.

# Példa: egy vision hívás költségének becslése
tokens_image = 1000  # átlagos becslés
tokens_prompt = 50   # "Írd le részletesen ezt a képet"
tokens_response = 200  # becsült válasz

total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Becsült teljes tokenszám: {total_tokens}")
# → Becsült teljes tokenszám: 1250

Futtasd le ezt a számítást a saját mennyiségeidre, mielőtt ipari méretre skáláznál: napi ezer kép legalább egymillió bemeneti tokent jelent, ezzel pedig a téma átkerül a prototípus fázisból a költségvetési tervezésbe.

Méret- és felbontáskorlátok

A Mistral elfogadja a JPEG, PNG, GIF (első képkocka) és WebP formátumokat, képenként körülbelül 20 MB-os maximális mérettel. Több kép is szerepelhet egyetlen üzenetben; ezzel a 6. leckében foglalkozunk részletesen. A leginkább ellentmondásos korlát továbbra is a belső átméretezés: a nagyon nagy felbontás nem javítja az eredményeket, csupán növeli az átviteli időt.

A gyakorlati következmény az, hogy érdemes magadnak átméretezned a képeket előre, ahelyett, hogy hagynád az API-t ezt megtenni egy feleslegesen nagy feltöltés után:

from PIL import Image

def prepare_image(path, max_size=1024):
    """Átméretezi a képet küldés előtt a késleltetés optimalizálása érdekében."""
    img = Image.open(path)
    img.thumbnail((max_size, max_size))
    img.save(path, quality=85)
    return path

Illeszd be ezt a függvényt közvetlenül a Base64 kódolás vagy az URL-en való hosztolás előtt. 4 MB-os okostelefon-fotókból álló kötegeken ez jelentős tényezővel csökkenti az átvitt adatmennyiséget, anélkül, hogy az elemzés szempontjából észrevehető minőségromlást okozna.

Egyszerűsített architektúra

Végigtekintve a teljes folyamaton, egy kérés útja öt lépésre redukálódik: küldesz egy üzenetet, amely szöveget és egy vagy több képet tartalmaz; az API átméretezi az egyes képeket, és elküldi őket a vizuális enkódernek; a keletkező vizuális tokenek egyesülnek a szöveges tokenekkel; a modell természetes nyelvű választ generál; te pedig megkapod azt, pontosan úgy, mint egy szabványos szöveges hívás esetén. Az API-oldali kódodon semmi sem változik – a Mistral kezeli az összes komplexitást –, de ez nem jelenti azt, hogy figyelmen kívül hagyhatnád a költségeket.

Főbb megállapítások

  • A képeket egy Vision Transformer enkóder alakítja vizuális tokenekké
  • Az LLM ugyanúgy dolgozza fel ezeket a vizuális tokeneket, mint a szövegeseket
  • Egy szabványos kép körülbelül 800–1500 tokent fogyaszt
  • A képeket belsőleg átméretezik – nincs szükség nagyon nagy felbontás küldésére
  • A képek kliens oldali átméretezése csökkenti a késleltetést minőségromlás nélkül