Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Bevezetés a Mistral API képfeldolgozási képességeibe

1. lecke 12 közül Frissítve 2026. november 3. Fejlesztő
Ezen az oldalon
  1. Mi az a Vision API?
  2. Miért válaszd a Mistral Visiont?
  3. Elérhető Vision modellek
  4. Az első Vision hívásod
  5. Többmódusú üzenet felépítése
  6. Mit tanulsz meg ebben a tanfolyamban?
  7. Főbb megállapítások

Frissítés: 2026. november 2. – modellek. A Mistral Large 3 (mistral-large-2512) és a Mistral Medium 3.5 modelleket 2026. október 31. óta elavultnak tekintik, és 2027. április 30-án végleg kivezetik őket. Hivatalos utódjuk, a Mistral Large 4 (mistral-large-4) már október 6. óta elérhető nyilvános előzetes verzióban. Az ebben a tanfolyamban szereplő példák a mistral-large-latest álnevet használják, amely a hivatalos specifikáció szerint jelenleg még a Mistral Large 3-ra mutat (ellenőrizve: 2026. november 3.). Hasonlóképpen, a mistral-medium-latest alias a Mistral Medium 3.5-re irányul. Ezek az álnevek 2027. április 30-ig érvényesek maradnak. Új projektek esetén teszteld az utódjukat, a mistral-large-4 modellt.

Mi az a Vision API?

A nyelvi modellek már nem állnak meg a szövegnél. 2024 óta a Mistral AI többmódusú modelleket kínál, amelyek képesek egyszerre elemezni a szöveget és a képeket. Ezt a képességet, amelyet Vision néven ismerünk, alapjaiban változtatja meg az automatizálható feladatok jellegét: egy lefotózott számla, egy irányítópult képernyőmentése vagy egy műszaki ábra többé nem átláthatatlan melléklet, amelyet egy embernek kell megnyitnia. Ehelyett ezek olyan bemenetté válnak, amelyet a kódod lekérdez – pontosan úgy, ahogy egy sztringet lekérdeznél.

A lehetőségek széles körűek: dokumentumelemzés, diagramok olvasása és vizuális adatok kinyerése. Egy könyvelőiroda, amely havonta háromszáz beolvasott nyugtát kap, megbízhatja a modellt az összegek kiolvasásával; egy termékcsapat automatikusan leírathatja a felhasználók által beküldött képernyőmentéseket. Ebben a tanfolyamban megtanulod, hogyan használd a Mistral Vision API-t az ilyen típusú elemzések Python alkalmazásaidba való integrálásához. Minden lecke magyarázatot ad a működési mechanizmusról, és közvetlenül használható kódrészleteket tartalmaz.

Miért válaszd a Mistral Visiont?

Az első érv a technikai fennakadások hiánya. Ugyanazt a chat.complete() végpontot hívod meg, amelyet a szöveges kommunikációhoz használsz: nincs külön API, amit meg kellene tanulnod, és nincs külön kliens, amit példányosítanod kellene. Egyszerűen csak képeket adsz hozzá az üzenethez. Egy szöveggenerálásra épülő projekt átalakítás nélkül képes kezelni a képfeldolgozást.

A második érv a modellválasztás szabadsága. A legerősebb Mistral Large 3-tól a legkönnyebb Ministral 3 családig igazíthatod a minőség/költség arányt az esetedhez: nehéz modellt választasz egy pénzügyi diagram részletes elemzéséhez, könnyű modellt pedig tízezer fotó kategóriák szerinti rendezéséhez. Ezt a beállítást egyetlen sor kóddal végezheted el, ahogy azt a 3. leckében látni fogod.

Két további stratégiai szempont is számít. Az üzenetformátum követi az OpenAI-szerű szabványt, ami megkönnyíti az átállást egy másik szolgáltatóról: az üzenetek felépítéséhez szükséges kód gyakorlatilag változatlan marad. És mivel a Mistral francia cég, az adataid Európában maradhatnak, ami gyakran döntő tényező, ha a képek személyes vagy szerződéses információkat tartalmaznak.

Elérhető Vision modellek

Öt Mistral modell támogatja a képfeldolgozást. Mindegyiket egy API azonosítóval jelöljük, amelyet a model paraméternek adsz át.

ModellAPI azonosítóElsődleges felhasználási terület
Mistral Large 3mistral-large-2512Komplex elemzés, legmagasabb minőség
Mistral Medium 3.5mistral-medium-latestJó minőség/sebesség arány
Mistral Small 4mistral-small-latestNapi használat, gyors és gazdaságos
Ministral 3 14Bministral-14b-2512Peremfeldolgozás (edge computing), alacsony késleltetés
Ministral 3 8Bministral-8b-2512Beágyazott rendszerek, korlátozott erőforrások

Ezek a modellek mind elfogadják a képeket bemenetként a Chat Completions API-n keresztül. Más szóval: a kód, amelyet most írni fogsz, mind az öt modellel azonos módon fog működni.

A táblázatban kétféle azonosító szerepel, és a közöttük való választás architektúrális döntés. A -latest végződésű álnevek automatikusan követik a modell aktuális verzióját: a kódod módosítása nélkül részesülsz a fejlesztések előnyeiből, ám ennek ára, hogy a viselkedés a hátad mögött megváltozhat. A dátumozott azonosítók, mint például a mistral-large-2512, egy konkrét verziót rögzítenek: a viselkedés stabil marad, de neked kell nyomon követned az elavulásokat. Használd az álnevet prototípusokhoz; validált kimenetű éles rendszerek esetén rögzítsd a verziót, és tervezd meg a frissítéseket.

Az első Vision hívásod

Íme egy minimális példa arra, hogyan küldj egy képet a Mistralnak, és kapj vissza egy leírást:

from mistralai.client import Mistral

client = Mistral(api_key="YOUR_API_KEY")

response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Describe this image in detail."},
                {
                    "type": "image_url",
                    "image_url": "https://example.com/photo.jpg"
                }
            ]
        }
    ]
)

print(response.choices[0].message.content)

Egy részlet megkülönbözteti ezt a hívást a szokásos szöveges hívástól, és érdemes odafigyelni rá: a felhasználói üzenet content mezője egy tömb (lista) egy egyszerű sztring helyett. Ez a struktúra teszi lehetővé, hogy szöveget és képet keverj egyetlen körben.

Többmódusú üzenet felépítése

Egy szabványos, csak szöveget tartalmazó üzenet elfér egy sorban:

{"role": "user", "content": "Hello, how are you?"}

Egy többmódusú üzenet ezt a sztringet felváltja egy típusozott elemekből álló listával, ahol minden elemet a type mezője jelöl:

{
    "role": "user",
    "content": [
        {"type": "text", "text": "Your question here"},
        {"type": "image_url", "image_url": "URL or data URI of the image"}
    ]
}

Semmi sem kötelez arra, hogy csak egy-egy elemet használj minden fajtából. Egyetlen üzenetben több text és image_url elemet is elhelyezhetsz. Pontosan ez teszi lehetővé például, hogy bemutass egy referenciaképet, majd egy összehasonlítandó képet, és mindkettőt egy-egy mondattal vezesd be. Ezt a következő leckékben részletesen tárgyaljuk.

Mit tanulsz meg ebben a tanfolyamban?

Ez a 12 leckéből álló tanfolyam a működési mechanizmustól az alkalmazásokig vezet. Az 1–3. leckék a többmódusú modellekkel foglalkoznak: mi történik valójában, amikor egy kép belép a modellbe, és hogyan válaszd ki a munkaterhelésednek megfelelőt. A 4–6. leckék a képek küldését tárgyalják: URL-en keresztül, Base64 kódolással, majd több kép elküldése egyetlen üzenetben. A 7–10. leckék konkrét használati eseteken vezetnek végig: diagramok elemzése, OCR, strukturált adatkinyerés és képek összehasonlítása. A 11. és 12. leckék zárják a témát a korlátok, a költségek optimalizálása és a lehetséges kiterjesztések bemutatásával.

Főbb megállapítások

  • A Mistral Vision API ugyanazt a végpontot használja, mint a szöveges chat
  • A felhasználói üzenet egy tömbbé válik, amely text és image_url elemeket tartalmaz
  • Öt modell támogatja a képfeldolgozást, a legerősebbtől a legkönnyebbig
  • A Mistral releváns választás azoknak a projekteknek, amelyekhez európai adatsoverinitás szükséges