Bevezetés a Mistral API képfeldolgozási képességeibe
Ezen az oldalon
Frissítés: 2026. november 2. – modellek. A Mistral Large 3 (
mistral-large-2512) és a Mistral Medium 3.5 modelleket 2026. október 31. óta elavultnak tekintik, és 2027. április 30-án végleg kivezetik őket. Hivatalos utódjuk, a Mistral Large 4 (mistral-large-4) már október 6. óta elérhető nyilvános előzetes verzióban. Az ebben a tanfolyamban szereplő példák amistral-large-latestálnevet használják, amely a hivatalos specifikáció szerint jelenleg még a Mistral Large 3-ra mutat (ellenőrizve: 2026. november 3.). Hasonlóképpen, amistral-medium-latestalias a Mistral Medium 3.5-re irányul. Ezek az álnevek 2027. április 30-ig érvényesek maradnak. Új projektek esetén teszteld az utódjukat, amistral-large-4modellt.
Mi az a Vision API?
A nyelvi modellek már nem állnak meg a szövegnél. 2024 óta a Mistral AI többmódusú modelleket kínál, amelyek képesek egyszerre elemezni a szöveget és a képeket. Ezt a képességet, amelyet Vision néven ismerünk, alapjaiban változtatja meg az automatizálható feladatok jellegét: egy lefotózott számla, egy irányítópult képernyőmentése vagy egy műszaki ábra többé nem átláthatatlan melléklet, amelyet egy embernek kell megnyitnia. Ehelyett ezek olyan bemenetté válnak, amelyet a kódod lekérdez – pontosan úgy, ahogy egy sztringet lekérdeznél.
A lehetőségek széles körűek: dokumentumelemzés, diagramok olvasása és vizuális adatok kinyerése. Egy könyvelőiroda, amely havonta háromszáz beolvasott nyugtát kap, megbízhatja a modellt az összegek kiolvasásával; egy termékcsapat automatikusan leírathatja a felhasználók által beküldött képernyőmentéseket. Ebben a tanfolyamban megtanulod, hogyan használd a Mistral Vision API-t az ilyen típusú elemzések Python alkalmazásaidba való integrálásához. Minden lecke magyarázatot ad a működési mechanizmusról, és közvetlenül használható kódrészleteket tartalmaz.
Miért válaszd a Mistral Visiont?
Az első érv a technikai fennakadások hiánya. Ugyanazt a chat.complete() végpontot hívod meg, amelyet a szöveges kommunikációhoz használsz: nincs külön API, amit meg kellene tanulnod, és nincs külön kliens, amit példányosítanod kellene. Egyszerűen csak képeket adsz hozzá az üzenethez. Egy szöveggenerálásra épülő projekt átalakítás nélkül képes kezelni a képfeldolgozást.
A második érv a modellválasztás szabadsága. A legerősebb Mistral Large 3-tól a legkönnyebb Ministral 3 családig igazíthatod a minőség/költség arányt az esetedhez: nehéz modellt választasz egy pénzügyi diagram részletes elemzéséhez, könnyű modellt pedig tízezer fotó kategóriák szerinti rendezéséhez. Ezt a beállítást egyetlen sor kóddal végezheted el, ahogy azt a 3. leckében látni fogod.
Két további stratégiai szempont is számít. Az üzenetformátum követi az OpenAI-szerű szabványt, ami megkönnyíti az átállást egy másik szolgáltatóról: az üzenetek felépítéséhez szükséges kód gyakorlatilag változatlan marad. És mivel a Mistral francia cég, az adataid Európában maradhatnak, ami gyakran döntő tényező, ha a képek személyes vagy szerződéses információkat tartalmaznak.
Elérhető Vision modellek
Öt Mistral modell támogatja a képfeldolgozást. Mindegyiket egy API azonosítóval jelöljük, amelyet a model paraméternek adsz át.
| Modell | API azonosító | Elsődleges felhasználási terület |
|---|---|---|
| Mistral Large 3 | mistral-large-2512 | Komplex elemzés, legmagasabb minőség |
| Mistral Medium 3.5 | mistral-medium-latest | Jó minőség/sebesség arány |
| Mistral Small 4 | mistral-small-latest | Napi használat, gyors és gazdaságos |
| Ministral 3 14B | ministral-14b-2512 | Peremfeldolgozás (edge computing), alacsony késleltetés |
| Ministral 3 8B | ministral-8b-2512 | Beágyazott rendszerek, korlátozott erőforrások |
Ezek a modellek mind elfogadják a képeket bemenetként a Chat Completions API-n keresztül. Más szóval: a kód, amelyet most írni fogsz, mind az öt modellel azonos módon fog működni.
A táblázatban kétféle azonosító szerepel, és a közöttük való választás architektúrális döntés. A -latest végződésű álnevek automatikusan követik a modell aktuális verzióját: a kódod módosítása nélkül részesülsz a fejlesztések előnyeiből, ám ennek ára, hogy a viselkedés a hátad mögött megváltozhat. A dátumozott azonosítók, mint például a mistral-large-2512, egy konkrét verziót rögzítenek: a viselkedés stabil marad, de neked kell nyomon követned az elavulásokat. Használd az álnevet prototípusokhoz; validált kimenetű éles rendszerek esetén rögzítsd a verziót, és tervezd meg a frissítéseket.
Az első Vision hívásod
Íme egy minimális példa arra, hogyan küldj egy képet a Mistralnak, és kapj vissza egy leírást:
from mistralai.client import Mistral
client = Mistral(api_key="YOUR_API_KEY")
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe this image in detail."},
{
"type": "image_url",
"image_url": "https://example.com/photo.jpg"
}
]
}
]
)
print(response.choices[0].message.content)
Egy részlet megkülönbözteti ezt a hívást a szokásos szöveges hívástól, és érdemes odafigyelni rá: a felhasználói üzenet content mezője egy tömb (lista) egy egyszerű sztring helyett. Ez a struktúra teszi lehetővé, hogy szöveget és képet keverj egyetlen körben.
Többmódusú üzenet felépítése
Egy szabványos, csak szöveget tartalmazó üzenet elfér egy sorban:
{"role": "user", "content": "Hello, how are you?"}
Egy többmódusú üzenet ezt a sztringet felváltja egy típusozott elemekből álló listával, ahol minden elemet a type mezője jelöl:
{
"role": "user",
"content": [
{"type": "text", "text": "Your question here"},
{"type": "image_url", "image_url": "URL or data URI of the image"}
]
}
Semmi sem kötelez arra, hogy csak egy-egy elemet használj minden fajtából. Egyetlen üzenetben több text és image_url elemet is elhelyezhetsz. Pontosan ez teszi lehetővé például, hogy bemutass egy referenciaképet, majd egy összehasonlítandó képet, és mindkettőt egy-egy mondattal vezesd be. Ezt a következő leckékben részletesen tárgyaljuk.
Mit tanulsz meg ebben a tanfolyamban?
Ez a 12 leckéből álló tanfolyam a működési mechanizmustól az alkalmazásokig vezet. Az 1–3. leckék a többmódusú modellekkel foglalkoznak: mi történik valójában, amikor egy kép belép a modellbe, és hogyan válaszd ki a munkaterhelésednek megfelelőt. A 4–6. leckék a képek küldését tárgyalják: URL-en keresztül, Base64 kódolással, majd több kép elküldése egyetlen üzenetben. A 7–10. leckék konkrét használati eseteken vezetnek végig: diagramok elemzése, OCR, strukturált adatkinyerés és képek összehasonlítása. A 11. és 12. leckék zárják a témát a korlátok, a költségek optimalizálása és a lehetséges kiterjesztések bemutatásával.
Főbb megállapítások
- A Mistral Vision API ugyanazt a végpontot használja, mint a szöveges chat
- A felhasználói üzenet egy tömbbé válik, amely
textésimage_urlelemeket tartalmaz - Öt modell támogatja a képfeldolgozást, a legerősebbtől a legkönnyebbig
- A Mistral releváns választás azoknak a projekteknek, amelyekhez európai adatsoverinitás szükséges