Sissejuhatus pildianalüüsi Mistral API kaudu
Sellel lehel
Uuendus 2. november 2026 — mudelid. Mistral Large 3 (
mistral-large-2512) ja Mistral Medium 3.5 on alates 31. oktoobrist 2026 aegunud ja need lõpetatakse 30. aprillil 2027. Nende määratud järeltulija, Mistral Large 4 (mistral-large-4), on olnud avalikus eelvaates alates 6. oktoobrist. Selles kursuses kasutatavad näited põhinevad aliasselmistral-large-latest, mis viitab ametliku spetsifikatsiooni kohaselt endiselt Mistral Large 3-le (kontrollitud 3. novembril 2026). Samuti viitabmistral-medium-latestMudelile Mistral Medium 3.5. Need aliassid kehtivad kuni 30. aprillini 2027. Uute projektide puhul testige nende määratud järeltulijatmistral-large-4.
Mis on Vision API?
Keelemudelid ei piirdu enam ainult tekstiga. Alates 2024. aastast pakub Mistral AI multimodaalseid mudeleid, mis suudavad samaaegselt analüüsida nii teksti kui ka pilte. Seda võimekust, mida nimetatakse Visioniks (nägemine), muudab automatiseeritavate tööde olemust: fotostatud arve, armatuurlaua ekraanitõmmis või tehniline skeem ei ole enam läbipaistmatu manus, mida inimene peab avama. Sellest asemel saavad neist sisendid, mida sinu kood päringutab täpselt nii, nagu see päringutaks tekstistringi.
Ulatus on lai: dokumentide analüüs, diagrammide lugemine ja visuaalsete andmete eraldamine. Raamatupidamisfirma, mis saab kuus kolmsada skaneeritud kviitungit, võib paluda mudelil summad välja lugeda; tootemeeskond saab automaatselt kirjeldada kasutajate esitatud ekraanitõmmiseid. Selles kursuses õpid kasutama Mistral Vision API-d, et integreerida seda tüüpi analüüs oma Pythoni rakendustesse. Iga tund ühendab mehhanismi selgituse kohe kasutatava koodiga.
Miks kasutada Mistral Visionit?
Esimene argument on tehniliste häiringute puudumine. Kasutad sama chat.complete() lõpppunkti, mida teksti jaoks: eraldi API-d õppida pole, eraldi klienti pole vaja instantiateerida. Lihtsalt lisad sõnumisse pilte. Projekt, mis on juba üles ehitatud teksti genereerimisele, mahutab visuaalse analüüsi ilma ümberkujundamiseta.
Teine põhjus on mudeli valik. Alates võimsaimast, Mistral Large 3, kuni kõige kergemani Ministral 3 perekonnas, saad kohandada kvaliteedi ja kulude suhet oma juhtumile: raske mudel finantsdiagrammi üksikasjalikuks analüüsiks, kerge mudel kümne tuhande foto kategoriseerimiseks. Teed selle kohanduse ühe koodireaga, nagu näed 3. tunnis.
Kehtivad veel kaks strateegilist kaalutlust. Sõnumivorming järgib OpenAI-sarnast standardit, mis hõlbustab üleminekut teiselt teenusepakkujalt: sõnumite koostamise kood jääb praktiliselt muutumatuks. Kuna Mistral on Prantsuse ettevõte, võivad sinu andmed jääda Euroopasse, mis on sageli otsustav tegur, kui pildid sisaldavad isiku- või lepingulist teavet.
Saadaval olevad Visioni mudelid
Viis Mistrali mudelit toetavad visuaalanalüüsi. Igaüks neist on tuvastatav API ID-ga, mille annad edasi parameetrile model.
| Mudel | API ID | Peamine kasutusjuhtum |
|---|---|---|
| Mistral Large 3 | mistral-large-2512 | Kompleksne analüüs, kõrgeim kvaliteet |
| Mistral Medium 3.5 | mistral-medium-latest | Hea kvaliteedi ja kiiruse tasakaal |
| Mistral Small 4 | mistral-small-latest | Igapäevane kasutus, kiire ja ökonoomne |
| Ministral 3 14B | ministral-14b-2512 | Servarvutus (edge computing), madal latentsus |
| Ministral 3 8B | ministral-8b-2512 | Manussüsteemid, piiratud ressursid |
Kõik need mudelid aktsepteerivad pilte sisendina Chat Completions API kaudu. Teisisõnu, kood, mida hakkad kirjutama, töötab kõigi viiega identselt.
Selles tabelis eksisteerivad kõrvuti kahte tüüpi identifikaatorid ja nende vahel valimine on arhitektuuriline otsus. Aliassid, mis lõpevad -latest-iga, jälgivad automaatselt mudeli praegust versiooni: sinu päringud saavad kasu parendustest ilma koodi muutmata, kuid käitumine võib sinu teadmata muutuda. Dateeritud identifikaatorid nagu mistral-large-2512 lukustavad kindla versiooni: käitumine jääb stabiilseks, kuid pead jälgima aegumisi. Kasuta aliast prototüüpimiseks; tootmiskeskkonna jaoks, kus väljundid on valideeritud, lukusta versioon ja planeeri oma uuendused.
Sinu esimene Visioni päring
Siin on minimaalne näide, kuidas saata pilt Mistralile ja saada kirjeldus:
from mistralai.client import Mistral
client = Mistral(api_key="YOUR_API_KEY")
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Kirjelda seda pilti üksikasjalikult."},
{
"type": "image_url",
"image_url": "https://example.com/photo.jpg"
}
]
}
]
)
print(response.choices[0].message.content)
Üks detail eristab seda päringut tavalisest tekstipäringust ja see väärib tähelepanu: kasutaja sõnumi väli content on massiiv (loend) lihtsa stringi asemel. Just see struktuur võimaldab segada teksti ja pilte ühes voorus.
Multimodaalse sõnumi struktuur
Tavaline ainult teksti sisaldav sõnum mahub ühele reale:
{"role": "user", "content": "Tere, kuidas läheb?"}
Multimodaalne sõnum asendab selle stringi tüübitud elementide loendiga, millest igaüht teatab selle väli type:
{
"role": "user",
"content": [
{"type": "text", "text": "Sinu küsimus siia"},
{"type": "image_url", "image_url": "Pildi URL või andme-URI"}
]
}
Midagi ei sunni sind piirduma ühe elemendiga igast liigist. Saad lisada ühte sõnumisse mitu text ja image_url elementi. Just see võimaldab sul näiteks esitada võrdluspildi ja seejärel pildi, mida võrrelda, tutvustades igaüht lausega. Arutame seda üksikasjalikult järgmistes tundides.
Mida selles kursuses õpid
See 12-tunnine kursus liigub mehhanismilt rakendusele. Tunnid 1 kuni 3 katavad multimodaalseid mudeleid: mis tegelikult toimub, kui pilt siseneb mudelisse, ja kuidas valida töökoormusele sobivaim. Tunnid 4 kuni 6 käsitlevad piltide saatmist: URL-i kaudu, Base64-formaadis ja seejärel mitu pilti ühes sõnumis. Tunnid 7 kuni 10 viivad sind läbi konkreetsete kasutusjuhtumite – diagrammide analüüs, OCR, struktureeritud ekstraheerimine ja piltide võrdlus. Tunnid 11 ja 12 lõpetavad teema piirangute, kulude optimeerimise ja võimalike laiendustega.
Peamised punktid
- Mistral Vision API kasutab sama lõpppunkti kui tekstivestlus
- Kasutaja sõnum muutub massiiviks, mis sisaldab elemente
textjaimage_url - Viis mudelit toetavad visuaalanalüüsi, alates võimsaimast kuni kõige kergemani
- Mistral on asjakohane valik projektidele, mis nõuavad Euroopa andmesuveräänsust