Ievads vizuālajā apstrādē, izmantojot Mistral API
Šajā lapā
Atjauninājums 2026. gada 2. novembrī — modeļi. Mistral Large 3 (
mistral-large-2512) un Mistral Medium 3.5 ir atzīti par novecojušiem kopš 2026. gada 31. oktobra, un to darbība tiks pilnībā pārtraukta 2027. gada 30. aprīlī. To noteiktais pēctecis, Mistral Large 4 (mistral-large-4), kopš 6. oktobra ir pieejams publiskajā priekšskatījumā. Šī kursa piemēros tiek izmantots aliasmistral-large-latest, kas saskaņā ar tā oficiālo specifikāciju (pārbaudīts 2026. gada 3. novembrī) joprojām norāda uz Mistral Large 3. Līdzīgimistral-medium-latestnorāda uz Mistral Medium 3.5. Šie aliasi būs derīgi līdz 2027. gada 30. aprīlim. Jauniem projektiem testēmistral-large-4, kas ir to noteiktais pēctecis.
Kas ir Vision API?
Valodu modeļi vairs neapstājas pie teksta. Kopš 2024. gada Mistral AI piedāvā daudzmodāļu modeļus, kas spēj vienlaicīgi analizēt tekstu un attēlus. Šī spēja, ko dēvē par Vision, maina darba veidu, ko vari automatizēt: nofotografēts rēķins, informācijas paneļa ekrānuzņēmums vai tehniska shēma vairs nav necaurredzams pielikums, kas cilvēkam jāatver. Tā vietā tie kļūst par ievaddatiem, kurus tavs kods apvaicājas tieši tāpat, kā tas apvaicātos virkni.
Pielietojuma joma ir plaša: dokumentu analīze, grafiku nolasīšana un vizuālo datu ieguve. Grāmatvedības uzņēmums, kas mēnesī saņem trīs simtus skenētu kvīšu, var lūgt modelim nolasīt summas; produktu komanda var automātiski aprakstīt lietotāju iesniegtos ekrānuzņēmumus. Šajā kursā tu iemācīsies izmantot Mistral Vision API, lai integrētu šāda veida analīzi savās Python lietojumprogrammās. Katra nodarbība apvieno mehānisma skaidrojumu ar gatavu lietošanai kodu.
Kāpēc izmantot Mistral Vision?
Pirmais arguments ir tehnisko traucējumu neesamība. Tu izsauc to pašu chat.complete() galapunktu, ko izmanto tekstam: nav jāapgūst atsevišķa API, nav jāinstancē atšķirīgs klients. Tu vienkārši pievieno ziņojumam attēlus. Projekts, kas jau balstīts uz teksta ģenerēšanu, var pielāgoties vizuālajai apstrādei bez pārbūves.
Otrais ir modeļa izvēle. Sākot no jaudīgākā, Mistral Large 3, līdz vieglākajam Ministral 3 saimē, tu pielāgo kvalitātes un izmaksu attiecību savam gadījumam: smags modelis finanšu grafika smalkai analīzei, viegls modelis, lai kategorizētu desmit tūkstošus fotoattēlu. Šo pielāgojumu veic vienā koda rindā, kā redzēsi 3. nodarbībā.
Ir vēl divi stratēģiski apsvērumi. Ziņojuma formāts atbilst OpenAI līdzīgajam standartam, kas atvieglo migrāciju no cita pakalpojumu sniedzēja: kods ziņojumu veidošanai paliek praktiski nemainīgs. Un tā kā Mistral ir Francijas uzņēmums, tavi dati var palikt Eiropā, kas bieži vien ir izšķirošs faktors, ja attēli satur personas datus vai līgumisku informāciju.
Pieejamie vizuālie modeļi
Pieci Mistral modeļi atbalsta vizuālo apstrādi. Katrs ir identificēts ar API ID, ko nodod parametram model.
| Modelis | API ID | Galvenais pielietojums |
|---|---|---|
| Mistral Large 3 | mistral-large-2512 | Sarežģīta analīze, augstākā kvalitāte |
| Mistral Medium 3.5 | mistral-medium-latest | Labs kvalitātes un ātruma līdzsvars |
| Mistral Small 4 | mistral-small-latest | Ikdienas lietojums, ātrs un ekonomisks |
| Ministral 3 14B | ministral-14b-2512 | Mala skaitļošana, zema latentums |
| Ministral 3 8B | ministral-8b-2512 | Iegultās sistēmas, ierobežoti resursi |
Visi šie modeļi pieņem attēlus kā ievaddatus, izmantojot Chat Completions API. Citiem vārdiem sakot, kods, ko tūlīt rakstīsi, darbosies identiski ar visiem pieciem.
Šajā tabulā līdzās pastāv divi identifikatoru veidi, un izvēle starp tiem ir arhitektūras lēmums. Aliasi ar -latest automātiski izseko modeļa aktuālo versiju: tavi izsauvumi gūst labumu no uzlabojumiem, nepieskaroties kodam, taču par cenu uzvedības, kas var mainīties tev nemanot. Datēti identifikatori, piemēram, mistral-large-2512, piesaista konkrētu versiju: uzvedība paliek stabila, bet tev ir jāseko līdzi novecošanai. Izmanto aliasu prototipēšanai; ražošanas konveijeram ar validētu izvadi piesaiti versiju un plāno jauninājumus.
Tavs pirmais Vision izsaukums
Lūk, minimāls piemērs, kā nosūtīt attēlu uz Mistral un saņemt tā aprakstu:
from mistralai.client import Mistral
client = Mistral(api_key="YOUR_API_KEY")
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe this image in detail."},
{
"type": "image_url",
"image_url": "https://example.com/photo.jpg"
}
]
}
]
)
print(response.choices[0].message.content)
Viena detaļa atšķir šo izsaukumu no standarta teksta izsaukuma, un tā ir pelnījusi uzmanību: lietotāja ziņojuma lauks content ir masīvs (saraksts), nevis vienkārša virkne. Tieši šī struktūra ļauj vienā solī apvienot tekstu un attēlus.
Daudzmodāļu ziņojuma struktūra
Standarta ziņojums, kas satur tikai tekstu, ietilpst vienā rindā:
{"role": "user", "content": "Hello, how are you?"}
Daudzmodāļu ziņojums aizstāj šo virkni ar tipētu elementu sarakstu, kur katrs ir paziņots ar savu lauku type:
{
"role": "user",
"content": [
{"type": "text", "text": "Your question here"},
{"type": "image_url", "image_url": "URL or data URI of the image"}
]
}
Nekas neliedz tev aprobežoties ar vienu elementu no katra veida. Vienā ziņojumā vari iekļaut vairākus text un image_url elementus. Tieši tas ļauj, piemēram, vispirms parādīt atsauces attēlu un pēc tam attēlu salīdzinājumam, ievadot katru ar teikumu. To detalizēti apskatīsim turpmākajās nodarbībās.
Ko tu iemācīsies šajā kursā
Šis 12 nodarbību kurss virzās no mehānisma uz pielietojumu. 1. līdz 3. nodarbība aptver daudzmodāļu modeļus: kas tieši notiek, kad attēls nonāk modelī, un kā izvēlēties tavam darba slodzem atbilstošo. 4. līdz 6. nodarbība aplūko attēlu nosūtīšanu: pa URL, Base64 formātā un vairāku attēlu iekļaušanu vienā ziņojumā. 7. līdz 10. nodarbība izved cauri konkrētiem lietojumiem — grafiku analīzei, OCR, strukturētai datu ieguvei un attēlu salīdzināšanai. 11. un 12. nodarbība noslēdz tēmu, aplūkojot ierobežojumus, izmaksu optimizāciju un iespējamos paplašinājumus.
Galvenās atziņas
- Mistral Vision API izmanto to pašu galapunktu, ko teksta tērzēšana
- Lietotāja ziņojums kļūst par masīvu, kas satur elementus
textunimage_url - Pieci modeļi atbalsta vizuālo apstrādi, sākot no jaudīgākā līdz vieglākajam
- Mistral ir atbilstoša izvēle projektiem, kuriem nepieciešama Eiropas datu suverenitāte