Įvadas į viziją per „Mistral“ API
Šiame puslapyje
Atnaujinimas 2026 m. lapkričio 2 d. – modeliai. „Mistral Large 3“ (
mistral-large-2512) ir „Mistral Medium 3.5“ buvo pripažinti pasenusiais nuo 2026 m. spalio 31 d. ir bus visiškai nutraukti 2027 m. balandžio 30 d. Jų įpėdinis, Mistral Large 4 (mistral-large-4), viešosios peržiūros etape yra nuo spalio 6 d. Šiame kurse pateikiami pavyzdžiai naudoja aliasąmistral-large-latest, kuris pagal oficialią specifikaciją (patikrinta 2026 m. lapkričio 3 d.) vis dar nukreipia į „Mistral Large 3“. Panašiaimistral-medium-latestnukreipia į „Mistral Medium 3.5“. Šie aliasai galios iki 2027 m. balandžio 30 d. Naujiems projektams testuokitemistral-large-4– jų numatytą įpėdinį.
Kas yra „Vision“ API?
Kalbos modeliai nebesustoja ties tekstu. Nuo 2024 m. „Mistral AI“ siūlo daugiamodalius modelius, gebančius vienu metu analizuoti tekstą ir vaizdus. Ši galimybė, vadinama Vision (vizija), keičia automatizuojamų darbų pobūdį: nufotografuota sąskaita faktūra, informacinio skydelio ekrano kopija ar techninė schema nebėra nepermatomas priedas, kurį žmogus privalo atidaryti. Vietoj to, jie tampa įvestimi, kurią tavo kodas užklausa lygiai taip pat, kaip užklaustų teksto eilutę.
Taikymo sritis plati: dokumentų analizė, grafikų skaitymas ir vizualinių duomenų išgavimas. Apskaitos įmonė, gaunanti tris šimtus nuskaitytų kvitų per mėnesį, gali paprašyti modelio nuskaityti sumas; produkto komanda gali automatiškai aprašyti naudotojų pateiktas ekrano kopijas. Šiame kurse išmoksi panaudoti „Mistral Vision“ API, kad integruotum šio tipo analizę į savo „Python“ programas. Kiekviena pamoka derina mechanizmo paaiškinimą su paruoštu naudoti kodu.
Kodėl verta rinktis „Mistral Vision“?
Pirmasis argumentas – techninių sutrikimų nebuvimas. Kvieti tą patį chat.complete() galinį tašką, naudojamą tekstui: nereikia mokytis atskiro API ar kurti atskiro kliento. Tiesiog pridėji vaizdus į žinutę. Projektas, jau sukurtas teksto generavimui, pritaiko viziją be pertvarkymo.
Antrasis – modelio pasirinkimas. Nuo galingiausio „Mistral Large 3“ iki lengviausio „Ministral 3“ šeimos nario, gali koreguoti kokybės ir kainos santykį pagal savo poreikius: sunkusis modelis tiksliam finansinio grafiko analizei, lengvasis – dešimties tūkstančių nuotraukų rūšiavimui pagal kategorijas. Šį koregavimą atlieki viena kodo eilute, kaip pamatysi 3-ioje pamokoje.
Taip pat svarstytini du strateginiai aspektai. Žinučių formatas laikosi „OpenAI“ tipo standarto, todėl palengvinamas migravimas iš kito tiekėjo: žinučių kūrimo kodas lieka beveik nepakitęs. Be to, kadangi „Mistral“ yra Prancūzijos įmonė, tavo duomenys gali likti Europoje, o tai dažnai yra lemiamas veiksnys, kai vaizduose yra asmens ar sutartinės informacijos.
Galimi vizijos modeliai
Penki „Mistral“ modeliai palaiko viziją. Kiekvienas jų identifikuojamas API ID, kurį perduodi parametru model.
| Modelis | API ID | Pagrindinė naudojimo sritis |
|---|---|---|
| Mistral Large 3 | mistral-large-2512 | Sudėtinga analizė, aukščiausia kokybė |
| Mistral Medium 3.5 | mistral-medium-latest | Geras kokybės ir greičio balansas |
| Mistral Small 4 | mistral-small-latest | Kasdienis naudojimas, greitas ir ekonomiškas |
| Ministral 3 14B | ministral-14b-2512 | Ribinis skaičiavimas (edge computing), maža delsos trukmė |
| Ministral 3 8B | ministral-8b-2512 | Įterptinės sistemos, riboti ištekliai |
Visi šie modeliai priima vaizdus kaip įvestį per pokalbių užbaigimo (Chat Completions) API. Kitaip tariant, kodas, kurį tuoj rašysi, veiks identiškai su visais penkiais modeliais.
Šioje lentelėje coegzistuoja dviejų formų identifikatoriai, o pasirinkimas tarp jų yra architektūrinis sprendimas. Aliasai su -latest automatiškai seka dabartinę modelio versiją: tavo užklausos gauna patobulinimų neliečiant kodo, tačiau elgsena gali keistis tau to nepastebint. Datuoti identifikatoriai, pavyzdžiui, mistral-large-2512, pritvirtina konkrečią versiją: elgsena lieka stabili, bet turi stebėti pasenusias versijas. Naudok aliasą prototipui; gamybos procesui su patvirtintais rezultatais pritvirtink versiją ir suplanuok atnaujinimus.
Tavo pirmasis vizijos kvietimas
Štai minimalus pavyzdys, kaip siųsti vaizdą į „Mistral“ ir gauti jo aprašymą:
from mistralai.client import Mistral
client = Mistral(api_key="YOUR_API_KEY")
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe this image in detail."},
{
"type": "image_url",
"image_url": "https://example.com/photo.jpg"
}
]
}
]
)
print(response.choices[0].message.content)
Viena detalė išskiria šį kvietimą iš standartinio teksto kvietimo, ir ji nusipelno dėmesio: naudotojo žinutės laukas content yra masyvas (sąrašas), o ne paprasta eilutė. Būtent ši struktūra leidžia viename žingsnyje maišyti tekstą ir vaizdus.
Daugiamodalės žinutės struktūra
Standartinė tik tekstui skirta žinutė telpa į vieną eilutę:
{"role": "user", "content": "Hello, how are you?"}
Daugiamodalė žinutė tą eilutę pakeičia tipizuotų elementų sąrašu, kurių kiekvienas anonosuojamas lauku type:
{
"role": "user",
"content": [
{"type": "text", "text": "Your question here"},
{"type": "image_url", "image_url": "URL or data URI of the image"}
]
}
Niekas neverčia tavęs apsiriboti vienu kiekvienos rūšies elementu. Į vieną žinutę gali įtraukti kelis text ir image_url elementus. Būtent tai leidžia, pavyzdžiui, pateikti atskaitos vaizdą, o tada vaizdą palyginimui, kiekvieną pristatant sakiniu. Tai išsamiai nagrinėsime kitose pamokose.
Ko išmoksi šiame kurse
Šis 12-os pamokų kursas žengia nuo mechanizmo link taikymo. 1–3 pamokos apima daugiamodalius modelius: kas iš tikrųjų vyksta, kai vaizdas patenka į modelį, ir kaip pasirinkti tavo darbo krūviui tinkamiausią. 4–6 pamokos nagrinėja vaizdų siuntimą: per URL, naudojant „Base64“ ir kelis vaizdus vienoje žinutėje. 7–10 pamokos žingsnis po žingsnio nagrinėja konkrečius naudojimo atvejus: grafikų analizę, OCR, struktūrizuotą išgavimą ir vaizdų palyginimą. 11 ir 12 pamokos apibendrina temą aptariant ribotumus, išlaidų optimizavimą ir galimus plėtinius.
Svarbiausi punktai
- „Mistral Vision“ API naudoja tą patį galinį tašką kaip ir teksto pokalbiai
- Naudotojo žinutė tampa masyvu, kuriame yra
textirimage_urlelementų - Penki modeliai palaiko viziją – nuo galingiausio iki lengviausio
- „Mistral“ yra tinkamas pasirinkimas projektams, kuriems reikia Europos duomenų suverenumo