Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Įvadas į viziją per „Mistral“ API

Paskaita 1 iš 12 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Kas yra „Vision“ API?
  2. Kodėl verta rinktis „Mistral Vision“?
  3. Galimi vizijos modeliai
  4. Tavo pirmasis vizijos kvietimas
  5. Daugiamodalės žinutės struktūra
  6. Ko išmoksi šiame kurse
  7. Svarbiausi punktai

Atnaujinimas 2026 m. lapkričio 2 d. – modeliai. „Mistral Large 3“ (mistral-large-2512) ir „Mistral Medium 3.5“ buvo pripažinti pasenusiais nuo 2026 m. spalio 31 d. ir bus visiškai nutraukti 2027 m. balandžio 30 d. Jų įpėdinis, Mistral Large 4 (mistral-large-4), viešosios peržiūros etape yra nuo spalio 6 d. Šiame kurse pateikiami pavyzdžiai naudoja aliasą mistral-large-latest, kuris pagal oficialią specifikaciją (patikrinta 2026 m. lapkričio 3 d.) vis dar nukreipia į „Mistral Large 3“. Panašiai mistral-medium-latest nukreipia į „Mistral Medium 3.5“. Šie aliasai galios iki 2027 m. balandžio 30 d. Naujiems projektams testuokite mistral-large-4 – jų numatytą įpėdinį.

Kas yra „Vision“ API?

Kalbos modeliai nebesustoja ties tekstu. Nuo 2024 m. „Mistral AI“ siūlo daugiamodalius modelius, gebančius vienu metu analizuoti tekstą ir vaizdus. Ši galimybė, vadinama Vision (vizija), keičia automatizuojamų darbų pobūdį: nufotografuota sąskaita faktūra, informacinio skydelio ekrano kopija ar techninė schema nebėra nepermatomas priedas, kurį žmogus privalo atidaryti. Vietoj to, jie tampa įvestimi, kurią tavo kodas užklausa lygiai taip pat, kaip užklaustų teksto eilutę.

Taikymo sritis plati: dokumentų analizė, grafikų skaitymas ir vizualinių duomenų išgavimas. Apskaitos įmonė, gaunanti tris šimtus nuskaitytų kvitų per mėnesį, gali paprašyti modelio nuskaityti sumas; produkto komanda gali automatiškai aprašyti naudotojų pateiktas ekrano kopijas. Šiame kurse išmoksi panaudoti „Mistral Vision“ API, kad integruotum šio tipo analizę į savo „Python“ programas. Kiekviena pamoka derina mechanizmo paaiškinimą su paruoštu naudoti kodu.

Kodėl verta rinktis „Mistral Vision“?

Pirmasis argumentas – techninių sutrikimų nebuvimas. Kvieti tą patį chat.complete() galinį tašką, naudojamą tekstui: nereikia mokytis atskiro API ar kurti atskiro kliento. Tiesiog pridėji vaizdus į žinutę. Projektas, jau sukurtas teksto generavimui, pritaiko viziją be pertvarkymo.

Antrasis – modelio pasirinkimas. Nuo galingiausio „Mistral Large 3“ iki lengviausio „Ministral 3“ šeimos nario, gali koreguoti kokybės ir kainos santykį pagal savo poreikius: sunkusis modelis tiksliam finansinio grafiko analizei, lengvasis – dešimties tūkstančių nuotraukų rūšiavimui pagal kategorijas. Šį koregavimą atlieki viena kodo eilute, kaip pamatysi 3-ioje pamokoje.

Taip pat svarstytini du strateginiai aspektai. Žinučių formatas laikosi „OpenAI“ tipo standarto, todėl palengvinamas migravimas iš kito tiekėjo: žinučių kūrimo kodas lieka beveik nepakitęs. Be to, kadangi „Mistral“ yra Prancūzijos įmonė, tavo duomenys gali likti Europoje, o tai dažnai yra lemiamas veiksnys, kai vaizduose yra asmens ar sutartinės informacijos.

Galimi vizijos modeliai

Penki „Mistral“ modeliai palaiko viziją. Kiekvienas jų identifikuojamas API ID, kurį perduodi parametru model.

ModelisAPI IDPagrindinė naudojimo sritis
Mistral Large 3mistral-large-2512Sudėtinga analizė, aukščiausia kokybė
Mistral Medium 3.5mistral-medium-latestGeras kokybės ir greičio balansas
Mistral Small 4mistral-small-latestKasdienis naudojimas, greitas ir ekonomiškas
Ministral 3 14Bministral-14b-2512Ribinis skaičiavimas (edge computing), maža delsos trukmė
Ministral 3 8Bministral-8b-2512Įterptinės sistemos, riboti ištekliai

Visi šie modeliai priima vaizdus kaip įvestį per pokalbių užbaigimo (Chat Completions) API. Kitaip tariant, kodas, kurį tuoj rašysi, veiks identiškai su visais penkiais modeliais.

Šioje lentelėje coegzistuoja dviejų formų identifikatoriai, o pasirinkimas tarp jų yra architektūrinis sprendimas. Aliasai su -latest automatiškai seka dabartinę modelio versiją: tavo užklausos gauna patobulinimų neliečiant kodo, tačiau elgsena gali keistis tau to nepastebint. Datuoti identifikatoriai, pavyzdžiui, mistral-large-2512, pritvirtina konkrečią versiją: elgsena lieka stabili, bet turi stebėti pasenusias versijas. Naudok aliasą prototipui; gamybos procesui su patvirtintais rezultatais pritvirtink versiją ir suplanuok atnaujinimus.

Tavo pirmasis vizijos kvietimas

Štai minimalus pavyzdys, kaip siųsti vaizdą į „Mistral“ ir gauti jo aprašymą:

from mistralai.client import Mistral

client = Mistral(api_key="YOUR_API_KEY")

response = client.chat.complete(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Describe this image in detail."},
                {
                    "type": "image_url",
                    "image_url": "https://example.com/photo.jpg"
                }
            ]
        }
    ]
)

print(response.choices[0].message.content)

Viena detalė išskiria šį kvietimą iš standartinio teksto kvietimo, ir ji nusipelno dėmesio: naudotojo žinutės laukas content yra masyvas (sąrašas), o ne paprasta eilutė. Būtent ši struktūra leidžia viename žingsnyje maišyti tekstą ir vaizdus.

Daugiamodalės žinutės struktūra

Standartinė tik tekstui skirta žinutė telpa į vieną eilutę:

{"role": "user", "content": "Hello, how are you?"}

Daugiamodalė žinutė tą eilutę pakeičia tipizuotų elementų sąrašu, kurių kiekvienas anonosuojamas lauku type:

{
    "role": "user",
    "content": [
        {"type": "text", "text": "Your question here"},
        {"type": "image_url", "image_url": "URL or data URI of the image"}
    ]
}

Niekas neverčia tavęs apsiriboti vienu kiekvienos rūšies elementu. Į vieną žinutę gali įtraukti kelis text ir image_url elementus. Būtent tai leidžia, pavyzdžiui, pateikti atskaitos vaizdą, o tada vaizdą palyginimui, kiekvieną pristatant sakiniu. Tai išsamiai nagrinėsime kitose pamokose.

Ko išmoksi šiame kurse

Šis 12-os pamokų kursas žengia nuo mechanizmo link taikymo. 1–3 pamokos apima daugiamodalius modelius: kas iš tikrųjų vyksta, kai vaizdas patenka į modelį, ir kaip pasirinkti tavo darbo krūviui tinkamiausią. 4–6 pamokos nagrinėja vaizdų siuntimą: per URL, naudojant „Base64“ ir kelis vaizdus vienoje žinutėje. 7–10 pamokos žingsnis po žingsnio nagrinėja konkrečius naudojimo atvejus: grafikų analizę, OCR, struktūrizuotą išgavimą ir vaizdų palyginimą. 11 ir 12 pamokos apibendrina temą aptariant ribotumus, išlaidų optimizavimą ir galimus plėtinius.

Svarbiausi punktai

  • „Mistral Vision“ API naudoja tą patį galinį tašką kaip ir teksto pokalbiai
  • Naudotojo žinutė tampa masyvu, kuriame yra text ir image_url elementų
  • Penki modeliai palaiko viziją – nuo galingiausio iki lengviausio
  • „Mistral“ yra tinkamas pasirinkimas projektams, kuriems reikia Europos duomenų suverenumo