Wprowadzenie do Vision przez API Mistral
Na tej stronie
Aktualizacja z 2 listopada 2026 r. — modele. Mistral Large 3 (
mistral-large-2512) i Mistral Medium 3.5 zostały wycofane ze wsparcia (deprecated) od 31 października 2026 r. i zostaną całkowicie usunięte 30 kwietnia 2027 r. Ich wyznaczony następca, Mistral Large 4 (mistral-large-4), jest dostępny w publicznej wersji zapoznawczej (public preview) od 6 października. Przykłady w tym kursie używają aliasumistral-large-latest, który zgodnie z oficjalną specyfikacją nadal wskazuje na Mistral Large 3 (zweryfikowano 3 listopada 2026 r.). Podobniemistral-medium-latestwskazuje na Mistral Medium 3.5. Aliasy te pozostaną ważne do 30 kwietnia 2027 r. W przypadku nowych projektów przetestujmistral-large-4, ich wyznaczonego następcę.
Czym jest API Vision?
Modele językowe nie ograniczają się już tylko do tekstu. Od 2024 roku Mistral AI oferuje modele wielomodalne, zdolne do jednoczesnej analizy tekstu i obrazów. Ta możliwość, zwana Vision, zmienia charakter pracy, którą możesz zautomatyzować: sfotografowana faktura, zrzut ekranu pulpitu nawigacyjnego czy schemat techniczny przestają być nieprzejrzystymi załącznikami, które musi otworzyć człowiek. Zamiast tego stają się danymi wejściowymi, które odpytuje Twój kod, dokładnie tak samo, jak odpytywałby ciąg znaków.
Zakres zastosowań jest szeroki: analiza dokumentów, odczyt wykresów i ekstrakcja danych wizualnych. Firma księgowa otrzymująca miesięcznie trzysta zeskanowanych paragonów może poprosić model o odczytanie kwot; zespół produktowy może automatycznie opisywać zrzuty ekranu przesyłane przez użytkowników. W tym kursie nauczysz się wykorzystywać API Mistral Vision do integrowania tego typu analiz z aplikacjami w Pythonie. Każda lekcja łączy wyjaśnienie mechanizmu z gotowym do użycia kodem.
Dlaczego warto używać Mistral Vision?
Pierwszym argumentem jest brak konieczności wprowadzania zmian technicznych. Wywołujesz to samo punkt końcowy chat.complete(), którego używasz do tekstu: nie ma osobnego API do nauki ani oddzielnego klienta do inicjalizacji. Po prostu dodajesz obrazy do wiadomości. Projekt oparty już na generowaniu tekstu obsłuży vision bez konieczności przeprojektowania.
Drugim argumentem jest wybór modelu. Od najpotężniejszego, Mistral Large 3, po najlżejszy z rodziny Ministral 3, dostosowujesz kompromis między jakością a kosztem do swojego przypadku: ciężki model do szczegółowej analizy wykresu finansowego, lekki model do sortowania dziesięciu tysięcy zdjęć według kategorii. Dostosowania tego dokonujesz w jednej linii kodu, co zobaczysz w Lekcji 3.
Istnieją jeszcze dwa względy strategiczne. Format wiadomości遵循 standardowi podobnemu do OpenAI, co ułatwia migrację od innego dostawcy: kod budujący wiadomości pozostaje praktycznie niezmieniony. A ponieważ Mistral jest firmą francuską, Twoje dane mogą pozostać w Europie, co często jest czynnikiem decydującym, gdy obrazy zawierają informacje osobowe lub umowne.
Dostępne modele Vision
Pięć modeli Mistral obsługuje vision. Każdy z nich jest identyfikowany przez ID API, które przekazujesz do parametru model.
| Model | ID API | Główne zastosowanie |
|---|---|---|
| Mistral Large 3 | mistral-large-2512 | Analiza złożona, najwyższa jakość |
| Mistral Medium 3.5 | mistral-medium-latest | Dobry balans jakości i szybkości |
| Mistral Small 4 | mistral-small-latest | Codzienne użycie, szybki i ekonomiczny |
| Ministral 3 14B | ministral-14b-2512 | Computing na krawędzi (edge), niskie opóźnienia |
| Ministral 3 8B | ministral-8b-2512 | Systemy wbudowane, ograniczone zasoby |
Wszystkie te modele przyjmują obrazy jako dane wejściowe poprzez API Chat Completions. Innymi słowy, kod, który zaraz napiszesz, będzie działał identycznie z wszystkimi pięcioma modelami.
W tej tabeli współistnieją dwie formy identyfikatorów, a wybór między nimi jest decyzją architektoniczną. Aliasy -latest automatycznie śledzą bieżącą wersję modelu: Twoje wywołania korzystają z ulepszeń bez dotykania kodu, kosztem zachowania, które może ewoluować pod Twoimi stopami. Identyfikatory z datą, takie jak mistral-large-2512, przypinają konkretną wersję: zachowanie pozostaje stabilne, ale musisz śledzić wycofania (deprecations). Użyj aliasu do prototypu; w przypadku potoku produkcyjnego ze zweryfikowanymi wynikami przypnij wersję i zaplanuj aktualizacje.
Twoje pierwsze wywołanie Vision
Oto minimalny przykład wysyłania obrazu do Mistral i otrzymywania opisu:
from mistralai.client import Mistral
client = Mistral(api_key="YOUR_API_KEY")
response = client.chat.complete(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Describe this image in detail."},
{
"type": "image_url",
"image_url": "https://example.com/photo.jpg"
}
]
}
]
)
print(response.choices[0].message.content)
Jeden szczegół odróżnia to wywołanie od standardowego wywołania tekstowego i zasługuje na uwagę: pole content wiadomości użytkownika jest tablicą (listą), a nie prostym ciągiem znaków. Ta struktura umożliwia mieszanie tekstu i obrazów w jednej turze rozmowy.
Struktura wiadomości wielomodalnej
Standardowa wiadomość zawierająca tylko tekst mieści się w jednej linii:
{"role": "user", "content": "Hello, how are you?"}
Wiadomość wielomodalna zastępuje ten ciąg listą typowanych elementów, z których każdy jest ogłoszony przez swoje pole type:
{
"role": "user",
"content": [
{"type": "text", "text": "Your question here"},
{"type": "image_url", "image_url": "URL or data URI of the image"}
]
}
Nic nie zmusza Cię do ograniczania się do jednego elementu każdego rodzaju. Możesz dołączyć wiele elementów text i image_url w jednej wiadomości. To właśnie pozwala Ci na przykład przedstawić obraz referencyjny, a następnie obraz do porównania, wprowadzając każdy z nich zdaniem. Omówimy to szczegółowo w kolejnych lekcjach.
Czego nauczysz się w tym kursie
Ten 12-lekcyjny kurs prowadzi od mechanizmu do zastosowania. Lekcje od 1 do 3 obejmują modele wielomodalne: co właściwie dzieje się, gdy obraz trafia do modelu, i jak wybrać ten, który pasuje do Twojego obciążenia. Lekcje od 4 do 6 dotyczą wysyłania obrazów: przez URL, w formacie Base64, a następnie wielu obrazów w jednej wiadomości. Lekcje od 7 do 10 przeprowadzą Cię przez konkretne przypadki użycia – analizę wykresów, OCR, ekstrakcję strukturalną i porównywanie obrazów. Lekcje 11 i 12 podsumowują temat, omawiając limity, optymalizację kosztów i możliwe rozszerzenia.
Kluczowe wnioski
- API Mistral Vision używa tego samego punktu końcowego co czat tekstowy
- Wiadomość użytkownika staje się tablicą zawierającą elementy
textiimage_url - Pięć modeli obsługuje vision, od najpotężniejszego do najlżejszego
- Mistral jest odpowiednim wyborem dla projektów wymagających europejskiej suwerenności danych