Przejdź do głównej treści
Polski— Wybierz język
Menu

Architektura multimodalna modeli Mistral

Lekcja 2 z 12 Zaktualizowano 29 lipca 2026 Programista
Na tej stronie
  1. Jak model przetwarza tekst i obrazy?
  2. Enkoder wizualny (Vision Encoder)
  3. Fuzja tekstu i obrazu w LLM
  4. Wpływ na liczenie tokenów
  5. Limity rozmiaru i rozdzielczości
  6. Uproszczona architektura
  7. Kluczowe wnioski

Jak model przetwarza tekst i obrazy?

Gdy wyślesz obraz do modelu Mistral, nie „widzi“ go on tak jak człowiek. Przetwarzanie opiera się na dwuetapowej architekturze: najpierw enkoder wizualny przekształca obraz w sekwencję numerycznych tokenów, a następnie model językowy przetwarza te tokeny wizualne wraz z tokenami tekstowymi z Twojego promptu.

Lekcja ta może wydawać się teoretyczna, ale w rzeczywistości jest najbardziej opłacalną częścią kursu. Zrozumienie tego mechanizmu wyjaśnia, dlaczego obraz 4K nie daje lepszych rezultatów niż obraz 1080p, dlaczego Twój miesięczny rachunek rośnie szybciej przy pięciu obrazach niż przy pięciu akapitach tekstu oraz dlaczego drobny tekst na zrzucie ekranu jest często błędnie rozpoznawany.

Enkoder wizualny (Vision Encoder)

Enkoder wizualny to wyspecjalizowana sieć neuronowa – zazwyczaj Vision Transformer (ViT) – która dzieli obraz na małe kwadratowe fragmenty (np. 14×14 pikseli) i konwertuje je na numeryczne embeddingi. Proces ten składa się z pięciu kroków:

  1. Zmiana rozmiaru: obraz jest skalowany do standardowej rozdzielczości (np. 384×384 lub 768×768 pikseli)
  2. Ekstrakcja fragmentów: obraz o zmienionym rozmiarze jest dzielony na regularne fragmenty
  3. Projekcja: każdy fragment jest konwertowany na wektor numeryczny (embedding)
  4. Kodowanie pozycyjne: dodawane są informacje o położeniu każdego fragmentu
  5. Uwaga (Attention): transformator wizualny przetwarza całą sekwencję

Wynikiem jest sekwencja tokenów wizualnych, w pełni porównywalna z tokenami tekstowymi, z tą różnicą, że reprezentują one obszary obrazu, a nie fragmenty słów. Pierwszy krok zasługuje na szczególną uwagę: wyjaśnia on, dlaczego skan faktury o szerokości 4000 pikseli jest redukowany do kilkuset pikseli jeszcze przed rozpoczęciem analizy. Znaki w drobnym druku, będące już na granicy czytelności, stają się kilkoma rozmytymi pikselami.

Fuzja tekstu i obrazu w LLM

Gdy tokeny wizualne zostaną wygenerowane, są wstawiane do sekwencji wejściowej modelu językowego obok tokenów tekstowych. Model przetwarza wszystko jednolicie dzięki mechanizmowi krzyżowej uwagi (cross-attention).

[token tekstowy: "Opisz ten obraz"] + [tokeny wizualne: fragment1, fragment2, ..., fragmentN]
                                    ↓
                          Model językowy (LLM)
                                    ↓
                    [tokeny wyjściowe: "Ten obraz przedstawia..."]

Dzięki temu model może jednocześnie „czytać“ obraz i tekst, co pozwala mu odpowiadać na szczegółowe pytania dotyczące treści wizualnej. Wyjaśnia to również, dlaczego pytanie zadane przed obrazem i pytanie zadane po nim nie dają dokładnie takiego samego rezultatu: wszystko znajduje się w tej samej sekwencji, a kolejność ma znaczenie.

Wpływ na liczenie tokenów

Każdy obraz zużywa określoną liczbę tokenów, w zależności od jego rozdzielczości po zmianie rozmiaru. To kluczowa informacja pozwalająca oszacować koszty. Standardowy obraz o rozdzielczości około 768×768 zużywa od 800 do 1500 tokenów – co odpowiada jednej lub dwóm stronom tekstu. Większe obrazy są zmieniane w rozmiarze przed przetworzeniem: wysłanie obrazu 4K kosztuje tyle samo co obraz 1080p, ale nie przynosi żadnych korzyści. Do tej sumy należy dodać tokeny z Twojego promptu oraz wygenerowanej odpowiedzi.

# Przykład: oszacowanie kosztu wywołania vision
tokens_image = 1000  # średnie oszacowanie
tokens_prompt = 50   # "Opisz szczegółowo ten obraz"
tokens_response = 200  # szacowana odpowiedź

total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Szacowana całkowita liczba tokenów: {total_tokens}")
# → Szacowana całkowita liczba tokenów: 1250

Wykonaj to obliczenie dla własnego wolumenu przed wdrożeniem produkcyjnym: tysiąc obrazów dziennie to co najmniej milion tokenów wejściowych, co zmienia rozmowę z poziomu prototypu na poziom budżetu.

Limity rozmiaru i rozdzielczości

Mistral akceptuje formaty JPEG, PNG, GIF (pierwsza klatka) oraz WebP, z maksymalnym rozmiarem około 20 MB na obraz. W jednej wiadomości mogą współistnieć multiple obrazy – temat ten omówimy w Lekcji 6. Najbardziej kontrintuicyjnym ograniczeniem pozostaje wewnętrzna zmiana rozmiaru: bardzo wysoka rozdzielczość nie poprawia wyników, a jedynie wydłuża czas transferu.

Praktyczną konsekwencją jest to, że powinieneś samodzielnie zmieniać rozmiar obrazów przed wysłaniem, zamiast pozwalać API robić to po niepotrzebnie ciężkim przesyłaniu:

from PIL import Image

def prepare_image(path, max_size=1024):
    """Zmienia rozmiar obrazu przed wysłaniem, aby zoptymalizować opóźnienia."""
    img = Image.open(path)
    img.thumbnail((max_size, max_size))
    img.save(path, quality=85)
    return path

Wstaw tę funkcję tuż przed kodowaniem Base64 lub hostowaniem URL. W przypadku partii zdjęć ze smartfona o wielkości 4 MB redukuje to przesyłany wolumen o znaczący czynnik, bez istotnej utraty jakości dla potrzeb analizy.

Uproszczona architektura

Cały proces żądania sprowadza się do pięciu kroków: wysyłasz wiadomość zawierającą tekst i jeden lub więcej obrazów; API zmienia rozmiar każdego obrazu i przesyła go do enkodera wizualnego; powstałe tokeny wizualne łączą się z tokenami tekstowymi; model generuje odpowiedź w języku naturalnym; otrzymujesz ją tak samo, jak w przypadku standardowego wywołania tekstowego. Nic nie zmienia się w Twoim kodzie po stronie API – Mistral zajmuje się całą złożonością – ale nie oznacza to, że możesz ignorować koszty, jakie to generuje.

Kluczowe wnioski

  • Obrazy są konwertowane na tokeny wizualne przez enkoder Vision Transformer
  • LLM przetwarza te tokeny wizualne tak samo jak tokeny tekstowe
  • Standardowy obraz zużywa około 800 do 1500 tokenów
  • Obrazy są wewnętrznie zmieniane w rozmiarze – nie ma potrzeby wysyłania bardzo wysokiej rozdzielczości
  • Zmiana rozmiaru obrazów po stronie klienta redukuje opóźnienia bez utraty jakości