Multimodale architectuur van Mistral-modellen
Op deze pagina
Hoe verwerkt een model tekst en afbeeldingen?
Wanneer u een afbeelding naar een Mistral-model stuurt, “ziet” het deze niet zoals een mens dat doet. De verwerking berust op een architectuur in twee fasen: eerst zet een visuele encoder de afbeelding om in een reeks numerieke tokens; vervolgens verwerkt het taalmodel deze visuele tokens samen met de teksttokens uit uw prompt.
Deze les lijkt wellicht theoretisch, maar vormt eigenlijk het meest kosteneffectieve onderdeel van de cursus. Inzicht in dit mechanisme verklaart waarom een 4K-afbeelding geen betere resultaten oplevert dan een 1080p-afbeelding, waarom uw maandfactuur sneller stijgt bij vijf afbeeldingen dan bij vijf alinea’s, en waarom kleine tekst op een screenshot vaak slecht wordt getranscribeerd.
De visuele encoder (Vision Encoder)
De visuele encoder is een gespecialiseerd neuraal netwerk—doorgaans een Vision Transformer (ViT)—dat de afbeelding in kleine vierkante patches snijdt, bijvoorbeeld van 14×14 pixels, en deze omzet in numerieke embeddings. De pipeline doorloopt vijf stappen:
- Formaat wijzigen: de afbeelding wordt geschaald naar een standaardresolutie (bijv. 384×384 of 768×768 pixels)
- Patch-extractie: de geschaalde afbeelding wordt verdeeld in regelmatige patches
- Projectie: elke patch wordt omgezet in een numerieke vector (embedding)
- Positionele codering: positie-informatie voor elke patch wordt toegevoegd
- Attention: de visuele transformer verwerkt de volledige reeks
Het resultaat is een reeks visuele tokens, volledig vergelijkbaar met teksttokens, behalve dat ze beeldregio’s vertegenwoordigen in plaats van woordfragmenten. De eerste stap verdient uw aandacht: deze verklaart waarom een factuurscan van 4.000 pixels breed wordt teruggebracht tot enkele honderden pixels voordat de analyse überhaupt begint. Tekens in kleine lettertjes, die al aan de grens van de leesbaarheid zitten, veranderen in een paar wazige pixels.
Tekst-afbeeldingsfusie in het LLM
Zodra de visuele tokens zijn gegenereerd, worden ze naast de teksttokens in de invoerreeks van het taalmodel ingevoegd. Het model verwerkt alles uniform dankzij het cross-attention-mechanisme.
[teksttokens: "Beschrijf deze afbeelding"] + [visuele tokens: patch1, patch2, ..., patchN]
↓
Taalmodel (LLM)
↓
[uitvoertokens: "Deze afbeelding toont..."]
Het model kan zo de afbeelding en tekst gelijktijdig “lezen”, waardoor het specifieke vragen over visuele inhoud kan beantwoorden. Dit verklaart ook waarom een vraag die vóór de afbeelding wordt gesteld en een vraag die erna wordt gesteld niet exact hetzelfde resultaat opleveren: alles staat in dezelfde reeks en de volgorde is bepalend.
Impact op het tellen van tokens
Elke afbeelding verbruikt een bepaald aantal tokens, afhankelijk van de resolutie na het schalen. Dit is de belangrijkste conclusie voor het schatten van uw kosten. Een standaardafbeelding van ongeveer 768×768 verbruikt tussen de 800 en 1.500 tokens—gelijkwaardig aan één of twee pagina’s tekst. Grotere afbeeldingen worden voorafgaand aan de verwerking geschaald: het verzenden van een 4K-afbeelding kost niet meer dan een 1080p-afbeelding, maar levert u ook niets extra’s op. Tel bij dit totaal de tokens van uw prompt en het gegenereerde antwoord op.
# Voorbeeld: schat de kosten van een vision-call
tokens_image = 1000 # gemiddelde schatting
tokens_prompt = 50 # "Beschrijf deze afbeelding gedetailleerd"
tokens_response = 200 # geschatte respons
total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Geschat totaal aantal tokens: {total_tokens}")
# → Geschat totaal aantal tokens: 1250
Voer deze berekening uit op uw eigen volume voordat u industrialiseert: duizend afbeeldingen per dag staat gelijk aan minstens een miljoen invoertokens, waardoor het gesprek verschuift van prototype naar begroting.
Limieten voor grootte en resolutie
Mistral accepteert de indelingen JPEG, PNG, GIF (eerste frame) en WebP, met een maximale grootte van ongeveer 20 MB per afbeelding. Meerdere afbeeldingen kunnen in één bericht coëxisteren; dit onderwerp behandelen we in les 6. De meest contra-intuïtieve beperking blijft de interne schaling: een zeer hoge resolutie verbetert de resultaten niet; het verlengt alleen de overdrachtstijd.
Het praktische gevolg is dat u afbeeldingen zelf upstream moet schalen in plaats van de API dit te laten doen na een onnodig zware upload:
from PIL import Image
def prepare_image(path, max_size=1024):
"""Wijzigt het formaat van een afbeelding voor verzending om latentie te optimaliseren."""
img = Image.open(path)
img.thumbnail((max_size, max_size))
img.save(path, quality=85)
return path
Voeg deze functie net voor de Base64-codering of URL-hosting toe. Bij een batch smartphonefoto’s van 4 MB verkleint dit het overgedragen volume met een aanzienlijke factor zonder noemenswaardig kwaliteitsverlies voor de analyse.
Vereenvoudigde architectuur
End-to-end komt de reis van een verzoek neer op vijf stappen: u stuurt een bericht met tekst en een of meer afbeeldingen; de API schaalt elke afbeelding en stuurt deze naar de visuele encoder; de resulterende visuele tokens smelten samen met teksttokens; het model genereert een respons in natuurlijke taal; u ontvangt deze net als bij een standaard tekstoproep. Aan uw code aan de API-kant verandert niets—Mistral handelt alle complexiteit af—maar dat betekent niet dat u de kosten ervan kunt negeren.
Belangrijkste punten
- Afbeeldingen worden door een Vision Transformer-encoder omgezet in visuele tokens
- Het LLM verwerkt deze visuele tokens net als teksttokens
- Een standaardafbeelding verbruikt ruwweg 800 tot 1.500 tokens
- Afbeeldingen worden intern geschaald—het heeft geen zin om een zeer hoge resolutie te verzenden
- Het schalen van afbeeldingen aan de clientzijde verlaagt de latentie zonder kwaliteitsverlies