Multimodal arkitektur hos Mistral-modeller
På denne side
Hvordan behandler en model tekst og billeder?
Når du sender et billede til en Mistral-model, “ser” den det ikke på samme måde som et menneske. Behandlingen hviler på en totrinsarkitektur: Først omdanner en visuel encoder billedet til en sekvens af numeriske tokens; derefter behandler sprogmodellen disse visuelle tokens sammen med teksttokens fra din prompt.
Denne lektion kan virke teoretisk, men den er faktisk den mest omkostningseffektive del af kurset. At forstå denne mekanisme forklarer, hvorfor et 4K-billede ikke giver bedre resultater end et 1080p-billede, hvorfor din månedlige regning stiger hurtigere med fem billeder end med fem afsnit, og hvorfor lille tekst på et skærmbillede ofte transskriberes dårligt.
Den visuelle encoder (Vision Encoder)
Den visuelle encoder er et specialiseret neuralt netværk – typisk en Vision Transformer (ViT) – der skærer billedet op i små firkantede patches, f.eks. 14×14 pixels, og omdanner dem til numeriske embeddings. Pipelinen kører i fem trin:
- Skalering: Billedet skaleres til en standardopløsning (f.eks. 384×384 eller 768×764 pixels)
- Patch-udtrækning: Det skalererede billede opdeles i regelmæssige patches
- Projektion: Hver patch omdannes til en numerisk vektor (embedding)
- Positionskodning: Positionsoplysninger for hver patch tilføjes
- Attention: Den visuelle transformer behandler hele sekvensen
Resultatet er en sekvens af visuelle tokens, der er fuldt ud sammenlignelige med teksttokens, bortset fra at de repræsenterer regioner af billedet snarere end ordfragmenter. Det første trin fortjener din opmærksomhed: Det forklarer, hvorfor en faktura-scanning på 4.000 pixels i bredden reduceres til få hundrede pixels, før analysen overhovedet begynder. Tegn i fin print, der allerede er på grænsen af læsbarhed, bliver til nogle få slørede pixels.
Sammenfletning af tekst og billede i LLM’en
Når de visuelle tokens er produceret, indsættes de i sprogmodellens inputsekvens sammen med teksttokens. Modellen behandler alt ensartet takket være cross-attention-mekanismen.
[teksttokens: "Beskriv dette billede"] + [visuelle tokens: patch1, patch2, ..., patchN]
↓
Sprogmodel (LLM)
↓
[output-tokens: "Dette billede viser..."]
Modellen kan dermed “læse” billedet og teksten samtidigt, hvilket giver den mulighed for at besvare specifikke spørgsmål om visuelt indhold. Det forklarer også, hvorfor et spørgsmål stillet før billedet og et stillet efter ikke giver præcis samme resultat: Alt sidder i samme sekvens, og rækkefølgen betyder noget.
Påvirkning af optælling af tokens
Hvert billede bruger et vist antal tokens, afhængigt af dets opløsning efter skalering. Dette er det vigtigste at huske, når du skal estimere dine omkostninger. Et standardbillede på ca. 768×768 bruger mellem 800 og 1.500 tokens – svarende til en eller to sider tekst. Større billeder skaleres før behandling: Det koster ikke mere at sende et 4K-billede end et 1080p-billede, men du vinder heller ikke noget ved det. Til denne total lægger du tokens fra din prompt og det genererede svar.
# Eksempel: estimer omkostningen ved et vision-kald
tokens_image = 1000 # gennemsnitligt estimat
tokens_prompt = 50 # "Beskriv dette billede i detaljer"
tokens_response = 200 # estimeret svar
total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Estimeret samlet antal tokens: {total_tokens}")
# → Estimeret samlet antal tokens: 1250
Kør denne beregning på dit eget volumen, før du industrialiserer: Tusind billeder om dagen repræsenterer mindst en million input-tokens, hvilket flytter samtalen fra prototype til budget.
Grænser for størrelse og opløsning
Mistral accepterer formaterne JPEG, PNG, GIF (første frame) og WebP med en maksimal størrelse på ca. 20 MB pr. billede. Flere billeder kan sameksistere i én besked, et emne vi dækker i lektion 6. Den mest kontraintuitive begrænsning er den interne skalering: Meget høj opløsning forbedrer ikke resultaterne; det forlænger blot overførselstiden.
Den praktiske konsekvens er, at du bør skalere billeder selv upstream i stedet for at lade API’et gøre det efter en unødvendigt tung upload:
from PIL import Image
def prepare_image(path, max_size=1024):
"""Skalerer et billede før afsendelse for at optimere latency."""
img = Image.open(path)
img.thumbnail((max_size, max_size))
img.save(path, quality=85)
return path
Indsæt denne funktion lige før Base64-kodning eller URL-hosting. På en batch af smartphone-fotos på 4 MB skærer det det overførte volumen med en betydelig faktor uden væsentligt kvalitetstab for analysen.
Forenklet arkitektur
Fra ende til ende kan en anmodnings rejse koges ned til fem trin: Du sender en besked, der indeholder tekst og ét eller flere billeder; API’et skalerer hvert billede og sender det til den visuelle encoder; de resulterende visuelle tokens flettes sammen med teksttokens; modellen genererer et svar på naturligt sprog; du modtager det præcis som et standard tekstkald. Intet ændrer sig i din kode på API-siden – Mistral håndterer al kompleksiteten – men det betyder ikke, at du kan ignorere, hvad det koster dig.
Vigtige pointer
- Billeder omdannes til visuelle tokens af en Vision Transformer-encoder
- LLM’en behandler disse visuelle tokens præcis som teksttokens
- Et standardbillede bruger groft sagt 800 til 1.500 tokens
- Billeder skaleres internt – der er ingen grund til at sende meget høj opløsning
- Skalering af billeder på klientsiden reducerer latency uden kvalitetstab