Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Multimodal arkitektur hos Mistral-modeller

Lektion 2 av 12 Uppdaterad 29 juli 2026 Utvecklare
På denna sida
  1. Hur bearbetar en modell text och bilder?
  2. Den visuella kodaren (Vision Encoder)
  3. Sammanslagning av text och bild i LLM:n
  4. Påverkan på token-räkning
  5. Gränser för storlek och upplösning
  6. Förenklad arkitektur
  7. Viktiga punkter

Hur bearbetar en modell text och bilder?

När du skickar en bild till en Mistral-modell “ser” den den inte på samma sätt som en människa. Bearbetningen bygger på en arkitektur i två steg: först omvandlar en visuell kodare (visual encoder) bilden till en sekvens av numeriska token; sedan bearbetar språkmodellen dessa visuella token tillsammans med text-token från din prompt.

Den här lektionen kan verka teoretisk, men den är faktiskt den mest kostnadseffektiva delen av kursen. Att förstå denna mekanism förklarar varför en 4K-bild inte ger bättre resultat än en bild i 1080p, varför din månadskostnad skenar snabbare med fem bilder än med fem stycken textstycken, och varför liten text på en skärmdump ofta transkriberas dåligt.

Den visuella kodaren (Vision Encoder)

Den visuella kodaren är ett specialiserat neuralt nätverk – vanligtvis en Vision Transformer (ViT) – som delar upp bilden i små kvadratiska patchar, till exempel 14×14 pixlar, och omvandlar dem till numeriska inbäddningar (embeddings). Pipelinen körs i fem steg:

  1. Skalning: bilden skalas till en standardupplösning (t.ex. 384×384 eller 768×768 pixlar)
  2. Patch-extrahering: den skalade bilden delas upp i regelbundna patchar
  3. Projektion: varje patch omvandlas till en numerisk vektor (embedding)
  4. Positionell kodning: positionsinformation för varje patch läggs till
  5. Attention: den visuella transformatorn bearbetar hela sekvensen

Resultatet är en sekvens av visuella token, helt jämförbara med text-token, förutom att de representerar regioner av bilden snarare än ordfragment. Det första steget förtjänar din uppmärksamhet: det förklarar varför en fakturaskanning på 4 000 pixlar i bredd reduceras till några hundra pixlar innan analysen ens börjar. Tecken i finstil, som redan ligger på gränsen för läsbarhet, blir till några suddiga pixlar.

Sammanslagning av text och bild i LLM:n

När de visuella token har genererats infogas de i språkmodellens inmatningssekvens tillsammans med text-token. Modellen bearbetar allt enhetligt tack vare mekanismen för korsvis attention (cross-attention).

[text tokens: "Describe this image"] + [visual tokens: patch1, patch2, ..., patchN]
                                    ↓
                          Language Model (LLM)
                                    ↓
                    [output tokens: "This image shows..."]

Modellen kan därmed “läsa” bilden och texten samtidigt, vilket gör att den kan svara på specifika frågor om visuellt innehåll. Detta förklarar också varför en fråga som ställs före bilden och en som ställs efter inte ger exakt samma resultat: allt sitter i samma sekvens, och ordningen spelar roll.

Påverkan på token-räkning

Varje bild förbrukar ett visst antal token, beroende på dess upplösning efter skalning. Detta är den viktigaste slutsatsen för att uppskatta dina kostnader. En standardbild, runt 768×768, förbrukar mellan 800 och 1 500 token – motsvarande en eller två sidor text. Större bilder skalas om innan bearbetning: att skicka en 4K-bild kostar inte mer än en bild i 1080p, men du får inga fördelar heller. Till denna summa lägger du token från din prompt och det genererade svaret.

# Exempel: uppskatta kostnaden för ett vision-anrop
tokens_image = 1000  # genomsnittlig uppskattning
tokens_prompt = 50   # "Describe this image in detail"
tokens_response = 200  # uppskattat svar

total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Estimated total tokens: {total_tokens}")
# → Estimated total tokens: 1250

Kör denna beräkning på din egen volym innan du industrialiserar: tusen bilder per dag motsvarar minst en miljon inmatningstoken, vilket flyttar samtalet från prototyp till budget.

Gränser för storlek och upplösning

Mistral accepterar formaten JPEG, PNG, GIF (första bildrutan) och WebP, med en maximal storlek på cirka 20 MB per bild. Flera bilder kan samexistera i ett enda meddelande, ett ämne vi tar upp i lektion 6. Den mest kontraintuitiva begränsningen är den interna omskalningen: mycket hög upplösning förbättrar inte resultaten; det förlänger bara överföringstiden.

Den praktiska konsekvensen är att du bör skala om bilder själv i förväg istället för att låta API:t göra det efter en onödigt tung uppladdning:

from PIL import Image

def prepare_image(path, max_size=1024):
    """Resizes an image before sending to optimize latency."""
    img = Image.open(path)
    img.thumbnail((max_size, max_size))
    img.save(path, quality=85)
    return path

Infoga denna funktion precis före Base64-kodning eller URL-hosting. På en batch med smartphone-foton på 4 MB skär den överförda volymen med en betydande faktor utan nämnvärd kvalitetsförlust för analysen.

Förenklad arkitektur

Från start till mål kokar en förfrågans resa ner till fem steg: du skickar ett meddelande som innehåller text och en eller flera bilder; API:t skalar om varje bild och skickar den till den visuella kodaren; de resulterande visuella token slås samman med text-token; modellen genererar ett svar på naturligt språk; du tar emot det precis som vid ett vanligt textanrop. Inget ändras i din kod på API-sidan – Mistral hanterar all komplexitet – men det betyder inte att du kan ignorera vad det kostar dig.

Viktiga punkter

  • Bilder omvandlas till visuella token av en Vision Transformer-kodare
  • LLM:n bearbetar dessa visuella token precis som text-token
  • En standardbild förbrukar ungefär 800 till 1 500 token
  • Bilder skalas om internt – det finns inget behov av att skicka mycket hög upplösning
  • Att skala om bilder på klientsidan minskar latens utan kvalitetsförlust