Večmodalna arhitektura modelov Mistral
Na tej strani
Kako model obdeluje besedilo in slike?
Ko modelu Mistral pošlješ sliko, je ne “vidi” tako kot človek. Obdelava temelji na dvostopenjski arhitekturi: najprej vizualni enkoder pretvori sliko v zaporedje številskih žetonov (tokenov); nato jezikovni model te vizualne žetone obdela skupaj z besedilnimi žetoni iz tvojega poziva.
Ta lekcija se morda zdi teoretična, a je pravzaprav najbolj stroškovno učinkovit del tečaja. Razumevanje tega mehanizma pojasni, zakaj slika 4K ne prinese boljših rezultatov kot slika 1080p, zakaj tvoj mesečni račun hitreje naraste s petimi slikami kot s petimi odstavki in zakaj se drobno besedilo na posnetku zaslona pogosto slabo prepíše.
Vizualni enkoder (Vision Encoder)
Vizualni enkoder je specializirano nevronsko omrežje – običajno Vision Transformer (ViT) – ki sliko razreže na majhne kvadratne obliže (npr. 14×14 pikslov) in jih pretvori v številske vgraditve (embeddings). Cevovod poteka v petih korakih:
- Spreminjanje velikosti: slika se prilagodi standardni ločljivosti (npr. 384×384 ali 768×768 pikslov)
- Izločanje obližev: spremenjena slika se razdeli na pravilne obliže
- Projekcija: vsak obliž se pretvori v številski vektor (vgraditev)
- Pozicijsko kodiranje: doda se informacija o položaju za vsak obliž
- Pozornost: vizualni transformator obdela celotno zaporedje
Rezultat je zaporedje vizualnih žetonov, ki so popolnoma primerljivi z besedilnimi žetoni, razen da predstavljajo regije slike namesto delov besed. Prvi korak si zasluži tvojo pozornost: pojasnjuje, zakaj se sken računa širine 4.000 pikslov pred začetkom analize zmanjša na nekaj sto pikslov. Znaki v drobnem tisku, ki so že na meji berljivosti, postanejo nekaj zamegljenih pikslov.
Združevanje besedila in slike v LLM
Ko so vizualni žetoni ustvarjeni, se vstavijo v vhodno zaporedje jezikovnega modela skupaj z besedilnimi žetoni. Model vse obdela enotno zahvaljujoč mehanizmu križne pozornosti (cross-attention).
[besedilni žetoni: "Opisi to sliko"] + [vizualni žetoni: obliž1, obliž2, ..., obližN]
↓
Jezikovni model (LLM)
↓
[izhodni žetoni: "Ta slika prikazuje..."]
Model tako lahko hkrati “bere” sliko in besedilo, kar mu omogoča odgovarjanje na specifična vprašanja o vizualni vsebini. To tudi pojasni, zakaj vprašanje, zastavljeno pred sliko, in vprašanje, zastavljeno za sliko, ne dasta popolnoma enakega rezultata: vse sedi v istem zaporedju in vrstni red je pomemben.
Vpliv na štetje žetonov
Vsaka slika porabi določeno število žetonov, odvisno od njene ločljivosti po spremembi velikosti. To je ključna ugotovitev za oceno tvojih stroškov. Standardna slika, približno 768×768, porabi med 800 in 1.500 žetoni – kar ustreza eni ali dvema stranema besedila. Večje slike se pred obdelavo spremenijo v velikost: pošiljanje slike 4K ne stane več kot slika 1080p, vendar ti tudi ne prinese ničesar. K temu seštevku dodaj žetone iz svojega poziva in generiranega odgovora.
# Primer: ocena stroškov klica vizije
tokens_image = 1000 # povprečna ocena
tokens_prompt = 50 # "Podrobno opiši to sliko"
tokens_response = 200 # ocenjen odgovor
total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Ocenjeno skupno število žetonov: {total_tokens}")
# → Ocenjeno skupno število žetonov: 1250
Ta izračun zaženi na svojem obsegu pred industrializacijo: tisoč slik na dan predstavlja vsaj milijon vhodnih žetonov, kar pogovor premakne s prototipa na proračun.
Omejitve velikosti in ločljivosti
Mistral sprejema formate JPEG, PNG, GIF (prvi okvir) in WebP, z največjo velikostjo približno 20 MB na sliko. Več slik lahko sobiva v enem samem sporočilu, kar bomo obravnavali v lekciji 6. Najbolj protislovna omejitev ostaja notranja sprememba velikosti: zelo visoka ločljivost ne izboljša rezultatov; le podaljša čas prenosa.
Praktična posledica je, da bi moral slike samostojno spremeniti v velikost vnaprej, namesto da bi dovolil API-ju, da to stori po nepotrebnem težkem nalaganju:
from PIL import Image
def prepare_image(path, max_size=1024):
"""Spremeni velikost slike pred pošiljanjem za optimizacijo zakasnitve."""
img = Image.open(path)
img.thumbnail((max_size, max_size))
img.save(path, quality=85)
return path
To funkcijo vstavi tik pred kodiranje Base64 ali gostovanje URL-jev. Pri seriji 4 MB fotografij s pametnih telefonov to zmanjša preneseni volumen za znaten faktor brez znatne izgube kakovosti za analizo.
Poenostavljena arhitektura
Od začetka do konca se pot zahteve skrči na pet korakov: pošlješ sporočilo, ki vsebuje besedilo in eno ali več slik; API vsako sliko spremeni v velikost in jo pošlje vizualnemu enkoderju; nastali vizualni žetoni se združijo z besedilnimi žetoni; model generira odgovor v naravnem jeziku; prejmeš ga tako kot standardni besedilni klic. V tvoji kodi na strani API-ja se nič ne spremeni – Mistral obvlada vso zapletenost – vendar to ne pomeni, da lahko ignoriraš, koliko te to stane.
Ključne ugotovitve
- Slike se s pomočjo enkoderja Vision Transformer pretvorijo v vizualne žetone
- LLM obdela te vizualne žetone enako kot besedilne žetone
- Standardna slika porabi približno 800 do 1.500 žetonov
- Slike se interno spremenijo v velikost – ni treba pošiljati zelo visoke ločljivosti
- Spreminjanje velikosti slik na strani odjemalca zmanjša zakasnitev brez izgube kakovosti