Multimodalna arhitektura Mistral modela
Na ovoj stranici
Kako model obrađuje tekst i slike?
Kada pošalješ sliku Mistral modelu, on je ne „vidi“ na način na koji to čini čovjek. Obrada se oslanja na dvostupanjsku arhitekturu: prvo vizualni enkoder pretvara sliku u niz numeričkih tokena; zatim jezični model obrađuje te vizualne tokene zajedno s tekstualnim tokenima iz tvog upita.
Ova lekcija može djelovati teoretski, no zapravo je najisplativiji dio tečaja. Razumijevanje ovog mehanizma objašnjava zašto slika rezolucije 4K ne daje bolje rezultate od one od 1080p, zašto ti mjesečni račun raste brže s pet slika nego s pet odlomaka teksta i zašto se sitan tekst na snimci zaslona često loše prepisuje.
Vizualni enkoder (Vision Encoder)
Vizualni enkoder specijalizirana je neuronska mreža – obično Vision Transformer (ViT) – koja reže sliku na male kvadratne dijelove (patcheve), primjerice od 14×14 piksela, i pretvara ih u numeričke ugradnje (embeddings). Cjevovod se odvija u pet koraka:
- Promjena veličine: slika se skalira na standardnu rezoluciju (npr. 384×384 ili 768×768 piksela)
- Ekstrakcija dijelova: slika promijenjene veličine dijeli se na pravilne dijelove
- Projekcija: svaki dio pretvara se u numerički vektor (ugradba)
- Pozicijsko kodiranje: dodaju se informacije o položaju za svaki dio
- Pažnja (Attention): vizualni transformer obrađuje cijeli niz
Rezultat je niz vizualnih tokena, potpuno usporediv s tekstualnim tokenima, osim što predstavljaju regije slike, a ne fragmente riječi. Prvi korak zaslužuje tvoju pozornost: on objašnjava zašto se skeniranje računa širine 4000 piksela smanjuje na nekoliko stotina piksela prije nego što analiza uopće započne. Znakovi u sitnom tisku, koji su već na granici čitljivosti, postaju nekoliko zamućenih piksela.
Spajanje teksta i slike u LLM-u
Nakon što se generiraju vizualni tokeni, oni se umeću u ulazni niz jezičnog modela zajedno s tekstualnim tokenima. Model sve obrađuje jedinstveno zahvaljujući mehanizmu unakrsne pažnje (cross-attention).
[tekstualni tokeni: "Opisi ovu sliku"] + [vizualni tokeni: dio1, dio2, ..., dioN]
↓
Jezični model (LLM)
↓
[izlazni tokeni: "Ova slika prikazuje..."]
Model tako može istovremeno „čitati“ sliku i tekst, što mu omogućuje odgovaranje na specifična pitanja o vizualnom sadržaju. To također objašnjava zašto pitanje postavljeno prije slike i ono postavljeno nakon nje ne daju potpuno isti rezultat: sve se nalazi u istom nizu, a redoslijed je bitan.
Utjecaj na brojanje tokena
Svaka slika troši određeni broj tokena, ovisno o njezinoj rezoluciji nakon promjene veličine. To je ključna poruka za procjenu tvojih troškova. Standardna slika, otprilike 768×768, troši između 800 i 1500 tokena – što odgovara jednoj ili dvjema stranicama teksta. Veće se slike mijenjaju prije obrade: slanje slike u 4K rezoluciji ne košta više od one u 1080p, ali ti ni ne donosi nikakvu prednost. Toj ukupnoj vrijednosti dodaj tokene iz svog upita i generiranog odgovora.
# Primjer: procjena troška poziva vizije
tokens_image = 1000 # prosječna procjena
tokens_prompt = 50 # "Detaljno opiši ovu sliku"
tokens_response = 200 # procijenjeni odgovor
total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Procijenjeni ukupni tokeni: {total_tokens}")
# → Procijenjeni ukupni tokeni: 1250
Pokreni ovaj izračun za vlastiti obujam prije industrijske primjene: tisuću slika dnevno predstavlja najmanje milijun ulaznih tokena, čime se razgovor seli s razine prototipa na razinu proračuna.
Ograničenja veličine i rezolucije
Mistral prihvaća formate JPEG, PNG, GIF (prvi kadar) i WebP, s maksimalnom veličinom od oko 20 MB po slici. Više slika može postojati u jednoj poruci, što ćemo obraditi u Lekciji 6. Najkontraintuitivnije ograničenje ostaje interna promjena veličine: vrlo visoka rezolucija ne poboljšava rezultate; samo produžuje vrijeme prijenosa.
Praktična posljedica je da bi trebao samostalno promijeniti veličinu slika unaprijed, umjesto da dopustiš API-ju da to učini nakon nepotrebno velikog prijenosa:
from PIL import Image
def prepare_image(path, max_size=1024):
"""Mijenja veličinu slike prije slanja radi optimizacije latencije."""
img = Image.open(path)
img.thumbnail((max_size, max_size))
img.save(path, quality=85)
return path
Umetni ovu funkciju neposredno prije Base64 kodiranja ili hostinga URL-a. Na seriji fotografija sa pametnih telefona od 4 MB, time se značajno smanjuje volumen prijenosa bez bitnog gubitka kvalitete za analizu.
Pojednostavljena arhitektura
Od početka do kraja, putanja zahtjeva svodi se na pet koraka: šalješ poruku koja sadrži tekst i jednu ili više slika; API mijenja veličinu svake slike i šalje je vizualnom enkoderu; nastali vizualni tokeni spajaju se s tekstualnim tokenima; model generira odgovor u prirodnom jeziku; ti ga primaš baš kao i standardni tekstualni poziv. Ništa se ne mijenja u tvom kodu na strani API-ja – Mistral rukuje svom složenošću – no to ne znači da možeš ignorirati koliko te to košta.
Ključne točke
- Slike se pretvaraju u vizualne tokene pomoću enkodera Vision Transformer
- LLM obrađuje te vizualne tokene baš kao i tekstualne tokene
- Standardna slika troši otprilike 800 do 1500 tokena
- Slike se interno mijenjaju po veličini – nema potrebe slati vrlo visoku rezoluciju
- Promjena veličine slika na strani klijenta smanjuje latenciju bez gubitka kvalitete