Multimodali Mistral modelių architektūra
Šiame puslapyje
Kaip modelis apdoroja tekstą ir vaizdus?
Kai siunči vaizdą „Mistral“ modeliui, jis jį „mato“ ne taip, kaip žmogus. Apdorojimas remiasi dviejų etapų architektūra: pirmiausia vaizdo koduoklis (visual encoder) paverčia vaizdą skaitmeninių tokenų seka; tada kalbos modelis apdoroja šiuos vaizdo tokenus kartu su tavo užklausos teksto tokenais.
Ši pamoka gali atrodyti teorinė, tačiau iš tikrųjų tai yra ekonomiškiausia kurso dalis. Suprasdamas šį mechanizmą, suvoksi, kodėl 4K raiškos vaizdas neduoda geresnių rezultatų nei 1080p, kodėl tavo mėnesio sąskaita auga greičiau siunčiant penkis vaizdus nei penkis pastraipas, ir kodėl smulkus tekstas ekrano kopijoje dažnai atpažįstamas netiksliai.
Vaizdo koduoklis (Vision Encoder)
Vaizdo koduoklis yra specializuotas neuroninis tinklas – dažniausiai vaizdo transformatorius (Vision Transformer, ViT) – kuris padalija vaizdą į mažus kvadratinius fragmentus (pvz., 14×14 pikselių) ir paverčia juos skaitmeninėmis įterptimis (embeddings). Vamzdynas veikia penkiais žingsniais:
- Dylio keitimas: vaizdas mastelinamas iki standartinės raiškos (pvz., 384×384 arba 768×768 pikselių)
- Fragmentų išskyrimas: pakeisto dydžio vaizdas padalijamas į taisyklingus fragmentus
- Projekcija: kiekvienas fragmentas paverčiamas skaitmeniniu vektoriumi (įterptimi)
- Padėties kodavimas: pridedama kiekvieno fragmento padėties informacija
- Dėmesio mechanizmas: vaizdo transformatorius apdoroja visą seką
Rezultatas – vaizdo tokenų seka, visiškai panaši į teksto tokenus, išskyrus tai, kad jie vaizduoja vaizdo sritis, o ne žodžių dalis. Pirmasis žingsnis nusipelno tavo dėmesio: jis paaiškina, kodėl 4000 pikselių pločio sąskaitos nuskaitymas prieš analizę sumažinamas iki kelių šimtų pikselių. Smulkaus šrifto simboliai, jau esantys skaitomumo riboje, tampa keliais neryškiais pikseliais.
Teksto ir vaizdo sujungimas LLM
Sukūrus vaizdo tokenus, jie įterpiami į kalbos modelio įvesties seką kartu su teksto tokenais. Modelis viską apdoroja vienodai dėka kryžminio dėmesio (cross-attention) mechanizmo.
[teksto tokenai: "Aprašyk šį vaizdą"] + [vaizdo tokenai: fragmentas1, fragmentas2, ..., fragmentasN]
↓
Kalbos modelis (LLM)
↓
[išvesties tokenai: "Šiame vaizde matyti..."]
Taigi modelis gali vienu metu „skaityti“ vaizdą ir tekstą, leisdamas atsakyti į konkrečius klausimus apie vaizdinį turinį. Tai taip pat paaiškina, kodėl klausimas, užduotas prieš vaizdą, ir klausimas, užduotas po jo, neduoda visiškai vienodo rezultato: viskas yra toje pačioje sekoje, o tvarka yra svarbi.
Poveikis tokenų skaičiavimui
Kiekvienas vaizdas suvartoja tam tikrą kiekį tokenų, priklausomai nuo jo raiškos po dydžio keitimo. Tai yra pagrindinė išvada vertinant išlaidas. Standartinis vaizdas, maždaug 768×768, suvartoja nuo 800 iki 1 500 tokenų – tai atitinka vieną ar du teksto puslapius. Didesni vaizdai prieš apdorojimą mastelinami: 4K vaizdo siuntimas kainuoja tiek pat, kiek ir 1080p, tačiau tai nieko neprideda prie kokybės. Prie šios sumos pridėk savo užklausos ir sugeneruoto atsakymo tokenus.
# Pavyzdys: įvertinkite regos užklausos kainą
tokens_image = 1000 # vidutinis įvertis
tokens_prompt = 50 # "Išsamiai aprašyk šį vaizdą"
tokens_response = 200 # numatomas atsakymas
total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Numatomas bendras tokenų skaičius: {total_tokens}")
# → Numatomas bendras tokenų skaičius: 1250
Atlik šį skaičiavimą savo apimtims prieš pereinant prie pramoninio naudojimo: tūkstantis vaizdų per dieną reiškia bent milijoną įvesties tokenų, o pokalbis persikelia nuo prototipo prie biudžeto planavimo.
Dydo ir raiškos apribojimai
„Mistral“ priima JPEG, PNG, GIF (pirmąjį kadrą) ir WebP formatus, didžiausias vieno vaizdo dydis – apie 20 MB. Viename pranešime gali būti keli vaizdai – šią temą nagrinėsime 6 pamokoje. Labiausiai neintuityvus apribojimas lieka vidinis dydžio keitimas: labai didelė raiška negerina rezultatų, ji tik pailgina perdavimo laiką.
Praktinė išvada ta, kad vaizdus turėtum keisti pats iš anksto, o ne leisti API tai daryti po nereikalingai sunkaus įkėlimo:
from PIL import Image
def prepare_image(path, max_size=1024):
"""Pakeičia vaizdo dydį prieš siunčiant, siekiant optimizuoti delsą."""
img = Image.open(path)
img.thumbnail((max_size, max_size))
img.save(path, quality=85)
return path
Įterpk šią funkciją tiesiai prieš kodavimą „Base64“ arba talpinimą URL. 4 MB išmaniųjų telefonų nuotraukų grupėje tai žymiai sumažina perduodamą duomenų kiekį, beveik neprarandant analizės kokybės.
Supaprastinta architektūra
Nuo pradžių iki galo užklausos kelias susideda iš penkių žingsnių: siunči žinutę su tekstu ir vienu ar keliais vaizdais; API pakeičia kiekvieno vaizdo dydį ir siunčia jį vaizdo koduokliui; gauti vaizdo tokenai sujungiami su teksto tokenais; modelis sugeneruoja atsakymą natūralia kalba; tu jį gauni taip pat, kaip ir įprastą teksto užklausą. Tavo API pusės kode niekas nesikeičia – „Mistral“ tvarko visą sudėtingumą, tačiau tai nereiškia, kad gali ignoruoti tam tenkančias išlaidas.
Svarbiausi punktai
- Vaizdai paverčiami vaizdo tokenais naudojant „Vision Transformer“ koduoklį
- LLM apdoroja šiuos vaizdo tokenus taip pat, kaip ir teksto tokenus
- Standartinis vaizdas suvartoja maždaug 800–1 500 tokenų
- Vaizdai mastelinami vidiniu būdu – nereikia siųsti labai didelės raiškos
- Vaizdų dydžio keitimas kliento pusėje sumažina delsą, neprarandant kokybės