Mistral-mallien multimodaalinen arkkitehtuuri
Tällä sivulla
Miten malli käsittelee tekstiä ja kuvia?
Kun lähetät kuvan Mistral-mallille, se ei “näe” sitä samalla tavalla kuin ihminen. Käsittely perustuu kaksivaiheiseen arkkitehtuuriin: ensin visuaalinen enkooderi muuntaa kuvan numeeristen tokenien sarjaksi, minkä jälkeen kielimalli käsittelee nämä visuaaliset tokenit yhdessä kehotteesi teksti-tokenien kanssa.
Tämä oppitunti saattaa vaikuttaa teoreettiselta, mutta se on itse asiassa kurssin kustannustehokkain osuus. Tämän mekanismin ymmärtäminen selittää, miksi 4K-kuva ei tuota parempia tuloksia kuin 1080p-kuva, miksi kuukausilaskusi nousee viidellä kuvalla nopeammin kuin viidellä kappaleella tekstiä, ja miksi kuvakaappauksen pieni teksti usein litteroituu huonosti.
Visuaalinen enkooderi (Vision Encoder)
Visuaalinen enkooderi on erikoistunut neuroverkko – tyypillisesti Vision Transformer (ViT) – joka pilkkoo kuvan pieniin neliömäisiin osiin (esim. 14×14 pikseliä) ja muuntaa ne numeerisiksi upotuksiksi (embeddings). Putki suorittaa viisi vaihetta:
- Koon muuttaminen: kuva skaalataan vakiokokoiseksi (esim. 384×384 tai 768×768 pikseliä)
- Osien erottelu: skaalattu kuva jaetaan säännöllisiin osiin
- Projisointi: jokainen osa muunnetaan numeeriseksi vektoriksi (upotus)
- Sijaintikoodaus: jokaisen osan sijaintitiedot lisätään
- Huomio (Attention): visuaalinen transformaattori käsittelee koko sekvenssin
Tuloksena on visuaalisten tokenien sarja, joka on täysin verrattavissa teksti-tokeneihin, paitsi että ne edustavat kuvan alueita eivätkä sanan osia. Ensimmäinen vaihe ansaitsee huomiosi: se selittää, miksi 4 000 pikselin levyinen laskun skannaus pienennetään muutamaan sataan pikseliin jo ennen analyysin alkua. Pienellä präntätyt merkit, jotka ovat jo luettavuuden rajalla, muuttuvat muutamaksi sumeaksi pikseliksi.
Tekstin ja kuvan yhdistäminen LLM:ssä
Kun visuaaliset tokenit on tuotettu, ne lisätään kielimallin syötesekvenssiin teksti-tokenien viereen. Malli käsittelee kaiken yhtenäisesti ristihuomion (cross-attention) mekanismin ansiosta.
[teksti-tokenit: "Kuvaile tämä kuva"] + [visuaaliset tokenit: osa1, osa2, ..., osaN]
↓
Kielimalli (LLM)
↓
[tulostokenit: "Tässä kuvassa näkyy..."]
Malli pystyy näin “lukemaan” kuvaa ja tekstiä samanaikaisesti, mikä mahdollistaa tarkkojen kysymysten esittämisen visuaalisesta sisällöstä. Tämä selittää myös sen, miksi kysymys, joka esitetään ennen kuvaa, ja kysymys, joka esitetään kuvan jälkeen, eivät tuota täsmälleen samaa tulosta: kaikki sijaitsee samassa sekvenssissä, ja järjestyksellä on väliä.
Vaikutus token-laskentaan
Jokainen kuva kuluttaa tietyn määrän tokeneita riippuen sen koosta koon muuttamisen jälkeen. Tämä on tärkein oivallus kustannusten arvioinnissa. Tavallinen kuva, noin 768×768 pikseliä, kuluttaa 800–1 500 tokenia – mikä vastaa yhtä tai kahta sivua tekstiä. Suuremmat kuvat skaalataan ennen käsittelyä: 4K-kuvan lähettäminen ei maksa enempää kuin 1080p-kuva, mutta siitä ei ole myöskään hyötyä. Tähän kokonaismäärään lisätään kehotteesi ja generoidun vastauksen tokenit.
# Esimerkki: visuaalikutsun kustannusten arviointi
tokens_image = 1000 # keskimääräinen arvio
tokens_prompt = 50 # "Kuvaile tämä kuva yksityiskohtaisesti"
tokens_response = 200 # arvioitu vastaus
total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Arvioitu tokenien kokonaismäärä: {total_tokens}")
# → Arvioitu tokenien kokonaismäärä: 1250
Suorita tämä laskelma omalle volyymillesi ennen teollista käyttöönottoa: tuhat kuvaa päivässä tarkoittaa vähintään miljoonaa syöttetokenia, mikä siirtää keskustelun prototyypistä budjettiin.
Koko- ja tarkkuusrajoitukset
Mistral hyväksyy JPEG-, PNG-, GIF- (ensimmäinen ruutu) ja WebP-muodot, ja yhden kuvan enimmäiskoko on noin 20 Mt. Useita kuvia voi olla samassa viestissä; käsittelemme tätä tarkemmin oppitunnilla 6. Vastaintuitiivisin rajoitus on sisäinen koon muuttaminen: erittäin suuri tarkkuus ei paranna tuloksia, se vain pidentää siirtoaikaa.
Käytännön seurauksena sinun kannattaa skaalata kuvat itse etukäteen sen sijaan, että antaisit API:n tehdä sen tarpeettoman raskaan latauksen jälkeen:
from PIL import Image
def prepare_image(path, max_size=1024):
"""Skaalaa kuvan ennen lähetystä latenssin optimoimiseksi."""
img = Image.open(path)
img.thumbnail((max_size, max_size))
img.save(path, quality=85)
return path
Sijoita tämä funktio juuri ennen Base64-koodausta tai URL-osoitteen isännöintiä. 4 Mt:n älypuhelinkuvien erässä se leikkaa siirrettyä datamäärää merkittävästi ilman merkittävää laadun heikkenemistä analyysia varten.
Yksinkertaistettu arkkitehtuuri
Päästä päähän pyynnön kulku tiivistyy viiteen vaiheeseen: lähetät viestin, joka sisältää tekstiä ja yhden tai useamman kuvan; API skaalaa jokaisen kuvan ja lähettää sen visuaaliselle enkooderille; syntyvät visuaaliset tokenit sulautuvat teksti-tokeneihin; malli generoi luonnollisen kielen vastauksen; vastaanotat sen aivan kuten tavallisen tekstikutsun. Mikään API-puolen koodissasi ei muutu – Mistral hoitaa koko kompleksisuuden – mutta se ei tarkoita, että voisit ignoroida siitä aiheutuvat kustannukset.
Keskeiset asiat
- Kuvat muunnetaan visuaalisiksi tokeneiksi Vision Transformer -enkooderilla
- LLM käsittelee näitä visuaalisia tokeneita aivan kuten teksti-tokeneita
- Tavallinen kuva kuluttaa noin 800–1 500 tokenia
- Kuvat skaalataan sisäisesti – erittäin suurta tarkkuutta ei tarvitse lähettää
- Kuvien skaalaaminen asiakaspuolella vähentää latenssia ilman laadun heikkenemistä