Mistrali mudelite multimodaalne arhitektuur
Sellel lehel
Kuidas töötleb mudel teksti ja pilte?
Kui saadad Mistrali mudelile pildi, ei „näe“ see seda samamoodi nagu inimene. Töötlemine põhineb kahel etapil koosneval arhitektuuril: esmalt teisendab visuaalne enkooder pildi numbriliste tokenite jadaks; seejärel töötleb keelemudel neid visuaalseid tokeneid koos sinu sisendteksti (prompt) tokenitega.
See tund võib esmapilgul tunduda teoreetiline, kuid tegelikult on see kogu kursuse kuluefektiivseim osa. Selle mehhanismi mõistmine selgitab, miks 4K-pilt ei anna paremat tulemust kui 1080p-pilt, miks kasvab sinu kuuarve viie pildiga palju kiiremini kui viie lõiguga ning miks väike tekst ekraanitõmmisel sageli halvasti ära kirjutatakse.
Visuaalne enkooder (Vision Encoder)
Visuaalne enkooder on spetsialiseerunud närvivõrk – tavaliselt Vision Transformer (ViT) –, mis lõikab pildi väikesteks ruudukujulisteks tükkideks (näiteks 14×14 pikslit) ja teisendab need numbrilisteks embeddinguteks. Protsess koosneb viiest sammust:
- Suuruse muutmine: pidi skaalitakse standardsesse resolutsiooni (nt 384×384 või 768×768 pikslit)
- Tükkideks jagamine: suurust muudetud pilt jagatakse regulaarseteks tükkideks
- Projektsioon: iga tükk teisendatakse numbriliseks vektoriks (embedding)
- Positsiooniline kodeering: igale tüki lisatakse selle asukoha info
- Tähelepanu (Attention): visuaalne transformaator töötleb kogu jada
Tulemuseks on visuaalsete tokenite jada, mis on täielikult võrreldav teksti tokenitega, välja arvatud see, et need esindavad pildi piirkondi, mitte sõnaosi. Esimene samm väärib erilist tähelepanu: see selgitab, miks 4000 piksli laiune arve skann vähendatakse enne analüüsi algust mõne saja pikslini. Peenes trükis tähed, mis on niigi loetavuse piiril, muutuvad mõneks uduseks piksliks.
Teksti ja pildi ühendamine LLM-is
Kui visuaalsed tokenid on loodud, sisestatakse need keelemudeli sisendjada koos teksti tokenitega. Mudel töötleb kõike ühtselt tänu risttähelepanu (cross-attention) mehhanismile.
[teksti tokenid: "Kirjelda seda pilti"] + [visuaalsed tokenid: tükk1, tükk2, ..., tükkN]
↓
Keelemudel (LLM)
↓
[väljundi tokenid: "See pilt näitab..."]
Seega suudab mudel „lugeda“ pilti ja teksti samaaegselt, võimaldades vastata konkreetsetele küsimustele visuaalse sisu kohta. See selgitab ka seda, miks enne pilti esitatud küsimus ja pärast pilti esitatud küsimus ei anna täpselt sama tulemust: kõik asub samas jadas ja järjekord loeb.
Mõju tokenite lugemisele
Iga pilt tarbib teatud arvu tokeneid, sõltuvalt selle suuruse muutmise järgsest resolutsioonist. See on peamine järeldus kulude hindamiseks. Standardne pilt, umbes 768×768, tarbib vahemikus 800 kuni 1500 tokenit – see võrdub ühe või kahe lehekülje tekstiga. Suuremaid pilte muudetakse enne töötlemist väiksemaks: 4K-pildi saatmine ei maksa rohkem kui 1080p-pilt, kuid see ei too ka mingit lisakasutust. Sellele summale lisa oma sisendteksti ja genereeritud vastuse tokenid.
# Näide: visuaalse kõne kulude hindamine
tokens_image = 1000 # keskmine hinnang
tokens_prompt = 50 # "Kirjelda seda pilti üksikasjalikult"
tokens_response = 200 # hinnanguline vastus
total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Hinnanguline tokenite koguarv: {total_tokens}")
# → Hinnanguline tokenite koguarv: 1250
Teosta see arvutus oma mahuga enne tootmisse viimist: tuhat pilti päevas tähendab vähemalt miljon sisendtokenit, nihutades vestlust prototüübist eelarve teema juurde.
Suuruse ja resolutsiooni piirangud
Mistral aktsepteerib JPEG, PNG, GIF (esimene kaader) ja WebP vorminguid, maksimaalse suurusega umbes 20 MB pildi kohta. Ühes sõnumis võib olla mitu pilti, mida käsitleme 6. tunnis. Kõige vastuintuitiivsem piirang on sisemine suuruse muutmine: väga kõrge resolutsioon ei paranda tulemusi, see ainult pikendab edastusaega.
Praktiline järeldus on see, et peaksid pildid ise eelnevalt väiksemaks muutma, selle asemel et lasta API-l seda teha pärast ebavajalikult mahuka faili üleslaadimist:
from PIL import Image
def prepare_image(path, max_size=1024):
"""Muudab pildi suurust enne saatmist latentsuse optimeerimiseks."""
img = Image.open(path)
img.thumbnail((max_size, max_size))
img.save(path, quality=85)
return path
Lisa see funktsioon vahetult enne Base64-kodeeringut või URL-il majutamist. 4 MB suuruste nutitelefonifotode partii puhul vähendab see edastatavat mahtu olulise teguri võrra ilma analüüsiks vajalikku kvaliteeti märkimisväärselt kahjustamata.
Lihtsustatud arhitektuur
Otsast otsani taandub päringu teekond viiele sammule: saadad sõnumi, mis sisaldab teksti ja üht või mitut pilti; API muudab iga pildi suurust ja saadab selle visuaalsele enkooderile; tekkinud visuaalsed tokenid liidetakse teksti tokenitega; mudel genereerib loomuliku keele vastuse; saad selle kätte täpselt nagu tavalise tekstikõne puhul. Sinu API-poolne kood ei muutu midagi – Mistral haldab kogu keerukust – kuid see ei tähenda, et sa võiksid ignoreerida, mida see sulle maksab.
Peamised punktid
- Pildid teisendatakse visuaalseteks tokeniteks Vision Transformeri enkooderi poolt
- LLM töötleb neid visuaalseid tokeneid täpselt nagu teksti tokeneid
- Standardne pilt tarbib ligikaudu 800 kuni 1500 tokenit
- Pilte muudetakse sisemiselt väiksemaks – pole vaja saata väga kõrge resolutsiooniga pilte
- Piltide suuruse muutmine kliendi poolel vähendab latentsust ilma kvaliteedi kaotuseta