Arhitektūra multimodālajiem Mistral modeļiem
Šajā lapā
Kā modelis apstrādā tekstu un attēlus?
Kad nosūti attēlu Mistral modelim, tas to „redz” citādāk nekā cilvēks. Apstrāde balstās uz divu posmu arhitektūru: vispirms vizuālais enkoders pārveido attēlu skaitlisku tokenų virknē; pēc tam valodas modelis apstrādā šos vizuālos tokenus kopā ar taviem teksta tokeniem no pieprasījuma.
Šī nodarbība var šķist teorētiska, taču patiesībā tā ir visa kursa izdevīgākā daļa. Šī mehānisma izpratne skaidro, kāpēc 4K attēls nedod labākus rezultātus nekā 1080p attēls, kāpēc tavs mēneša rēķins pieaug straujāk ar pieciem attēliem nekā ar pieciem rindkopām un kāpēc sīks teksts ekrānuzņēmumā bieži tiek atšifrēts slikti.
Vizuālais enkoders (Vision Encoder)
Vizuālais enkoders ir specializēta neironu tīkla struktūra — parasti Vision Transformer (ViT) — kas sadala attēlu mazos kvadrātveida laukumos, piemēram, 14×14 pikseļos, un pārveido tos skaitliskās iegulsnēs (embeddings). Darbplūsma norisinās piecos soļos:
- Izmēra maiņa: attēls tiek mērogots līdz standarta izšķirtspējai (piemēram, 384×384 vai 768×768 pikseļi)
- Laukumu ekstrakcija: mainītā izmēra attēls tiek sadalīts regulāros laukumos
- Projekcija: katrs laukums tiek pārveidots skaitliskā vektorā (iegulsnē)
- Pozicionālā kodēšana: katram laukumam tiek pievienota pozīcijas informācija
- Uzmanības mehānisms: vizuālais transformators apstrādā visu virkni
Rezultāts ir vizuālo tokenu virkne, kas ir pilnībā salīdzināma ar teksta tokeniem, izņemot to, ka tie attēlo attēla apgabalus, nevis vārdu fragmentus. Pirmais solis ir pelnījis tavu uzmanību: tas skaidro, kāpēc 4000 pikseļu plata rēķina skenēšana tiek samazināta līdz dažiem simtiem pikseļu jau pirms analīzes sākuma. Simboli smalkajā drukā, kas jau ir uz lasāmības robežas, pārvēršas par dažiem izplūdušiem pikseļiem.
Teksta un attēla saplūšana LLM
Kad vizuālie tokeni ir ģenerēti, tie tiek ievietoti valodas modeļa ievades virknē kopā ar teksta tokeniem. Modelis visu apstrādā vienoti, pateicoties krusteniskās uzmanības (cross-attention) mehānismam.
[teksta tokeni: "Apraksti šo attēlu"] + [vizuālie tokeni: laukums1, laukums2, ..., laukumsN]
↓
Valodas modelis (LLM)
↓
[izejas tokeni: "Šis attēls parāda..."]
Tādējādi modelis var vienlaicīgi „lasīt” attēlu un tekstu, ļaujot tam atbildēt uz konkrētiem jautājumiem par vizuālo saturu. Tas arī izskaidro, kāpēc jautājums, kas uzdots pirms attēla, un jautājums, kas uzdots pēc tā, nedod tieši tādu pašu rezultātu: viss atrodas vienā virknē, un secībai ir nozīme.
Ietekme uz tokenų skaitīšanu
Katrs attēls patērē noteiktu tokenų skaitu atkarībā no tā izšķirtspējas pēc izmēra maiņas. Tas ir galvenais secinājums izmaksu aprēķināšanai. Standarta attēls, aptuveni 768×768 pikseļi, patērē no 800 līdz 1500 tokeniem — tas ir līdzvērtīgs vienai vai divām teksta lapām. Lielāki attēli tiek mainīti pirms apstrādes: 4K attēla nosūtīšana nemaksā vairāk nekā 1080p attēls, taču tas arī nedod nekādas priekšrocības. Šai summai pieskaiti savu pieprasījuma un ģenerētās atbildes tokenus.
# Piemērs: vizuālā zvana izmaksu aprēķins
tokens_image = 1000 # vidējā aplēse
tokens_prompt = 50 # "Detalizēti apraksti šo attēlu"
tokens_response = 200 # paredzamā atbilde
total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Paredzamais kopējais tokenų skaits: {total_tokens}")
# → Paredzamais kopējais tokenų skaits: 1250
Veic šo aprēķinu savam apjomam pirms industrializācijas: tūkstotis attēlu dienā nozīmē vismaz miljonu ievades tokenų, pārvēršot sarunu no prototipa uz budžeta plānošanu.
Izmēra un izšķirtspējas ierobežojumi
Mistral pieņem JPEG, PNG, GIF (pirmo kadru) un WebP formātus, ar maksimālo izmēru aptuveni 20 MB vienam attēlam. Vienā ziņojumā var būt vairāki attēli; par to runāsim 6. nodarbībā. Vispretrunīgākais ierobežojums joprojām ir iekšējā izmēra maiņa: ļoti augsta izšķirtspēja neuzlabo rezultātus, tā tikai pagarina pārsūtīšanas laiku.
Praktiskās sekas ir tādas, ka tev pašam vajadzētu mainīt attēlu izmērus iepriekš, nevis ļaut API to darīt pēc lieki smagas augšupielādes:
from PIL import Image
def prepare_image(path, max_size=1024):
"""Maina attēla izmēru pirms nosūtīšanas, lai optimizētu latentumu."""
img = Image.open(path)
img.thumbnail((max_size, max_size))
img.save(path, quality=85)
return path
Ievieto šo funkciju tieši pirms Base64 kodēšanas vai URL hostēšanas. 4 MB viedtālruņu fotoattēlu partijā tas samazina pārsūtīto datu apjomu par ievērojamu koeficientu, neradot būtiskus kvalitātes zudumus analīzei.
Vienkāršota arhitektūra
No sākuma līdz beigām pieprasījuma ceļojums reducējas uz pieciem soļiem: tu nosūti ziņojumu, kas satur tekstu un vienu vai vairākus attēlus; API maina katra attēla izmēru un nosūta to vizuālajam enkoderam; iegūtie vizuālie tokeni saplūst ar teksta tokeniem; modelis ģenerē atbildi dabiskajā valodā; tu to saņem tāpat kā standarta teksta zvanu. Tavs kods API pusē nemainās — Mistral uzņemas visu sarežģītību — taču tas nenozīmē, ka vari ignorēt izmaksas.
Galvenās atziņas
- Attēli tiek pārveidoti vizuālos tokenos, izmantojot Vision Transformer enkoderu
- LLM apstrādā šos vizuālos tokenus tāpat kā teksta tokenus
- Standarta attēls patērē aptuveni 800 līdz 1500 tokenus
- Attēli tiek mainīti iekšēji — nav jānosūta ļoti augsta izšķirtspēja
- Attēlu izmēra maiņa klienta pusē samazina latentumu, nezaudējot kvalitāti