Arhitectura multimodală a modelelor Mistral
Pe această pagină
Cum procesează un model textul și imaginile?
Când trimiteți o imagine unui model Mistral, acesta nu o „vede“ ca un om. Procesarea se bazează pe o arhitectură în două etape: mai întâi, un codor vizual transformă imaginea într-o secvență de tokeni numerici; apoi, modelul lingvistic procesează acești tokeni vizuali alături de tokenii de text din promptul dumneavoastră.
Această lecție poate părea teoretică, dar reprezintă de fapt partea cea mai eficientă din punct de vedere al costurilor din curs. Înțelegerea acestui mecanism explică de ce o imagine 4K nu oferă rezultate mai bune decât una 1080p, de ce factura lunară crește mai rapid cu cinci imagini decât cu cinci paragrafe și de ce textul minuscul de pe o captură de ecran este adesea transcris incorect.
Codorul vizual (Vision Encoder)
Codorul vizual este o rețea neuronală specializată—de obicei un Vision Transformer (ViT)—care decupează imaginea în mici patch-uri pătrate, de exemplu de 14×14 pixeli, și le convertește în embedding-uri numerice. Fluxul de lucru se desfășoară în cinci pași:
- Redimensionare: imaginea este scalată la o rezoluție standard (de ex. 384×384 sau 768×768 pixeli)
- Extracția patch-urilor: imaginea redimensionată este divizată în patch-uri regulate
- Proiecție: fiecare patch este convertit într-un vector numeric (embedding)
- Codare pozițională: se adaugă informațiile de poziție pentru fiecare patch
- Atenție: transformatorul vizual procesează secvența completă
Rezultatul este o secvență de tokeni vizuali, perfect comparabili cu tokenii de text, cu excepția faptului că aceștia reprezintă regiuni ale imaginii și nu fragmente de cuvinte. Primul pas merită atenția dumneavoastră: el explică de ce o scanare a unei facturi cu lățimea de 4.000 de pixeli este redusă la câteva sute de pixeli înainte chiar de începerea analizei. Caracterele din textul mic, deja la limita lizibilității, devin câțiva pixeli neclari.
Fuziunea text-imagine în LLM
Odată generați tokenii vizuali, aceștia sunt inserați în secvența de intrare a modelului lingvistic, alături de tokenii de text. Modelul procesează totul uniform datorită mecanismului de atenție încrucișată (cross-attention).
[tokenii de text: "Descrie această imagine"] + [tokenii vizuali: patch1, patch2, ..., patchN]
↓
Model Lingvistic (LLM)
↓
[tokenii de ieșire: "Această imagine arată..."]
Astfel, modelul poate „citi“ simultan imaginea și textul, permițându-i să răspundă la întrebări specifice despre conținutul vizual. Acest lucru explică și de ce o întrebare formulată înainte de imagine și una formulată după aceasta nu produc exact același rezultat: totul se află în aceeași secvență, iar ordinea contează.
Impactul asupra numărării tokenilor
Fiecare imagine consumă un anumit număr de tokeni, în funcție de rezoluția sa după redimensionare. Aceasta este concluzia principală pentru estimarea costurilor. O imagine standard, de aproximativ 768×768, consumă între 800 și 1.500 de tokeni—echivalentul uneia sau a două pagini de text. Imaginile mai mari sunt redimensionate înainte de procesare: trimiterea unei imagini 4K nu costă mai mult decât una 1080p, dar nu vă aduce niciun avantaj suplimentar. La acest total se adaugă tokenii din promptul dumneavoastră și din răspunsul generat.
# Exemplu: estimarea costului unui apel vision
tokens_image = 1000 # estimare medie
tokens_prompt = 50 # "Descrie această imagine în detaliu"
tokens_response = 200 # răspuns estimat
total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Total tokeni estimați: {total_tokens}")
# → Total tokeni estimați: 1250
Efectuați acest calcul pentru propriul volum înainte de industrializare: o mie de imagini pe zi reprezintă cel puțin un milion de tokeni de intrare, transformând conversația de la prototip la buget.
Limite de dimensiune și rezoluție
Mistral acceptă formatele JPEG, PNG, GIF (primul cadru) și WebP, cu o dimensiune maximă de aproximativ 20 MB per imagine. Mai multe imagini pot coexista într-un singur mesaj, subiect pe care îl vom aborda în Lecția 6. Cea mai contraintuitivă constrângere rămâne redimensionarea internă: o rezoluție foarte mare nu îmbunătățește rezultatele; doar prelungește timpul de transfer.
Consecința practică este că ar trebui să redimensionați imaginile dumneavoastră în amonte, în loc să lăsați API-ul să facă acest lucru după un upload inutil de voluminos:
from PIL import Image
def prepare_image(path, max_size=1024):
"""Redimensionează o imagine înainte de trimitere pentru a optimiza latența."""
img = Image.open(path)
img.thumbnail((max_size, max_size))
img.save(path, quality=85)
return path
Inserați această funcție chiar înainte de codarea Base64 sau de găzduirea URL-ului. Pentru un lot de fotografii de smartphone de 4 MB, aceasta reduce volumul transferat cu un factor semnificativ, fără o pierdere semnificativă de calitate pentru analiză.
Arhitectură simplificată
De la capăt la capăt, parcursul unei cereri se rezumă la cinci pași: trimiteți un mesaj conținând text și una sau mai multe imagini; API-ul redimensionează fiecare imagine și o trimite către codorul vizual; tokenii vizuali rezultați se fuzionează cu tokenii de text; modelul generează un răspuns în limbaj natural; dumneavoastră îl primiți exact ca în cazul unui apel de text standard. Nimic nu se schimbă în codul dumneavoastră de partea API-ului—Mistral gestionează toată complexitatea—dar asta nu înseamnă că puteți ignora costurile implicate.
Puncte cheie
- Imaginile sunt convertite în tokeni vizuali de către un codor Vision Transformer
- LLM procesează acești tokeni vizuali exact ca pe tokenii de text
- O imagine standard consumă aproximativ 800 până la 1.500 de tokeni
- Imaginile sunt redimensionate intern—nu este nevoie să trimiteți rezoluții foarte mari
- Redimensionarea imaginilor latoarea clientului reduce latența fără pierderi de calitate