Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Arkitettura Multimodali tal-Mudelli Mistral

Lezzjoni 2 / 12 Aġġornat 29 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. Kif mudell jipproċessa t-test u l-immaġni?
  2. L-Enkodur Viżiv (Vision Encoder)
  3. Fużjoni Test-Immaġni fl-LLM
  4. Impatt fuq il-Għadd ta’ Tokens
  5. Limiti tad-Daqs u r-Riżoluzzjoni
  6. Arkitettura Simplifikata
  7. Punti Ewlenin

Kif mudell jipproċessa t-test u l-immaġni?

Meta tibgħat immaġni lil mudell Mistral, dan ma “jarahiex” bħalma jagħmel bniedem. L-ipproċessar jiddependi fuq arkitettura f’żewġ fażijiet: l-ewwel, enkodur viżiv (visual encoder) jibdel l-immaġni f’sekwenza ta’ tokens numeriċi; imbagħad, il-mudell lingwistiku jipproċessa dawn it-tokens viżivi flimkien mat-tokens tat-test mill-prompt tiegħek.

Din il-lezzjoni tista’ tidher teoretika, iżda fil-fatt hija l-parti l-aktar effiċjenti f’termini ta’ spiża tal-kors. Li tifhem dan il-mekkaniżmu jispjega għaliex immaġni 4K ma tagħtix riżultati aħjar minn waħda 1080p, għaliex il-kont ta’ kull xahar tiegħek jiżdied aktar malajr b’ħames immaġni milli b’ħames paragrafi, u għaliex test żgħir ħafna fuq screenshot spiss jiġi transkritt ħażin.

L-Enkodur Viżiv (Vision Encoder)

L-enkodur viżiv huwa netwerk newrali speċjalizzat—tipikament Vision Transformer (ViT)—li jaqsam l-immaġni f’biċċiet kwadri żgħar, pereżempju ta’ 14×14 pixel, u jikkonvertihom f’embeddings numeriċi. Il-pipeline tgħaddi minn ħames passi:

  1. Bidla fid-daqs (Resizing): l-immaġni tiġi skalata għal riżoluzzjoni standard (eż. 384×384 jew 768×768 pixel)
  2. Estrazzjoni tal-patches: l-immaġni mibdula fid-daqs tiġi maqsuma f’patches regolari
  3. Projezzjoni: kull patch jiġi kkonvertit f’vettur numeriku (embedding)
  4. Kodifikazzjoni pożizzjonali: tiżdied l-informazzjoni tal-pożizzjoni għal kull patch
  5. Attenzjoni: it-transformer viżiv jipproċessa s-sekwenza sħiħa

Ir-riżultat huwa sekwenza ta’ tokens viżivi, kompletament komparabbli mat-tokens tat-test, ħlief li huma jirrappreżentaw reġjuni tal-immaġni minflok frammenti ta’ kliem. L-ewwel pass jistħoqqilhom attenzjoni: jispjega għaliex skann ta’ fattura wiesa’ 4,000 pixel jiġi mnaqqas għal ftit mijiet ta’ pixels qabel ma tibda l-analiżi. Karattri f’test żgħir ħafna, li diġà huma fil-limitu tal-leġibbiltà, isiru ftit pixels imċajpra.

Fużjoni Test-Immaġni fl-LLM

Ladarba jiġu prodotti t-tokens viżivi, dawn jiddaħħlu fis-sekwenza tal-input tal-mudell lingwistiku flimkien mat-tokens tat-test. Il-mudell jipproċessa kollox b’mod uniformi grazzi għall-mekkaniżmu ta’ cross-attention.

[text tokens: "Describe this image"] + [visual tokens: patch1, patch2, ..., patchN]
                                    ↓
                          Language Model (LLM)
                                    ↓
                    [output tokens: "This image shows..."]

Il-mudell għalhekk jista’ “jaqra” l-immaġni u t-test fl-istess ħin, u jippermettilu jwieġeb mistoqsijiet speċifiċi dwar il-kontenut viżiv. Dan jispjega wkoll għaliex mistoqsija magħmula qabel l-immaġni u waħda magħmula wara ma jagħtux eżattament l-istess riżultat: kollox jinsab fl-istess sekwenza, u l-ordni hija importanti.

Impatt fuq il-Għadd ta’ Tokens

Kull immaġni tikkonsma numru partikolari ta’ tokens, skont ir-riżoluzzjoni tagħha wara l-bidla fid-daqs. Dan huwa l-punt ewlieni biex tistma l-ispejjeż tiegħek. Immaġni standard, madwar 768×768, tikkonsma bejn 800 u 1,500 token—ekwivalenti għal paġna jew tnejn ta’ test. Immaġni akbar jiġu mibdula fid-daqs qabel l-ipproċessar: tibgħat immaġni 4K tiswida daqs immaġni 1080p, iżda ma tgħinek xejn lanqas. Għal dan it-total, żid it-tokens mill-prompt tiegħek u r-risposta ġġenerata.

# Eżempju: stma l-ispiża ta' sejħa viżiva
tokens_image = 1000  # stima medja
tokens_prompt = 50   # "Describe this image in detail"
tokens_response = 200  # risposta stmata

total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Estimated total tokens: {total_tokens}")
# → Estimated total tokens: 1250

Iddi din il-kalkolu fuq il-volum tiegħek stess qabel ma tindustrijalizza: elf immaġni kuljum jirrappreżentaw mill-inqas miljun token tal-input, u jbiddlu l-konversazzjoni minn prototip għal baġit.

Limiti tad-Daqs u r-Riżoluzzjoni

Mistral jaċċetta formati JPEG, PNG, GIF (l-ewwel qafas), u WebP, b’daqs massimu ta’ madwar 20 MB għal kull immaġni. Immaġni multipli jistgħu jeżistu flimkien f’messaġġ wieħed, suġġett li se nkopru fil-Lezzjoni 6. L-aktar restrizzjoni kontra l-intuwizzjoni tibqa’ l-bidla interna fid-daqs: riżoluzzjoni għolja ħafna ma ttejjibx ir-riżultati; sempliċiment ittawwal il-ħin tat-trasferiment.

Il-konsegwenza prattika hija li għandek tbiddel id-daqs tal-immaġni int stess minn qabel minflok ma tħalli lill-API tagħmel dan wara upload mhux meħtieġ u tqil:

from PIL import Image

def prepare_image(path, max_size=1024):
    """Resizes an image before sending to optimize latency."""
    img = Image.open(path)
    img.thumbnail((max_size, max_size))
    img.save(path, quality=85)
    return path

Daħħal din il-funzjoni eżatt qabel il-kodifikazzjoni Base64 jew l-hosting tal-URL. Fuq lott ta’ ritratti ta’ smartphone ta’ 4 MB, dan inaqqas il-volum ittrasferit b’fattur sinifikanti mingħajr telf sinifikanti fil-kwalità għall-analiżi.

Arkitettura Simplifikata

Minn tarf għal tarf, il-vjaġġ ta’ talba jinġabar f’ħames passi: tibgħat messaġġ li fih test u immaġni waħda jew aktar; l-API tbiddel id-daqs ta’ kull immaġni u tibgħatha lill-enkodur viżiv; it-tokens viżivi li jirriżultaw jingħaqdu mat-tokens tat-test; il-mudell jiġġenera risposta f’lingwa naturali; tirċieviha eżatt bħal sejħa standard tat-test. Xejn ma jinbidel fil-kodiċi tiegħek fuq in-naħa tal-API—Mistral jittratta l-kumplessità kollha—iżda dan ma jfissirx li tista’ tinjora kemm jiswielek.

Punti Ewlenin

  • L-immaġni jiġu kkonvertiti f’tokens viżivi minn enkodur Vision Transformer
  • L-LLM jipproċessa dawn it-tokens viżivi eżatt bħat-tokens tat-test
  • Immaġni standard tikkonsma bejn wieħed u ieħor 800 sa 1,500 token
  • L-immaġni jiġu mibdula fid-daqs internament—m’hemmx bżonn tibgħat riżoluzzjoni għolja ħafna
  • Il-bidla fid-daqs tal-immaġni fuq in-naħa tal-klijent tnaqqas il-latency mingħajr telf fil-kwalità