Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Ailtireacht Ilmhóideach na mBúnaithe Mistral

Ceacht 2 as 12 Nuashonraithe 29 Iúil 2026 Forbróir
Ar an leathanach seo
  1. Conas a phróiseálann múnla téacs agus íomhánna?
  2. An tIonchódóir Amhairc (Vision Encoder)
  3. Comhleá Téacs-Íomhá sa LLM
  4. Tionchar ar Chomhaireamh na dTócan
  5. Teorainneacha Méide agus Taifigh
  6. Ailtireacht Shimplí
  7. Príomhphointí

Conas a phróiseálann múnla téacs agus íomhánna?

Nuair a sheolann tú íomhá chuig múnla Mistral, ní “fheiceann” sé í mar a dhéanfadh duine. Braitheann an phróiseáil ar ailtireacht dhá chéim: ar dtús, déanann ionchódóir amhairc (visual encoder) an íomhá a thiontú ina seicheamh de thócanna uimhriúla; ansin, déanann an múnla teanga na tócanna amhairc seo a phróiseáil in éineacht leis na tócanna téacs ó do leid.

D’fhéadfadh sé go mbeadh an ceacht seo le feiceáil teoiriciúil, ach is é seo an chuid is cost-éifeachtaí den chúrsa i ndáiríre. Míníonn an tuiscint ar an meicníocht seo cén fáth nach mbíonn toradh níos fearr ag íomhá 4K ná ag íomhá 1080p, cén fáth a n-ardóidh do bhille míosúil níos tapúla le cúig íomhá ná le cúig alt, agus cén fáth a ndéantar téacs beag ar ghabháil scáileáin a thras-scríobh go minic go dona.

An tIonchódóir Amhairc (Vision Encoder)

Is líonra néarach speisialaithe é an t-ionchódóir amhairc—de ghnáth Claochladán Amhairc (Vision Transformer nó ViT)—a ghearrann an íomhá ina paistí beaga cearnacha, 14×14 picteilín mar shampla, agus a thiontaíonn iad ina leabaithe uimhriúla. Rithann an píblíne i gcúig chéim:

  1. Athmhéidú: scáláiltear an íomhá go dtí taifeach caighdeánach (m.sh. 384×384 nó 768×768 picteilín)
  2. Eastóscadh paistí: roinntear an íomhá athmhéidithe ina paistí rialta
  3. Tionscnamh: tiontaítear gach paiste ina veicteoir uimhriúil (leabú)
  4. Ionchódú suímh: cuirtear faisnéis suímh le haghaidh gach paiste leis
  5. Aird: próiseálann an claochladán amhairc an seicheamh iomlán

Is é an toradh ná seicheamh de thócanna amhairc, atá inchurtha go hiomlán le tócanna téacs, ach léiríonn siad réigiúin den íomhá seachas blúirí focal. Is fiú d’aird a thabhairt ar an gcéad chéim: míníonn sé cén fáth a laghdaítear scan carbhtáin 4,000 picteilín ar leithead go dtí cúig chéad picteilín beag sula dtosaíonn an anailís fiú. Déantar carachtair i gcló mín, atá cheana féin ar theorainn na hinléiteachta, a bheith ina bpicteilíní doiléire beag.

Comhleá Téacs-Íomhá sa LLM

Nuair a tháirgtear na tócanna amhairc, cuirtear isteach iad i seicheamh ionchuir an mhúnla teanga in éineacht leis na tócanna téacs. Déanann an múnla gach rud a phróiseáil go haonfhoirmeach a bhuí leis an meicníocht tras-aire (cross-attention).

[tócanna téacs: "Déan cur síos ar an íomhá seo"] + [tócanna amhairc: paiste1, paiste2, ..., paisteN]
                                    ↓
                          Múnla Teanga (LLM)
                                    ↓
                    [tócanna aschuir: "Taispeánann an íomhá seo..."]

Mar sin, is féidir leis an múnla an íomhá agus an téacs a “léamh” ag an am céanna, rud a ligeann dó freagraí a thabhairt ar cheisteanna sonracha faoi ábhar amhairc. Míníonn sé seo freisin cén fáth nach mbíonn an toradh céanna go díreach ag ceist a chuirtear roimh an íomhá agus ceist a chuirtear ina diaidh: tá gach rud suite sa seicheamh céanna, agus tá tábhacht leis an ord.

Tionchar ar Chomhaireamh na dTócan

Caitheann gach íomhá líon áirithe tócan, ag brath ar a taifeach tar éis an athmhéidithe. Seo an phríomhphointe chun do chostais a mheas. Caitheann íomhá chaighdeánach, timpeall 768×768, idir 800 agus 1,500 tócan—coibhéiseach le duilleog nó dhó de théacs. Déantar íomhánna níos mó a athmhéidiú roimh phróiseáil: ní chosnaíonn íomhá 4K níos mó ná íomhá 1080p, ach ní bhfaigheann tú aon rud breise uirthi ach an oiread. Cuir tócanna do leide agus na freagartha ginte leis an iomlán seo.

# Sampla: measta costais glao amhairc
tokens_image = 1000  # meánmheastachán
tokens_prompt = 50   # "Déan cur síos mionsonraithe ar an íomhá seo"
tokens_response = 200  # freagra measta

total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Meastachán ar líon iomlán na dtócan: {total_tokens}")
# → Meastachán ar líon iomlán na dtócan: 1250

Rith an ríomh seo ar do thoirt féin sula ndéanann tú tionsclaíocht air: léiríonn míle íomhá in aghaidh an lae milliún tócan ionchuir ar a laghad, rud a aistríonn an comhrá ó phrótaitíopa go buiséad.

Teorainneacha Méide agus Taifigh

Glacann Mistral le formáidí JPEG, PNG, GIF (an chéad fhráma amháin), agus WebP, le huasmhéid thart ar 20 MB in aghaidh na híomhá. Is féidir le híomhánna iolracha bheith i láthair in aon teachtaireacht amháin, ábhar a phléfaimid i gCeacht 6. Is é an srian is contrártha le tuiscint fós ná an t-athmhéidú inmheánach: ní fheabhsaíonn taifeach an-ard na torthaí; ní dhéanann sé ach an t-am aistrithe a fhadú.

Is é an toradh praiticiúil ná ba chóir duit íomhánna a athmhéidiú tú féin roimh ré seachas ligean don API é a dhéanamh tar éis uaslódáil nach raibh gá léi:

from PIL import Image

def prepare_image(path, max_size=1024):
    """Athmhéadaíonn sé íomhá roimh sheoladh chun moill a optamú."""
    img = Image.open(path)
    img.thumbnail((max_size, max_size))
    img.save(path, quality=85)
    return path

Cuir an fheidhm seo isteach díreach roimh ionchódú Base64 nó óstáil URL. Ar bhaisc de ghrianghraif fóin chliste 4 MB, gearrann sé an toirt aistrithe faoi fhachtóir suntasach gan caillteanas suntasach cáilíochta don anailís.

Ailtireacht Shimplí

Ó thús go deireadh, tagann turas iarratais síos go dtí cúig chéim: seolann tú teachtaireacht ina bhfuil téacs agus íomhá amháin nó níos mó; athmhéadaíonn an API gach íomhá agus seolann sé chuig an ionchódóir amhairc í; cumaisctear na tócanna amhairc a eascraíonn as sin le tócanna téacs; gineann an múnla freagra i dteanga nádúrtha; faigheann tú é díreach mar a dhéanfá le glao téacs caighdeánach. Ní athraíonn aon rud i do chód taobh API—déanann Mistral gach castacht a láimhseáil—ach ní chiallaíonn sin gur féidir leat neamhaird a dhéanamh ar an gcostas a bhaineann leat.

Príomhphointí

  • Tiontaítear íomhánna ina dtócanna amhairc ag ionchódóir Claochladáin Amhairc (Vision Transformer)
  • Próiseálann an LLM na tócanna amhairc seo díreach mar a dhéanfadh sé le tócanna téacs
  • Caitheann íomhá chaighdeánach thart ar 800 go 1,500 tócan
  • Déantar íomhánna a athmhéidú go hinmheánach—ní gá taifeach an-ard a sheoladh
  • Laghdaíonn athmhéidú íomhánna ar thaobh an chliaint an mhoill gan caillteanas cáilíochta