Ailtireacht Ilmhóideach na mBúnaithe Mistral
Ar an leathanach seo
Conas a phróiseálann múnla téacs agus íomhánna?
Nuair a sheolann tú íomhá chuig múnla Mistral, ní “fheiceann” sé í mar a dhéanfadh duine. Braitheann an phróiseáil ar ailtireacht dhá chéim: ar dtús, déanann ionchódóir amhairc (visual encoder) an íomhá a thiontú ina seicheamh de thócanna uimhriúla; ansin, déanann an múnla teanga na tócanna amhairc seo a phróiseáil in éineacht leis na tócanna téacs ó do leid.
D’fhéadfadh sé go mbeadh an ceacht seo le feiceáil teoiriciúil, ach is é seo an chuid is cost-éifeachtaí den chúrsa i ndáiríre. Míníonn an tuiscint ar an meicníocht seo cén fáth nach mbíonn toradh níos fearr ag íomhá 4K ná ag íomhá 1080p, cén fáth a n-ardóidh do bhille míosúil níos tapúla le cúig íomhá ná le cúig alt, agus cén fáth a ndéantar téacs beag ar ghabháil scáileáin a thras-scríobh go minic go dona.
An tIonchódóir Amhairc (Vision Encoder)
Is líonra néarach speisialaithe é an t-ionchódóir amhairc—de ghnáth Claochladán Amhairc (Vision Transformer nó ViT)—a ghearrann an íomhá ina paistí beaga cearnacha, 14×14 picteilín mar shampla, agus a thiontaíonn iad ina leabaithe uimhriúla. Rithann an píblíne i gcúig chéim:
- Athmhéidú: scáláiltear an íomhá go dtí taifeach caighdeánach (m.sh. 384×384 nó 768×768 picteilín)
- Eastóscadh paistí: roinntear an íomhá athmhéidithe ina paistí rialta
- Tionscnamh: tiontaítear gach paiste ina veicteoir uimhriúil (leabú)
- Ionchódú suímh: cuirtear faisnéis suímh le haghaidh gach paiste leis
- Aird: próiseálann an claochladán amhairc an seicheamh iomlán
Is é an toradh ná seicheamh de thócanna amhairc, atá inchurtha go hiomlán le tócanna téacs, ach léiríonn siad réigiúin den íomhá seachas blúirí focal. Is fiú d’aird a thabhairt ar an gcéad chéim: míníonn sé cén fáth a laghdaítear scan carbhtáin 4,000 picteilín ar leithead go dtí cúig chéad picteilín beag sula dtosaíonn an anailís fiú. Déantar carachtair i gcló mín, atá cheana féin ar theorainn na hinléiteachta, a bheith ina bpicteilíní doiléire beag.
Comhleá Téacs-Íomhá sa LLM
Nuair a tháirgtear na tócanna amhairc, cuirtear isteach iad i seicheamh ionchuir an mhúnla teanga in éineacht leis na tócanna téacs. Déanann an múnla gach rud a phróiseáil go haonfhoirmeach a bhuí leis an meicníocht tras-aire (cross-attention).
[tócanna téacs: "Déan cur síos ar an íomhá seo"] + [tócanna amhairc: paiste1, paiste2, ..., paisteN]
↓
Múnla Teanga (LLM)
↓
[tócanna aschuir: "Taispeánann an íomhá seo..."]
Mar sin, is féidir leis an múnla an íomhá agus an téacs a “léamh” ag an am céanna, rud a ligeann dó freagraí a thabhairt ar cheisteanna sonracha faoi ábhar amhairc. Míníonn sé seo freisin cén fáth nach mbíonn an toradh céanna go díreach ag ceist a chuirtear roimh an íomhá agus ceist a chuirtear ina diaidh: tá gach rud suite sa seicheamh céanna, agus tá tábhacht leis an ord.
Tionchar ar Chomhaireamh na dTócan
Caitheann gach íomhá líon áirithe tócan, ag brath ar a taifeach tar éis an athmhéidithe. Seo an phríomhphointe chun do chostais a mheas. Caitheann íomhá chaighdeánach, timpeall 768×768, idir 800 agus 1,500 tócan—coibhéiseach le duilleog nó dhó de théacs. Déantar íomhánna níos mó a athmhéidiú roimh phróiseáil: ní chosnaíonn íomhá 4K níos mó ná íomhá 1080p, ach ní bhfaigheann tú aon rud breise uirthi ach an oiread. Cuir tócanna do leide agus na freagartha ginte leis an iomlán seo.
# Sampla: measta costais glao amhairc
tokens_image = 1000 # meánmheastachán
tokens_prompt = 50 # "Déan cur síos mionsonraithe ar an íomhá seo"
tokens_response = 200 # freagra measta
total_tokens = tokens_image + tokens_prompt + tokens_response
print(f"Meastachán ar líon iomlán na dtócan: {total_tokens}")
# → Meastachán ar líon iomlán na dtócan: 1250
Rith an ríomh seo ar do thoirt féin sula ndéanann tú tionsclaíocht air: léiríonn míle íomhá in aghaidh an lae milliún tócan ionchuir ar a laghad, rud a aistríonn an comhrá ó phrótaitíopa go buiséad.
Teorainneacha Méide agus Taifigh
Glacann Mistral le formáidí JPEG, PNG, GIF (an chéad fhráma amháin), agus WebP, le huasmhéid thart ar 20 MB in aghaidh na híomhá. Is féidir le híomhánna iolracha bheith i láthair in aon teachtaireacht amháin, ábhar a phléfaimid i gCeacht 6. Is é an srian is contrártha le tuiscint fós ná an t-athmhéidú inmheánach: ní fheabhsaíonn taifeach an-ard na torthaí; ní dhéanann sé ach an t-am aistrithe a fhadú.
Is é an toradh praiticiúil ná ba chóir duit íomhánna a athmhéidiú tú féin roimh ré seachas ligean don API é a dhéanamh tar éis uaslódáil nach raibh gá léi:
from PIL import Image
def prepare_image(path, max_size=1024):
"""Athmhéadaíonn sé íomhá roimh sheoladh chun moill a optamú."""
img = Image.open(path)
img.thumbnail((max_size, max_size))
img.save(path, quality=85)
return path
Cuir an fheidhm seo isteach díreach roimh ionchódú Base64 nó óstáil URL. Ar bhaisc de ghrianghraif fóin chliste 4 MB, gearrann sé an toirt aistrithe faoi fhachtóir suntasach gan caillteanas suntasach cáilíochta don anailís.
Ailtireacht Shimplí
Ó thús go deireadh, tagann turas iarratais síos go dtí cúig chéim: seolann tú teachtaireacht ina bhfuil téacs agus íomhá amháin nó níos mó; athmhéadaíonn an API gach íomhá agus seolann sé chuig an ionchódóir amhairc í; cumaisctear na tócanna amhairc a eascraíonn as sin le tócanna téacs; gineann an múnla freagra i dteanga nádúrtha; faigheann tú é díreach mar a dhéanfá le glao téacs caighdeánach. Ní athraíonn aon rud i do chód taobh API—déanann Mistral gach castacht a láimhseáil—ach ní chiallaíonn sin gur féidir leat neamhaird a dhéanamh ar an gcostas a bhaineann leat.
Príomhphointí
- Tiontaítear íomhánna ina dtócanna amhairc ag ionchódóir Claochladáin Amhairc (Vision Transformer)
- Próiseálann an LLM na tócanna amhairc seo díreach mar a dhéanfadh sé le tócanna téacs
- Caitheann íomhá chaighdeánach thart ar 800 go 1,500 tócan
- Déantar íomhánna a athmhéidú go hinmheánach—ní gá taifeach an-ard a sheoladh
- Laghdaíonn athmhéidú íomhánna ar thaobh an chliaint an mhoill gan caillteanas cáilíochta