Seol Íomhánna Iolracha in Aon Teachtaireacht Amháin
Ar an leathanach seo
Anailís a Dhéanamh ar Íomhánna Iolracha ag an Am Céanna
Níl API Fís Mistral teoranta d’íomhá amháin in aghaidh na teachtaireachta. Is féidir leat íomhánna iolracha a sheoladh i nglaonna amháin chun iarraidh ar an tsamhail iad a chur i gcomparáid, a shintéisiú, nó iad a anailísiú le chéile. Tá an difríocht idir é seo agus dhá ghlao ar leith ríthábhachtach: i nglaonna amháin, feiceann an tsamhail an dá íomhá ag an am céanna agus is féidir léi réasúnú faoina gcaidreamh—rud nach bhféadfadh aon chnuasach freagraí aonair a bhaint amach.
Osclaíonn an cumas seo cásanna úsáide ina bhfuil an cheist dírithe ar an mbearna seachas ar an ábhar: comparáidí roimh/i ndiaidh, anailís ar shraitheanna doiciméad, nó seiceálacha comhlíontachta amhairc.
Struchtúr Teachtaireachta Il-Íomhá
Tá an prionsabal simplí: cuir míreanna image_url iolracha leis an eagar content:
message = {
"role": "user",
"content": [
{"type": "text", "text": "Compare these two images and describe the differences."},
{"type": "image_url", "image_url": "https://example.com/image1.jpg"},
{"type": "image_url", "image_url": "https://example.com/image2.jpg"}
]
}
Níl aon ghá le haonchineálacht: is féidir leat íomhánna de réir URL agus Base64 a mheascadh sa teachtaireacht chéanna. Is minic a tharlaíonn sé seo nuair a theastaíonn uait íomhá thagartha óstáilte a chur i gcomparáid le comhad áitiúil a ghineadh go díreach.
Sampla: Comparáid a Dhéanamh ar Dhá Íomhá
Breathnaigh ar chigireacht fála i stóras. Déanann tú comparáid idir grianghraf tagartha den táirge comhlíontach agus grianghraf den sampla a fuarthas, ag baint úsáide as leid córais a bhunaíonn ról an chigire:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a quality control expert. Compare the provided images with precision."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Here are two photos of the same product. The first is the reference, the second is the received sample. Identify all differences."
},
{"type": "image_url", "image_url": "https://example.com/reference.jpg"},
{"type": "image_url", "image_url": "https://example.com/sample.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Luaann an téacs go sainráite an t-ord—“is é an chéad cheann an tagairt”—toisc nach féidir leis an tsamhail é a thuar.
Téacs agus Íomhánna a Idirghabháil
Buaileann an cur chuige ordaithe seo a theorainneacha go tapa nuair a bhíonn níos mó ná dhá íomhá i gceist. Is modh níos láidre gach íomhá a lipéadú díreach sula soláthraítear í, ag malartú eilimintí text agus image_url:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Here is the original architectural plan:"},
{"type": "image_url", "image_url": "https://example.com/plan-original.png"},
{"type": "text", "text": "And here is the photo of the constructed building:"},
{"type": "image_url", "image_url": "https://example.com/photo-batiment.jpg"},
{"type": "text", "text": "Does the building match the plan? List the discrepancies."}
]
}
]
)
Anois, tá a lipéad féin ag gach íomhá, agus ní thagann an cheist dheireanach ach tar éis an t-ábhar go léir a bheith curtha i láthair. Feabhsaíonn an formáid seo tuiscint na samhla go suntasach: tá a fhios aici gurb é an plean an caighdeán agus gurb é an grianghraf an réad le meastóireacht a dhéanamh air. Dá mba rud é go ndéanfá iad a mhalartú, chruthófaí tuarascáil easnamh inbhéartaithe.
Próiseáil Bhaisc le Base64
I gcás fillteáin d’íomhánna áitiúla, éiríonn tógáil an content cláraitheach. Déanann tú an liosta a chur le chéile i lúb, ag ionchódú gach comhaid ar an eitilt:
import base64
import os
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
ext = Path(path).suffix.lower()
mime = {"jpg": "jpeg", "jpeg": "jpeg", "png": "png", "webp": "webp"}.get(ext.lstrip("."), "jpeg")
return f"data:image/{mime};base64,{b64}"
# Load all images from a folder
folder = Path("captures/")
images = sorted(folder.glob("*.png"))
# Build the message content
content = [{"type": "text", "text": f"Analyze these {len(images)} screenshots and summarize common elements."}]
for img in images[:5]: # Limit to max 5 images
content.append({"type": "image_url", "image_url": encode_image(img)})
response = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": content}]
)
print(response.choices[0].message.content)
Is é an slisne images[:5] garda sábháilteachta an script. Gan é, rachadh fillteán ina bhfuil dhá chéad scáileanghraf isteach go hiomlán i nglaonna amháin—leis na hiarmhairtí a tuairiscíodh díreach thíos.
Teorainneacha Glaonna Il-Íomhá
Níl aon teorainn dhoiciméadaithe dhocht ar líon na n-íomhánna, ach tá dhá éifeacht ag teacht le chéile thar cúig go deich: laghdaíonn cáilíocht na hanailíse de réir mar a chaolaíonn aird na samhla thar na híomhánna, agus ardaíonn costais token go géar. Cuimhnigh ar ord na méide ó Cheacht 2: úsáideann gach íomhá 800 go 1,500 token, mar sin léiríonn cúig íomhá cheana féin 5,000 go 7,500 token leid sula dtosaíonn do cheist fiú. Caithfidh an t-iomlán—íomhánna, téacs, agus freagra—oiriúnú laistigh d’fhuinneog chomhthéacs na samhla freisin, uasteorainn a shroicheann baisc d’íomhánna i bhfad níos tapúla ná doiciméad téacs.
Ríomhann an fheidhm seo an bille roimh an nglaonna seachas ina dhiaidh:
def estimate_multi_image_cost(num_images, tokens_per_image=1000, text_tokens=100, response_tokens=500):
"""Estimate total tokens for a multi-image call."""
total_input = (num_images * tokens_per_image) + text_tokens
total = total_input + response_tokens
print(f"Images: {num_images} x {tokens_per_image} = {num_images * tokens_per_image} tokens")
print(f"Prompt text: {text_tokens} tokens")
print(f"Estimated response: {response_tokens} tokens")
print(f"Estimated total: {total} tokens")
return total
estimate_multi_image_cost(3)
# Images: 3 x 1000 = 3000 tokens
# Prompt text: 100 tokens
# Estimated response: 500 tokens
# Estimated total: 3600 tokens
Straitéis do Thoirt Mhór
Thar cúig íomhá, athraigh do chur chuige seachas brú tríd. Tá trí bhealach ann, go minic in éineacht. Déanann anailís sheicheamhach próiseáil ar íomhánna ceann ar cheann agus ansin déanann sí torthaí a chnuasach—fanann an costas líneach agus tá cruinneas in aghaidh na híomhá uasta. Seolann grúpáil bhaisc pacáistí de thrí go cúig íomhá, ag caomhnú comparáid áirithe laistigh den bhaisc. Úsáideann réamhscagadh, ar deireadh, samhail éadrom cosúil le Small chun íomhánna neamhábhartha a chaitheamh amach sula dtugtar cásanna tábhachtacha do Large.
Seo mar a dhéantar an chéad bhealach, le sintéis dheireanach a láimhéalann téacs amháin:
# Sequential analysis with aggregation
results = []
for img_path in images:
response = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Briefly describe the content of this image."},
{"type": "image_url", "image_url": encode_image(img_path)}
]
}]
)
results.append(response.choices[0].message.content)
# Final synthesis (text only)
synthesis = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": f"Here are descriptions of {len(results)} images:\n\n" +
"\n---\n".join(results) +
"\n\nProvide a global synthesis."
}]
)
Is sa dara glaonna atá an cleas: níl aon íomhánna ann, mar sin níl aon token amhairc. Déanann tú sintéis ar chaoga íomhá ar phraghas cúpla céad token téacs.
Príomhphointí
- Is féidir leat íomhánna iolracha a sheoladh in aon teachtaireacht amháin trí eilimintí
image_urliolracha a chur leis - Idirghabháil téacs idir íomhánna chun comhthéacs a sholáthar don tsamhail
- Cuireann gach íomhá 800-1500 token leis—déan meastachán ar do chostais sula ndéanann tú glaonna
- Thar 5 íomhá, roghnaigh straitéis sheicheamhach nó bhaiscthe
- Is féidir URLanna agus Base64 a mheascadh sa teachtaireacht chéanna