Ibgħat Diversi Immaġni f'Messaġġ Wieħed
F'din il-paġna
Analiżi ta’ Diversi Immaġni f’Daqqa
L-API tal-Viżjoni ta’ Mistral mhix limitata għal immaġni waħda kull messaġġ. Tista’ tibgħat diversi immaġni f’sejħa waħda biex titlob lill-mudell iqabbluhom, jissintetizzahom, jew janalizzahom flimkien. Id-differenza bejn dan u żewġ sejħiet separati hija kritika: f’sejħa waħda, il-mudell jara ż-żewġ immaġni simultanjament u jista’ jirraġuna dwar ir-relazzjonijiet tagħhom—xi ħaġa li l-ebda aggregazzjoni ta’ tweġibiet individwali ma tista’ tikseb.
Din il-kapaċità tiftaħ każijiet ta’ użu fejn il-mistoqsija tiffoka fuq id-differenza aktar milli fuq il-kontenut: tqabbil qabel/wara, analiżi ta’ serje ta’ dokumenti, jew verifiki viżwali ta’ konformità.
Struttura ta’ Messaġġ b’Diversi Immaġni
Il-prinċipju huwa sempliċi: żid diversi oġġetti image_url fl-array content:
message = {
"role": "user",
"content": [
{"type": "text", "text": "Qabbel dawn iż-żewġ immaġni u ddeskrivi d-differenzi."},
{"type": "image_url", "image_url": "https://example.com/image1.jpg"},
{"type": "image_url", "image_url": "https://example.com/image2.jpg"}
]
}
L-omoġenità mhix meħtieġa: tista’ tħallat immaġni permezz ta’ URL u Base64 fl-istess messaġġ. Dan huwa komuni meta trid tqabbel immaġni ta’ referenza ospitata ma’ fajl lokali ġġenerat reċentement.
Eżempju: Tqabbil ta’ Żewġ Immaġni
Ikkunsidra spezzjoni ta’ riċeviment f’maħżen. Int tqabbel ritratt ta’ referenza tal-prodott konformi ma’ ritratt tal-kampjun riċevut, billi tuża prompt tas-sistema li jistabbilixxi r-rwol tal-ispettur:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Inti espert tal-kontroll tal-kwalità. Qabbel l-immaġni pprovduti b'preċiżjoni."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Hawnhekk hemm żewġ ritratti tal-istess prodott. L-ewwel waħda hija r-referenza, it-tieni hija l-kampjun riċevut. Identifika d-differenzi kollha."
},
{"type": "image_url", "image_url": "https://example.com/reference.jpg"},
{"type": "image_url", "image_url": "https://example.com/sample.jpg"}
]
}
]
)
print(response.choices[0].message.content)
It-test jiddikjara espliċitament l-ordni—“l-ewwel waħda hija r-referenza”—għax il-mudell ma jistax jissuspettah.
Alternanza ta’ Test u Immaġni
Dan l-approċċ tal-ordnament jilħaq malajr il-limiti tiegħu lil hinn minn żewġ immaġni. Metodu aktar robust huwa li ttikkettja kull immaġni eżatt qabel ma tipprovdiha, billi talternaw elementi text u image_url:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Hawnhekk hemm il-pjan arkitettoniku oriġinali:"},
{"type": "image_url", "image_url": "https://example.com/plan-original.png"},
{"type": "text", "text": "U hawnhekk hemm ir-ritratt tal-bini mibni:"},
{"type": "image_url", "image_url": "https://example.com/photo-batiment.jpg"},
{"type": "text", "text": "Il-bini jaqbel mal-pjan? Elenska d-diskrepanzi."}
]
}
]
)
Kull immaġni issa ġġib it-tikketta tagħha stess, u l-mistoqsija finali tasal biss wara li jkun ġie ppreżentat il-materjal kollu. Dan il-format itejjeb b’mod sinifikanti l-fehim tal-mudell: huwa jaf li l-pjan huwa l-istandard u r-ritratt huwa l-oġġett li għandu jiġi evalwat. Li taqlebhom iwassal għal rapport ta’ diskrepanzi maqlub.
Ipproċessar f’Lotti b’Base64
Għal folder ta’ immaġni lokali, il-bini tal-content isir programmatiku. Tassenblja l-lista f’loop, billi tikkodifika kull fajl waqt it-tħaddim:
import base64
import os
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
ext = Path(path).suffix.lower()
mime = {"jpg": "jpeg", "jpeg": "jpeg", "png": "png", "webp": "webp"}.get(ext.lstrip("."), "jpeg")
return f"data:image/{mime};base64,{b64}"
# Iġbed l-immaġni kollha minn folder
folder = Path("captures/")
images = sorted(folder.glob("*.png"))
# Ibni l-kontenut tal-messaġġ
content = [{"type": "text", "text": f"Analiżi dawn il-{len(images)} screenshots u ssintetizza l-elementi komuni."}]
for img in images[:5]: # Limita għal massimu ta' 5 immaġni
content.append({"type": "image_url", "image_url": encode_image(img)})
response = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": content}]
)
print(response.choices[0].message.content)
Is-slice images[:5] hija l-gwardja tas-sikurezza tal-iskritt. Mingħajru, folder li fih mitejn screenshot jidħol kollu f’sejħa waħda—bil-konsegwenzi deskritti eżatt hawn taħt.
Limiti tas-Sejħiet b’Diversi Immaġni
M’hemm l-ebda limitu strett iddokumentat fuq in-numru ta’ immaġni, iżda żewġ effetti jingħaqdu lil hinn minn ħamsa sa għaxra: il-kwalità tal-analiżi tonqos hekk kif l-attenzjoni tal-mudell tinfirex fuq l-immaġni, u l-ispejjeż tat-tokens jogħlew b’mod qawwi. Ftakar fl-ordni tal-kobor mil-Lezzjoni 2: kull immaġni tikkonsma bejn 800 u 1,500 token, allura ħames immaġni diġà jirrappreżentaw bejn 5,000 u 7,500 token tal-prompt qabel ma tibda anke l-mistoqsija tiegħek. It-total—immaġni, test, u tweġiba—irid ukoll joqgħod fil-finja tal-kuntest tal-mudell, saqaf li lott ta’ immaġni jilħquh ferm aktar malajr minn dokument ta’ test.
Din il-funzjoni tikkalkula l-kont qabel is-sejħa minflok wara:
def estimate_multi_image_cost(num_images, tokens_per_image=1000, text_tokens=100, response_tokens=500):
"""Stima t-total ta' tokens għal sejħa b'diversi immaġni."""
total_input = (num_images * tokens_per_image) + text_tokens
total = total_input + response_tokens
print(f"Immaġni: {num_images} x {tokens_per_image} = {num_images * tokens_per_image} tokens")
print(f"Test tal-prompt: {text_tokens} tokens")
print(f"Tweġiba stmata: {response_tokens} tokens")
print(f"Total stmat: {total} tokens")
return total
estimate_multi_image_cost(3)
# Immaġni: 3 x 1000 = 3000 tokens
# Test tal-prompt: 100 tokens
# Tweġiba stmata: 500 tokens
# Total stmat: 3600 tokens
Strateġija għal Volumi Kbar
Lil hinn minn ħames immaġni, ibdel l-approċċ tiegħek minflok ma timbotta ‘l quddiem. Jeżistu tliet mogħdijiet, spiss ikkombinati. L-analiżi sekwenzjali tipproċessa l-immaġni waħda waħda u mbagħed taggrega r-riżultati—l-ispiża tibqa’ lineari u l-preċiżjoni għal kull immaġni hija massima. Il-grupp f’lotti jibgħat pakketti ta’ tlieta sa ħames immaġni, u jippreserva xi tqabbil intra-lott. Il-pre-filtrar, finalment, juża mudell eħfef bħal Small biex jiskarta immaġni mhux rilevanti qabel ma jgħaddi l-każijiet importanti lil Large.
L-ewwel mogħdija tidher hekk, b’sinteżi finali li tittratta biss it-test:
# Analiżi sekwenzjali b'aggregazzjoni
results = []
for img_path in images:
response = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Iddeskrivi fil-qosor il-kontenut ta' din l-immaġni."},
{"type": "image_url", "image_url": encode_image(img_path)}
]
}]
)
results.append(response.choices[0].message.content)
# Sintesi finali (biss test)
synthesis = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": f"Hawnhekk hemm deskrizzjonijiet ta' {len(results)} immaġni:\n\n" +
"\n---\n".join(results) +
"\n\nIpprovdi sinteżi globali."
}]
)
Il-ħila tinsab fit-tieni sejħa: ma fihiex immaġni, allura l-ebda token viżiv. Int tissintetizza ħamsin immaġni bil-prezz ta’ ftit mijiet ta’ tokens ta’ test.
Punti Ewlenin
- Tista’ tibgħat diversi immaġni f’messaġġ wieħed billi żżid diversi elementi
image_url - Alternja t-test bejn l-immaġni biex tipprovdi kuntest lill-mudell
- Kull immaġni żżid 800-1500 token—stma l-ispejjeż tiegħek qabel is-sejħa
- Lil hinn minn 5 immaġni, ippreferi strateġija sekwenzjali jew f’lotti
- L-URLs u l-Base64 jistgħu jitħalltu fl-istess messaġġ