Saada mitu pilti ühes sõnumis
Sellel lehel
Mitme pildi analüüs korraga
Mistrali visiooni API ei piirdu ühe pildiga sõnumi kohta. Saad saata mitu pilti ühes päringus, et paluda mudelil neid võrrelda, sünteesida või koos analüüsida. Erinevus selle ja kahe eraldi päringu vahel on kriitiline: ühes päringus näeb mudel mõlemat pilti samaaegselt ja saab järeldada nende omavahelisi seoseid – midagi, mida üksikute vastuste liitmine kunagi saavutada ei suudaks.
See võimalus avab kasutusjuhtumeid, kus küsimus keskendub pigem erinevusele kui sisule: enne/pärast võrdlused, dokumentide seeriate analüüs või visuaalsed vastavuskontrollid.
Mitut pilti sisaldava sõnumi struktuur
Põhimõte on lihtne: lisa content massiivi mitu image_url elementi:
message = {
"role": "user",
"content": [
{"type": "text", "text": "Compare these two images and describe the differences."},
{"type": "image_url", "image_url": "https://example.com/image1.jpg"},
{"type": "image_url", "image_url": "https://example.com/image2.jpg"}
]
}
Homogeensus pole nõutav: saad samas sõnumis segada URL-i ja Base64-formaadis pilte. See on tavaline olukord, kui pead võrdlema majutatud viitepilti äsja genereeritud kohaliku failiga.
Näide: kahe pildi võrdlemine
Vaatleme lao vastuvõtukontrolli. Võrdled toote vastavusnõuetele vastavat viitefotot saadud proovi fotoga, kasutades süsteemset vihjet, mis määratleb inspektori rolli:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a quality control expert. Compare the provided images with precision."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Here are two photos of the same product. The first is the reference, the second is the received sample. Identify all differences."
},
{"type": "image_url", "image_url": "https://example.com/reference.jpg"},
{"type": "image_url", "image_url": "https://example.com/sample.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Tekst täpsustab selgelt järjekorda – „esimene on viide“ – sest mudel ei saa seda ise ära arvata.
Teksti ja piltide vaheldumine
See järjestusmeetod jõuab kiiresti oma piirideni, kui pilte on rohkem kui kaks. Tugevam meetod on märgistada iga pilt vahetult enne selle esitamist, vaheldudes text ja image_url elementidega:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Here is the original architectural plan:"},
{"type": "image_url", "image_url": "https://example.com/plan-original.png"},
{"type": "text", "text": "And here is the photo of the constructed building:"},
{"type": "image_url", "image_url": "https://example.com/photo-batiment.jpg"},
{"type": "text", "text": "Does the building match the plan? List the discrepancies."}
]
}
]
)
Nüüd kannab iga pilt oma silti ja lõplik küsimus esitatakse alles pärast kogu materjali tutvustamist. See formaat parandab oluliselt mudeli arusaamist: ta teab, et plaan on standard ja foto on hinnatav objekt. Nende vahetamine tooks kaasa vastupidise lahknevuste aruande.
Pakktöötlus Base64-ga
Kohalike piltide kausta puhul muutub content koostamine programmeeritavaks. Koostad loendi tsüklis, kodeerides iga faili reaalajas:
import base64
import os
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
ext = Path(path).suffix.lower()
mime = {"jpg": "jpeg", "jpeg": "jpeg", "png": "png", "webp": "webp"}.get(ext.lstrip("."), "jpeg")
return f"data:image/{mime};base64,{b64}"
# Laadi kõik pildid kaustast
folder = Path("captures/")
images = sorted(folder.glob("*.png"))
# Koosta sõnumi sisu
content = [{"type": "text", "text": f"Analyze these {len(images)} screenshots and summarize common elements."}]
for img in images[:5]: # Piira maksimaalselt 5 pildiga
content.append({"type": "image_url", "image_url": encode_image(img)})
response = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": content}]
)
print(response.choices[0].message.content)
Lõik images[:5] on skripti ohutusmekhanism. Ilma selleta satuks kahest sajast ekraanitõmmisest koosnev kaust tervikuna ühte päringusse – koos allpool kirjeldatud tagajärgedega.
Mitut pilti sisaldavate päringute piirangud
Piltide arvule pole ranget dokumenteeritud piirangut, kuid viiest kuni kümneni pildini kombineeruvad kaks efekti: analüüsi kvaliteet langeb, kuna mudeli tähelepanu hajub piltide vahel, ja tokenite kulud kasvavad järsult. Tuleta meelde 2. õppetükist toodud suurusjärku: iga pilt tarbib 800 kuni 1500 tokenit, seega viis pilti tähendab juba 5000 kuni 7500 sisendtokenit enne, kui su küsimus üldse algab. Kogusumma – pildid, tekst ja vastus – peab mahtuma ka mudeli kontekstiaknasse, mille lagi saavutatakse piltide pakiga palju kiiremini kui tekstidokumendiga.
See funktsioon arvutab arve enne päringut, mitte pärast seda:
def estimate_multi_image_cost(num_images, tokens_per_image=1000, text_tokens=100, response_tokens=500):
"""Estimate total tokens for a multi-image call."""
total_input = (num_images * tokens_per_image) + text_tokens
total = total_input + response_tokens
print(f"Images: {num_images} x {tokens_per_image} = {num_images * tokens_per_image} tokens")
print(f"Prompt text: {text_tokens} tokens")
print(f"Estimated response: {response_tokens} tokens")
print(f"Estimated total: {total} tokens")
return total
estimate_multi_image_cost(3)
# Images: 3 x 1000 = 3000 tokens
# Prompt text: 100 tokens
# Estimated response: 500 tokens
# Estimated total: 3600 tokens
Suurte mahtude strateegia
Üle viie pildi vaheta lähenemist, selle asemel et jõuga edasi suruda. On kolm teed, mida sageli kombineeritakse. Järjestikune analüüs töötleb pilte ükshaaval ja liidab seejärel tulemused – kulu jääb lineaarseks ja pildi-põhine täpsus on maksimaalne. Rühmitatud töötlemine saadab kolme kuni viie pildi kaupa pakette, säilitades teatud määral rühmasisese võrdluse. Eelfiltreerimine kasutab lõpuks kergemat mudelit, nagu Small, et visata välja ebaolulised pildid enne oluliste juhtumite edastamist mudelile Large.
Esimene tee näeb välja selline, kus lõplik süntees käsitleb ainult teksti:
# Järjestikune analüüs agregeerimisega
results = []
for img_path in images:
response = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Briefly describe the content of this image."},
{"type": "image_url", "image_url": encode_image(img_path)}
]
}]
)
results.append(response.choices[0].message.content)
# Lõplik süntees (ainult tekst)
synthesis = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": f"Here are descriptions of {len(results)} images:\n\n" +
"\n---\n".join(results) +
"\n\nProvide a global synthesis."
}]
)
Nipp peitub teises päringus: see ei sisalda pilte, seega puuduvad visuaalsed tokenid. Sünteesid viiskümmend pilti mõnesaja teksti tokeni hinnaga.
Peamised punktid
- Saad saata mitu pilti ühes sõnumis, lisades mitu
image_urlelementi - Põimi teksti piltide vahele, et anda mudelile konteksti
- Iga pilt lisab 800–1500 tokenit – hinnangusta oma kulusid enne päringut
- Üle viie pildi eelista järjestikust või rühmitatud strateegiat
- URL-e ja Base64-formaati saab samas sõnumis segada