Skicka flera bilder i ett enda meddelande
På denna sida
Analysera flera bilder samtidigt
Mistrals Vision-API är inte begränsat till en bild per meddelande. Du kan skicka flera bilder i ett enda anrop för att be modellen jämföra, syntetisera eller analysera dem tillsammans. Skillnaden mellan detta och två separata anrop är avgörande: i ett enda anrop ser modellen båda bilderna samtidigt och kan resonera kring deras relationer – något ingen aggregering av individuella svar skulle kunna åstadkomma.
Denna funktion öppnar upp för användningsfall där frågan fokuserar på gapet snarare än innehållet: jämförelser före/efter, analys av dokumentserier eller visuella efterlevnadskontroller.
Struktur för ett meddelande med flera bilder
Principen är enkel: lägg till flera image_url-objekt i content-arrayen:
message = {
"role": "user",
"content": [
{"type": "text", "text": "Compare these two images and describe the differences."},
{"type": "image_url", "image_url": "https://example.com/image1.jpg"},
{"type": "image_url", "image_url": "https://example.com/image2.jpg"}
]
}
Homogenitet krävs inte: du kan blanda bilder via URL och Base64 i samma meddelande. Detta är vanligt när du behöver jämföra en hostad referensbild mot en nyligen genererad lokal fil.
Exempel: Jämföra två bilder
Tänk dig en mottagningskontroll i ett lager. Du jämför ett referensfoto av den godkända produkten mot ett foto av det mottagna provet, med en systemprompt som etablerar inspektörsrollen:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a quality control expert. Compare the provided images with precision."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Here are two photos of the same product. The first is the reference, the second is the received sample. Identify all differences."
},
{"type": "image_url", "image_url": "https://example.com/reference.jpg"},
{"type": "image_url", "image_url": "https://example.com/sample.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Texten anger uttryckligen ordningen – “den första är referensen” – eftersom modellen inte kan gissa den.
Växla text och bilder
Denna ordningsmetod stöter snabbt på sina gränser bortom två bilder. En mer robust metod är att märka varje bild precis innan du tillhandahåller den, genom att växla mellan text- och image_url-element:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Here is the original architectural plan:"},
{"type": "image_url", "image_url": "https://example.com/plan-original.png"},
{"type": "text", "text": "And here is the photo of the constructed building:"},
{"type": "image_url", "image_url": "https://example.com/photo-batiment.jpg"},
{"type": "text", "text": "Does the building match the plan? List the discrepancies."}
]
}
]
)
Varje bild bär nu sin egen etikett, och den slutgiltiga frågan kommer först efter att allt material har presenterats. Detta format förbättrar modellens förståelse avsevärt: den vet att planen är standarden och fotot är objektet som ska utvärderas. Att vända på dem skulle producera en inverterad avvikelserapport.
Batchbearbetning med Base64
För en mapp med lokala bilder blir uppbyggnaden av content programmatisk. Du assemblerar listan i en loop och kodar varje fil i farten:
import base64
import os
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
ext = Path(path).suffix.lower()
mime = {"jpg": "jpeg", "jpeg": "jpeg", "png": "png", "webp": "webp"}.get(ext.lstrip("."), "jpeg")
return f"data:image/{mime};base64,{b64}"
# Load all images from a folder
folder = Path("captures/")
images = sorted(folder.glob("*.png"))
# Build the message content
content = [{"type": "text", "text": f"Analyze these {len(images)} screenshots and summarize common elements."}]
for img in images[:5]: # Limit to max 5 images
content.append({"type": "image_url", "image_url": encode_image(img)})
response = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": content}]
)
print(response.choices[0].message.content)
Slicingen images[:5] är skriptets säkerhetsmekanism. Utan den skulle en mapp som innehåller tvåhundra skärmdumpar skickas i sin helhet i ett enda anrop – med de konsekvenser som beskrivs strax nedan.
Gränser för anrop med flera bilder
Det finns ingen strikt dokumenterad gräns för antalet bilder, men två effekter kombineras bortom fem till tio: analyskvaliteten försämras när modellens uppmärksamhet utspäds över bilderna, och token-kostnaderna stiger kraftigt. Kom ihåg storleksordningen från lektion 2: varje bild konsumerar 800 till 1 500 token, så fem bilder representerar redan 5 000 till 7 500 prompt-token innan din fråga ens börjar. Totalen – bilder, text och svar – måste också få plats inom modellens kontextfönster, ett tak som en batch med bilder når mycket snabbare än ett textdokument.
Denna funktion beräknar kostnaden före anropet snarare än efteråt:
def estimate_multi_image_cost(num_images, tokens_per_image=1000, text_tokens=100, response_tokens=500):
"""Estimate total tokens for a multi-image call."""
total_input = (num_images * tokens_per_image) + text_tokens
total = total_input + response_tokens
print(f"Images: {num_images} x {tokens_per_image} = {num_images * tokens_per_image} tokens")
print(f"Prompt text: {text_tokens} tokens")
print(f"Estimated response: {response_tokens} tokens")
print(f"Estimated total: {total} tokens")
return total
estimate_multi_image_cost(3)
# Images: 3 x 1000 = 3000 tokens
# Prompt text: 100 tokens
# Estimated response: 500 tokens
# Estimated total: 3600 tokens
Strategi för stora volymer
Bortom fem bilder bör du ändra din strategi snarare än att fortsätta pressa på. Tre vägar finns, ofta kombinerade. Sekventiell analys bearbetar bilder en efter en och aggregerar sedan resultaten – kostnaden förblir linjär och precisionen per bild är maximal. Batch-gruppering skickar paket om tre till fem bilder, vilket bevarar viss jämförelse inom batchen. Prefiltrering använder slutligen en lättare modell som Small för att kassera irrelevanta bilder innan viktiga fall skickas till Large.
Den första vägen ser ut så här, med en slutlig syntes som endast hanterar text:
# Sequential analysis with aggregation
results = []
for img_path in images:
response = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Briefly describe the content of this image."},
{"type": "image_url", "image_url": encode_image(img_path)}
]
}]
)
results.append(response.choices[0].message.content)
# Final synthesis (text only)
synthesis = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": f"Here are descriptions of {len(results)} images:\n\n" +
"\n---\n".join(results) +
"\n\nProvide a global synthesis."
}]
)
Tricket ligger i det andra anropet: det innehåller inga bilder, så inga visuella token. Du syntetiserar femtio bilder för priset av några hundra text-token.
Viktiga punkter
- Du kan skicka flera bilder i ett enda meddelande genom att lägga till flera
image_url-element - Växla text mellan bilder för att ge modellen kontext
- Varje bild lägger till 800–1 500 token – uppskatta dina kostnader innan du anropar
- Bortom 5 bilder, föredra en sekventiell eller batchad strategi
- URL:er och Base64 kan blandas i samma meddelande