Изпращане на няколко изображения в едно съобщение
На тази страница
Едновременен анализ на няколко изображения
Vision API на Mistral не се ограничава до едно изображение на съобщение. Можете да изпратите няколко изображения в една заявка, за да поискате от модела да ги сравни, синтезира или анализира заедно. Разликата между това и две отделни заявки е съществена: при една заявка моделът вижда двете изображения едновременно и може да разсъждава върху връзките между тях – нещо, което никакво агрегиране на индивидуални отговори не би могло да постигне.
Тази възможност отваря врати за случаи на употреба, при които въпросът се фокусира върху разликата, а не върху съдържанието: сравнения „преди/след“, анализ на поредици от документи или проверки за визуално съответствие.
Структура на съобщение с няколко изображения
Принципът е прост: добавете няколко елемента image_url в масива content:
message = {
"role": "user",
"content": [
{"type": "text", "text": "Compare these two images and describe the differences."},
{"type": "image_url", "image_url": "https://example.com/image1.jpg"},
{"type": "image_url", "image_url": "https://example.com/image2.jpg"}
]
}
Хомогенността не е задължителна: можете да смесвате изображения чрез URL и Base64 в едно и също съобщение. Това е често срещано, когато трябва да сравните референтно изображение, хоствано онлайн, с току-що генериран локален файл.
Пример: Сравняване на две изображения
Да разгледаме инспекция при получаване в склад. Сравнявате референтна снимка на съответстващия продукт със снимка на получения образец, като използвате системен промпт, който установява ролята на инспектора:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a quality control expert. Compare the provided images with precision."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Here are two photos of the same product. The first is the reference, the second is the received sample. Identify all differences."
},
{"type": "image_url", "image_url": "https://example.com/reference.jpg"},
{"type": "image_url", "image_url": "https://example.com/sample.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Текстът изрично посочва реда – „първото е референтното“ – защото моделът не може да го предположи сам.
Редуване на текст и изображения
Този подход за подреждане бързо достига границите си при повече от две изображения. По-надежден метод е да етикетирате всяко изображение точно преди да го предоставите, редувайки елементите text и image_url:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Here is the original architectural plan:"},
{"type": "image_url", "image_url": "https://example.com/plan-original.png"},
{"type": "text", "text": "And here is the photo of the constructed building:"},
{"type": "image_url", "image_url": "https://example.com/photo-batiment.jpg"},
{"type": "text", "text": "Does the building match the plan? List the discrepancies."}
]
}
]
)
Сега всяко изображение носи собствен етикет, а финалният въпрос идва едва след представянето на целия материал. Този формат значително подобрява разбирането на модела: той знае, че планът е стандартът, а снимката е обектът за оценка. Обръщането на реда би довело до обърнат доклад за несъответствията.
Пакетна обработка с Base64
За папка с локални изображения изграждането на content става програмно. Сглобявате списъка в цикъл, кодирайки всеки файл в реално време:
import base64
import os
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
ext = Path(path).suffix.lower()
mime = {"jpg": "jpeg", "jpeg": "jpeg", "png": "png", "webp": "webp"}.get(ext.lstrip("."), "jpeg")
return f"data:image/{mime};base64,{b64}"
# Load all images from a folder
folder = Path("captures/")
images = sorted(folder.glob("*.png"))
# Build the message content
content = [{"type": "text", "text": f"Analyze these {len(images)} screenshots and summarize common elements."}]
for img in images[:5]: # Limit to max 5 images
content.append({"type": "image_url", "image_url": encode_image(img)})
response = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": content}]
)
print(response.choices[0].message.content)
Срезът images[:5] е предпазната мярка на скрипта. Без него папка, съдържаща двеста екранни снимки, би била изпратена изцяло в една единствена заявка – с последствията, описани малко по-долу.
Ограничения на заявките с няколко изображения
Няма строго документиран лимит за броя изображения, но два ефекта се комбинират при над пет до десет: качеството на анализа се влошава, тъй като вниманието на модела се разпръсква между изображенията, а разходите за токени нарастват рязко. Спомнете си порядъка от Урок 2: всяко изображение консумира между 800 и 1500 токена, така че пет изображения вече представляват между 5000 и 7500 входни токена, преди въпросът Ви дори да започне. Общият сбор – изображения, текст и отговор – трябва също да се побере в контекстния прозорец на модела, таван, до който пакет от изображения достига много по-бързо от текстов документ.
Тази функция изчислява сметката преди заявката, а не след нея:
def estimate_multi_image_cost(num_images, tokens_per_image=1000, text_tokens=100, response_tokens=500):
"""Estimate total tokens for a multi-image call."""
total_input = (num_images * tokens_per_image) + text_tokens
total = total_input + response_tokens
print(f"Images: {num_images} x {tokens_per_image} = {num_images * tokens_per_image} tokens")
print(f"Prompt text: {text_tokens} tokens")
print(f"Estimated response: {response_tokens} tokens")
print(f"Estimated total: {total} tokens")
return total
estimate_multi_image_cost(3)
# Images: 3 x 1000 = 3000 tokens
# Prompt text: 100 tokens
# Estimated response: 500 tokens
# Estimated total: 3600 tokens
Стратегия за големи обеми
При повече от пет изображения променете подхода си, вместо да настоявате. Съществуват три пътя, често комбинирани. Последователният анализ обработва изображенията едно по едно и след това агрегира резултатите – разходите остават линейни, а прецизността за всяко изображение е максимална. Груповото пакетиране изпраща пакети от три до пет изображения, запазвайки известно вътрешно-групово сравнение. Префилтрирането най-накрая използва по-лек модел като Small, за да отхвърли нерелевантните изображения, преди да предаде важните случаи на Large.
Първият път изглежда така, с финален синтез, който обработва само текст:
# Sequential analysis with aggregation
results = []
for img_path in images:
response = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Briefly describe the content of this image."},
{"type": "image_url", "image_url": encode_image(img_path)}
]
}]
)
results.append(response.choices[0].message.content)
# Final synthesis (text only)
synthesis = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": f"Here are descriptions of {len(results)} images:\n\n" +
"\n---\n".join(results) +
"\n\nProvide a global synthesis."
}]
)
Трикът е във втората заявка: тя не съдържа изображения, следователно няма визуални токени. Вие синтезирате петдесет изображения на цената на няколкостотин текстови токена.
Ключови изводи
- Можете да изпратите няколко изображения в едно съобщение, като добавите множество елементи
image_url - Редувайте текст между изображенията, за да предоставите контекст на модела
- Всяко изображение добавя 800–1500 токена – оценете разходите си преди заявката
- При повече от 5 изображения предпочитайте последователна или пакетирана стратегия
- URL адресите и Base64 могат да се смесват в едно и също съобщение