Сравняване на изображения с Vision API
На тази страница
Визуален сравнителен анализ
Сравняването на изображения е мощен случай на употреба, който използва възможността за работа с множество изображения, разгледана в Урок 6. Въпросът се измества от „Какво показва това изображение?“ към „Какво се е променило?“ – операция, която семантичният модел обработва фундаментално различно от пикселен компаратор. Докато разликата в пикселите сигнализира за разминаване, без да го квалифицира, моделът може да констатира, че етикетът се е изместил с два милиметра и логото е изчезнало, след което да прецени кое от двете е важно.
Контрол на качеството, проследяване на еволюцията, откриване на визуални регресии: този урок показва как да структурирате подканите за сравнение и как да използвате резултатите.
Сравнение „Преди/След“
Най-честият сценарий включва проверка на промените между две състояния. Системното съобщение дефинира метода на сравнение, докато потребителското съобщение идентифицира изображенията:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": """You are an expert in comparative image analysis. When presented with two images:
1. Briefly describe each image
2. List identified differences (with location)
3. Assess the significance of each difference (minor/major)
4. Provide an overall similarity score (0-100%)"""
},
{
"role": "user",
"content": [
{"type": "text", "text": "BEFORE Image (reference):"},
{"type": "image_url", "image_url": "https://exemple.com/avant.jpg"},
{"type": "text", "text": "AFTER Image (current state):"},
{"type": "image_url", "image_url": "https://exemple.com/apres.jpg"},
{"type": "text", "text": "Identify all differences between these two images."}
]
}
]
)
print(response.choices[0].message.content)
Преплитането на текст („BEFORE Image“, „AFTER Image“) помага на модела да идентифицира ролята на всяко изображение. Третата стъпка в системната подкана е това, което прави доклада приложим: без приоритизиране ще получите списък, в който промяната в сянката тежи колкото липсваща част.
Контрол на качеството на продуктите
В края на производствената линия този доклад трябва да бъде прочетен от програма, а не от човек. Затова комбинираме сравнението с JSON режима от Урок 9: моделът връща присъда, оценка и списък с квалифицирани дефекти, които кодът може незабавно да използва.
import base64
import json
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/jpeg;base64,{b64}"
def quality_control(reference_image, sample_image):
"""Compares a sample to its reference and detects defects."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a quality inspector. Compare the sample to the reference and return a JSON report."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Reference (compliant product):"},
{"type": "image_url", "image_url": encode_image(reference_image)},
{"type": "text", "text": "Sample to inspect:"},
{"type": "image_url", "image_url": encode_image(sample_image)},
{
"type": "text",
"text": """Compare and return:
{
"compliant": true/false,
"compliance_score": 0-100,
"defects": [
{"description": "...", "severity": "minor/major/critical", "location": "..."}
],
"recommendation": "accept/review/reject"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
# Usage
result = quality_control("reference/product-ok.jpg", "batch-42/sample-7.jpg")
if result["compliant"]:
print(f"COMPLIANT - Score: {result['compliance_score']}%")
else:
print(f"NON-COMPLIANT - {len(result['defects'])} defect(s) detected")
for defect in result["defects"]:
print(f" - [{defect['severity']}] {defect['description']}")
Полето recommendation е по-интересно, отколкото изглежда: чрез разграничаване на „review“ (преглед) от „reject“ (отхвърляне), то запазва човешката намеса за двусмислени случаи, вместо да я налага навсякъде или никъде.
Проследяване на еволюцията във времето
Времеви ред – строителна площадка, растеж на култури, деградация на конструкции – се третира като разширено сравнение, при условие че обозначите всяко изображение с неговата дата. Тогава моделът разполага с времева ос и може да квалифицира темпото, а не само разликата.
def analyze_evolution(chronological_images, context=""):
"""Analyzes visible evolution across a series of ordered images."""
content = [
{
"type": "text",
"text": f"Here are {len(chronological_images)} images taken at different times, in chronological order. {context}"
}
]
for i, (date, path) in enumerate(chronological_images):
content.append({"type": "text", "text": f"Image {i+1} ({date}):"})
content.append({"type": "image_url", "image_url": encode_image(path)})
content.append({
"type": "text",
"text": "Describe the evolution observed between each step. Identify major changes and the general trend."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": content}]
)
return response.choices[0].message.content
# Construction site tracking
images = [
("2025-01", "site/jan-2025.jpg"),
("2025-06", "site/jun-2025.jpg"),
("2026-01", "site/jan-2026.jpg"),
]
evolution = analyze_evolution(images, context="Tracking a construction site.")
print(evolution)
Крайният въпрос се добавя едва след всички изображения, след като целият файл е подготвен.
Сравняване на потребителски интерфейси
Уеб разработването предлага непосредствен случай на употреба: противопоставяне на одобрения макет с действително генерирания изглед. Докато пикселният тест за регресия се проваля при изместване от един пиксел без значение, моделът квалифицира въздействието на всяко разминаване.
def compare_interfaces(expected_screenshot, actual_screenshot):
"""Compares two interface screenshots to detect visual regressions."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a QA tester specializing in visual testing of web interfaces."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Expected design (mockup):"},
{"type": "image_url", "image_url": encode_image(expected_screenshot)},
{"type": "text", "text": "Current render (screenshot):"},
{"type": "image_url", "image_url": encode_image(actual_screenshot)},
{
"type": "text",
"text": """Compare and return:
{
"pixel_perfect": true/false,
"differences": [
{"element": "...", "expected": "...", "actual": "...", "impact": "minor/moderate/major"}
],
"fidelity_score": 0-100,
"verdict": "compliant/minor_adjustments/regression"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
Интегрирана във вашия конвейер за непрекъсната интеграция, тази проверка блокира доставката само при присъда regression.
Най-добри практики за сравнение
Тези примери споделят няколко принципа, които си струва да се изяснят. Винаги наименувайте изображенията си с преплетен етикет – „Reference“, „Sample“, „Before“, „After“ – защото без него моделът присвоява роли въз основа на случайния ред. Осигурете съпоставимост на кадрите: при различни ъгли и осветление моделът ще сигнализира за несъответствия, които произтичат единствено от условията на снимане. Използвайте Mistral Large 3, защото сравнението мобилизира фино настроено разсъждение, което по-малките модели не винаги овладяват. Ограничете се до две или три изображения на заявка; отвъд това сравнителната точност се размива. И систематично искайте структуриран формат, с оценка, изброени разлики и присъда, ако резултатът трябва да бъде обработен автоматично.
Ключови изводи
- Сравняването на изображения използва възможността на API за работа с множество изображения
- Преплитайте обяснителен текст между изображенията, за да изясните техните роли
- JSON режимът (
response_format) е идеален за автоматизирани доклади за сравнение - Основни случаи на употреба: контрол на качеството, проследяване на обекти, визуален QA, преди/след
- Винаги използвайте Mistral Large 3 за взискателни задачи за сравнение