Porovnávanie obrázkov pomocou Vision API
Na tejto strane
Vizuálna komparatívna analýza
Porovnávanie obrázkov je výkonný prípad využitia, ktorý využíva schopnosť spracovania viacerých obrázkov prebranú v lekcii 6. Otázka sa posúva z „Čo tento obrázok zobrazuje?“ na „Čo sa zmenilo?“ – operácia, ktorú sémantický model spracúva zásadne inak ako pixelový komparátor. Kým rozdiel v pixeloch signalizuje divergenciu bez jej kvalifikácie, model dokáže konštatovať, že sa štítok posunul o dva milimetre a logo zmizlo, a následne posúdiť, ktorá z týchto zmien je dôležitejšia.
Kontrola kvality, sledovanie vývoja, detekcia vizuálnych regresii: táto lekcia ti ukáže, ako štruktúrovať výzvy (prompty) na porovnávanie a ako využiť výsledky.
Porovnanie pred/po
Najbežnejším scenárom je overenie toho, čo sa zmenilo medzi dvoma stavmi. Systémová správa definuje metódu porovnania, zatiaľ čo používateľská správa identifikuje obrázky:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": """You are an expert in comparative image analysis. When presented with two images:
1. Briefly describe each image
2. List identified differences (with location)
3. Assess the significance of each difference (minor/major)
4. Provide an overall similarity score (0-100%)"""
},
{
"role": "user",
"content": [
{"type": "text", "text": "BEFORE Image (reference):"},
{"type": "image_url", "image_url": "https://exemple.com/avant.jpg"},
{"type": "text", "text": "AFTER Image (current state):"},
{"type": "image_url", "image_url": "https://exemple.com/apres.jpg"},
{"type": "text", "text": "Identify all differences between these two images."}
]
}
]
)
print(response.choices[0].message.content)
Vkladanie textu („BEFORE Image“, „AFTER Image“) medzi obrázky pomáha modelu identifikovať úlohu každého z nich. Tretí krok v systémovej výzve je tým, čo robí správu použiteľnou: bez prioritizácie dostaneš zoznam, kde má zmena tieňa rovnakú váhu ako chýbajúca súčiastka.
Kontrola kvality produktu
Na konci pipeline musí túto správu čítať program, nie človek. Preto kombinujeme porovnávanie s režimom JSON z lekcie 9: model vráti verdikt, skóre a zoznam kvalifikovaných defektov, ktoré kód môže okamžite využiť.
import base64
import json
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/jpeg;base64,{b64}"
def quality_control(reference_image, sample_image):
"""Compares a sample to its reference and detects defects."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a quality inspector. Compare the sample to the reference and return a JSON report."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Reference (compliant product):"},
{"type": "image_url", "image_url": encode_image(reference_image)},
{"type": "text", "text": "Sample to inspect:"},
{"type": "image_url", "image_url": encode_image(sample_image)},
{
"type": "text",
"text": """Compare and return:
{
"compliant": true/false,
"compliance_score": 0-100,
"defects": [
{"description": "...", "severity": "minor/major/critical", "location": "..."}
],
"recommendation": "accept/review/reject"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
# Usage
result = quality_control("reference/product-ok.jpg", "batch-42/sample-7.jpg")
if result["compliant"]:
print(f"COMPLIANT - Score: {result['compliance_score']}%")
else:
print(f"NON-COMPLIANT - {len(result['defects'])} defect(s) detected")
for defect in result["defects"]:
print(f" - [{defect['severity']}] {defect['description']}")
Pole recommendation je zaujímavejšie, než sa na prvý pohľad zdá: rozlíšením medzi „review“ (kontrola) a „reject“ (zamietnutie) vyhradzuje ľudský zásah pre nejednoznačné prípady namiesto toho, aby ho vnútil všade alebo nikde.
Sledovanie vývoja v čase
Časový rad – stavenisko, rast plodín, degradácia konštrukcie – sa spracúva ako rozšírené porovnanie za predpokladu, že každý obrázok označíš dátumom. Model tak získava časovú os a dokáže kvalifikovať tempo, nielen rozdiel.
def analyze_evolution(chronological_images, context=""):
"""Analyzes visible evolution across a series of ordered images."""
content = [
{
"type": "text",
"text": f"Here are {len(chronological_images)} images taken at different times, in chronological order. {context}"
}
]
for i, (date, path) in enumerate(chronological_images):
content.append({"type": "text", "text": f"Image {i+1} ({date}):"})
content.append({"type": "image_url", "image_url": encode_image(path)})
content.append({
"type": "text",
"text": "Describe the evolution observed between each step. Identify major changes and the general trend."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": content}]
)
return response.choices[0].message.content
# Construction site tracking
images = [
("2025-01", "site/jan-2025.jpg"),
("2025-06", "site/jun-2025.jpg"),
("2026-01", "site/jan-2026.jpg"),
]
evolution = analyze_evolution(images, context="Tracking a construction site.")
print(evolution)
Záverečná otázka sa pridáva až po všetkých obrázkoch, keď je celý súbor pripravený.
Porovnávanie používateľských rozhraní
Vývoj webu ponúka okamžitý prípad použitia: konfrontáciu schválenej makety so skutočne vygenerovaným výstupom. Kým pixelový regresný test zlyhá pri posune o jeden pixel, ktorý nemá žiadny význam, model kvalifikuje dopad každej nezrovnalosti.
def compare_interfaces(expected_screenshot, actual_screenshot):
"""Compares two interface screenshots to detect visual regressions."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a QA tester specializing in visual testing of web interfaces."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Expected design (mockup):"},
{"type": "image_url", "image_url": encode_image(expected_screenshot)},
{"type": "text", "text": "Current render (screenshot):"},
{"type": "image_url", "image_url": encode_image(actual_screenshot)},
{
"type": "text",
"text": """Compare and return:
{
"pixel_perfect": true/false,
"differences": [
{"element": "...", "expected": "...", "actual": "...", "impact": "minor/moderate/major"}
],
"fidelity_score": 0-100,
"verdict": "compliant/minor_adjustments/regression"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
Ak túto kontrolu zapojíš do svojho pipeline priebežnej integrácie (CI), zablokuje nasadenie len pri verdikte regression.
Najlepšie postupy pri porovnávaní
Tieto príklady zdieľajú niekoľko princípov, ktoré stojí za to explicitne uviesť. Vždy pomenuj svoje obrázky pomocou vloženého štítku – „Reference“, „Sample“, „Before“, „After“ – pretože bez toho model priraďuje role na základe náhodného poradia. Zabezpeč porovnateľnosť záberov: pri rôznych uhloch a osvetlení bude model signalizovať nezrovnalosti, ktoré vyplývajú len z podmienok fotenia. Použi Mistral Large 3, pretože porovnávanie si vyžaduje jemné usudzovanie, ktoré menšie modely nie vždy zvládajú. Obmedz sa na dva alebo tri obrázky na jedno volanie; pri väčšom počte sa presnosť porovnania rozrieďuje. A systematicky požaduj štruktúrovaný formát so skóre, zoznamom rozdielov a verdiktom, ak má byť výsledok automaticky spracovaný.
Kľúčové poznatky
- Porovnávanie obrázkov využíva schopnosť API pracovať s viacerými obrázkami naraz
- Vkladaj vysvetľujúci text medzi obrázky, aby sa objasnila ich úloha
- Režim JSON (
response_format) je ideálny pre automatizované správy o porovnaní - Hlavné prípady použitia: kontrola kvality, sledovanie lokalít, vizuálne QA, porovnanie pred/po
- Pre náročné úlohy porovnávania vždy používaj Mistral Large 3