Primerjava slik z API-jem Vision
Na tej strani
Vizualna primerjalna analiza
Primerjava slik je zmogljiv primer uporabe, ki izkorišča zmožnost obdelave več slik hkrati, obravnavano v lekciji 6. Vprašanje se premakne z „Kaj prikazuje ta slika?” na „Kaj se je spremenilo?” – operacija, ki jo semantični model obravnava bistveno drugače kot primerjalnik pikslov. Medtem ko razlika v pikslih signalizira odstopanje brez kvalifikacije, lahko model navede, da se je etiketa premaknila za dva milimetra in da je izginil logotip, ter nato presodi, katero od obeh dejstev je pomembno.
Nadzor kakovosti, sledenje razvoju, odkrivanje vizualnih regresij: ta lekcija prikazuje, kako strukturirati pozive za primerjavo in izkoristiti rezultate.
Primerjava pred/po
Najpogostejši scenarij vključuje preverjanje sprememb med dvema stanjema. Sistemsko sporočilo določa metodo primerjave, medtem ko uporabniško sporočilo identificira slike:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": """You are an expert in comparative image analysis. When presented with two images:
1. Briefly describe each image
2. List identified differences (with location)
3. Assess the significance of each difference (minor/major)
4. Provide an overall similarity score (0-100%)"""
},
{
"role": "user",
"content": [
{"type": "text", "text": "BEFORE Image (reference):"},
{"type": "image_url", "image_url": "https://exemple.com/avant.jpg"},
{"type": "text", "text": "AFTER Image (current state):"},
{"type": "image_url", "image_url": "https://exemple.com/apres.jpg"},
{"type": "text", "text": "Identify all differences between these two images."}
]
}
]
)
print(response.choices[0].message.content)
Prepletanje besedila („BEFORE Image”, „AFTER Image”) modelu pomaga identificirati vlogo vsake slike. Tretji korak v sistemskem pozivu je tisti, ki poročilo naredi uporabno: brez določanja prioritet prejmeš seznam, kjer ima sprememba sence enako težo kot manjkajoči del.
Nadzor kakovosti izdelkov
Na koncu procesne verige mora to poročilo prebrati program, ne človek. Zato kombiniramo primerjavo z načinom JSON iz lekcije 9: model vrne sodbo, oceno in seznam kvalificiranih napak, ki jih koda lahko takoj izkoristi.
import base64
import json
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/jpeg;base64,{b64}"
def quality_control(reference_image, sample_image):
"""Compares a sample to its reference and detects defects."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a quality inspector. Compare the sample to the reference and return a JSON report."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Reference (compliant product):"},
{"type": "image_url", "image_url": encode_image(reference_image)},
{"type": "text", "text": "Sample to inspect:"},
{"type": "image_url", "image_url": encode_image(sample_image)},
{
"type": "text",
"text": """Compare and return:
{
"compliant": true/false,
"compliance_score": 0-100,
"defects": [
{"description": "...", "severity": "minor/major/critical", "location": "..."}
],
"recommendation": "accept/review/reject"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
# Usage
result = quality_control("reference/product-ok.jpg", "batch-42/sample-7.jpg")
if result["compliant"]:
print(f"COMPLIANT - Score: {result['compliance_score']}%")
else:
print(f"NON-COMPLIANT - {len(result['defects'])} defect(s) detected")
for defect in result["defects"]:
print(f" - [{defect['severity']}] {defect['description']}")
Polje recommendation je zanimivejše, kot se zdi: z razlikovanjem med „review” (pregled) in „reject” (zavrnitev) rezervira človeški poseg za dvoumne primere, namesto da bi ga vsiljevalo povsod ali nikjer.
Sledenje razvoju skozi čas
Časovno vrsto – gradbišče, rast pridelkov, propadanje konstrukcije – obravnavamo kot razširjeno primerjavo, pod pogojem, da vsako sliko označiš z datumom. Model tako dobi časovno os in lahko kvalificira tempo, ne le vrzeli.
def analyze_evolution(chronological_images, context=""):
"""Analyzes visible evolution across a series of ordered images."""
content = [
{
"type": "text",
"text": f"Here are {len(chronological_images)} images taken at different times, in chronological order. {context}"
}
]
for i, (date, path) in enumerate(chronological_images):
content.append({"type": "text", "text": f"Image {i+1} ({date}):"})
content.append({"type": "image_url", "image_url": encode_image(path)})
content.append({
"type": "text",
"text": "Describe the evolution observed between each step. Identify major changes and the general trend."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": content}]
)
return response.choices[0].message.content
# Construction site tracking
images = [
("2025-01", "site/jan-2025.jpg"),
("2025-06", "site/jun-2025.jpg"),
("2026-01", "site/jan-2026.jpg"),
]
evolution = analyze_evolution(images, context="Tracking a construction site.")
print(evolution)
Končno vprašanje dodaš šele po vseh slikah, ko je celoten niz predstavljen.
Primerjava uporabniških vmesnikov
Razvoj spletnih strani ponuja takojšen primer uporabe: soočenje odobrenega makete z dejansko ustvarjenim izpisom. Kjer test vizualne regresije na ravni pikslov odpove zaradi premika enega piksla brez pomena, model kvalificira vpliv vsakega neskladja.
def compare_interfaces(expected_screenshot, actual_screenshot):
"""Compares two interface screenshots to detect visual regressions."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a QA tester specializing in visual testing of web interfaces."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Expected design (mockup):"},
{"type": "image_url", "image_url": encode_image(expected_screenshot)},
{"type": "text", "text": "Current render (screenshot):"},
{"type": "image_url", "image_url": encode_image(actual_screenshot)},
{
"type": "text",
"text": """Compare and return:
{
"pixel_perfect": true/false,
"differences": [
{"element": "...", "expected": "...", "actual": "...", "impact": "minor/moderate/major"}
],
"fidelity_score": 0-100,
"verdict": "compliant/minor_adjustments/regression"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
Če to preverjanje vključiš v svoj cevovod za neprekinjeno integracijo (CI), blokira izdajo le pri sodbi regression.
Najboljše prakse pri primerjavi
Ti primeri delijo nekaj principov, ki jih velja izpostaviti. Vedno poimenuj svoje slike s prepleteno oznako – „Reference”, „Sample”, „Before”, „After” – saj model brez tega dodeljuje vloge naključno glede na vrstni red. Zagotovi primerljivost posnetkov: pri različnih kotih in osvetlitvi bo model signaliziral neskladja, ki izhajajo le iz pogojev fotografiranja. Uporabi Mistral Large 3, saj primerjava zahteva razmišljanje na fini ravni, ki ga manjši modeli ne obvladajo vedno. Omeji se na dve ali tri slike na klic; prek tega števila se natančnost primerjave razredči. In sistematično zahtevaj strukturirano obliko z oceno, seznamom razlik in sodbo, če je treba rezultat avtomatsko obdelati.
Ključne ugotovitve
- Primerjava slik izkorišča zmožnost API-ja za obdelavo več slik hkrati.
- Med slike vpleti pojasnjevalno besedilo, da razjasniš njihove vloge.
- Način JSON (
response_format) je idealen za avtomatizirana poročila o primerjavi. - Glavni primeri uporabe: nadzor kakovosti, sledenje gradbiščem, vizualno testiranje (QA), primerjava pred/po.
- Za zahtevne naloge primerjave vedno uporabi Mistral Large 3.