Afbeeldingen vergelijken met de Vision API
Op deze pagina
Visuele vergelijkende analyse
Het vergelijken van afbeeldingen is een krachtige use-case die gebruikmaakt van de mogelijkheid tot meervoudige afbeeldingsinvoer, behandeld in Les 6. De vraag verschuift van “Wat toont deze afbeelding?” naar “Wat is er veranderd?”—een bewerking die een semantisch model fundamenteel anders behandelt dan een pixelvergelijker. Waar een pixelverschil alleen een afwijking signaleert zonder deze te kwalificeren, kan het model stellen dat een label twee millimeter is verschoven en een logo is verdwenen, en vervolgens oordelen welk van beide van belang is.
Kwaliteitscontrole, evolutietracking, detectie van visuele regressies: deze les laat zien hoe u vergelijkingsprompts structureert en de resultaten benut.
Voor/na-vergelijking
Het meest voorkomende scenario betreft het verifiëren van wat er is veranderd tussen twee staten. Het systeembericht definieert de vergelijkingsmethode, terwijl het gebruikersbericht de afbeeldingen identificeert:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": """You are an expert in comparative image analysis. When presented with two images:
1. Briefly describe each image
2. List identified differences (with location)
3. Assess the significance of each difference (minor/major)
4. Provide an overall similarity score (0-100%)"""
},
{
"role": "user",
"content": [
{"type": "text", "text": "BEFORE Image (reference):"},
{"type": "image_url", "image_url": "https://exemple.com/avant.jpg"},
{"type": "text", "text": "AFTER Image (current state):"},
{"type": "image_url", "image_url": "https://exemple.com/apres.jpg"},
{"type": "text", "text": "Identify all differences between these two images."}
]
}
]
)
print(response.choices[0].message.content)
Het afwisselen van tekst (“BEFORE Image”, “AFTER Image”) helpt het model de rol van elke afbeelding te identificeren. De derde stap in de systeemprompt is wat het rapport actiegericht maakt: zonder prioritering ontvangt u een lijst waarin een schaduwverandering even zwaar weegt als een ontbrekend onderdeel.
Kwaliteitscontrole van producten
Aan het einde van de pipeline moet dit rapport door een programma worden gelezen, niet door een mens. We combineren daarom vergelijking met de JSON-modus uit Les 9: het model retourneert een oordeel, een score en een lijst met gekwalificeerde defecten die code direct kan benutten.
import base64
import json
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/jpeg;base64,{b64}"
def quality_control(reference_image, sample_image):
"""Compares a sample to its reference and detects defects."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a quality inspector. Compare the sample to the reference and return a JSON report."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Reference (compliant product):"},
{"type": "image_url", "image_url": encode_image(reference_image)},
{"type": "text", "text": "Sample to inspect:"},
{"type": "image_url", "image_url": encode_image(sample_image)},
{
"type": "text",
"text": """Compare and return:
{
"compliant": true/false,
"compliance_score": 0-100,
"defects": [
{"description": "...", "severity": "minor/major/critical", "location": "..."}
],
"recommendation": "accept/review/reject"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
# Usage
result = quality_control("reference/product-ok.jpg", "batch-42/sample-7.jpg")
if result["compliant"]:
print(f"COMPLIANT - Score: {result['compliance_score']}%")
else:
print(f"NON-COMPLIANT - {len(result['defects'])} defect(s) detected")
for defect in result["defects"]:
print(f" - [{defect['severity']}] {defect['description']}")
Het veld recommendation is interessanter dan het lijkt: door onderscheid te maken tussen “review” en “reject”, reserveert het menselijke interventie voor dubbelzinnige gevallen in plaats van deze overal of nergens op te leggen.
Evolutie in de tijd volgen
Een tijdreeks—bouwplaats, gewasgroei, structuurdegradatie—wordt behandeld als een uitgebreide vergelijking, op voorwaarde dat u elke afbeelding van een datum voorziet. Het model heeft dan de tijdsas en kan een tempo kwalificeren, niet alleen een kloof.
def analyze_evolution(chronological_images, context=""):
"""Analyzes visible evolution across a series of ordered images."""
content = [
{
"type": "text",
"text": f"Here are {len(chronological_images)} images taken at different times, in chronological order. {context}"
}
]
for i, (date, path) in enumerate(chronological_images):
content.append({"type": "text", "text": f"Image {i+1} ({date}):"})
content.append({"type": "image_url", "image_url": encode_image(path)})
content.append({
"type": "text",
"text": "Describe the evolution observed between each step. Identify major changes and the general trend."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": content}]
)
return response.choices[0].message.content
# Construction site tracking
images = [
("2025-01", "site/jan-2025.jpg"),
("2025-06", "site/jun-2025.jpg"),
("2026-01", "site/jan-2026.jpg"),
]
evolution = analyze_evolution(images, context="Tracking a construction site.")
print(evolution)
De laatste vraag wordt pas toegevoegd nadat alle afbeeldingen zijn gepresenteerd, zodra het volledige dossier is uitgestald.
Vergelijken van gebruikersinterfaces
Webontwikkeling biedt een directe use-case: de goedgekeurde mockup confronteren met de daadwerkelijk geproduceerde weergave. Waar een pixel-regressietest faalt op een verschuiving van één pixel zonder belang, kwalificeert het model de impact van elke discrepantie.
def compare_interfaces(expected_screenshot, actual_screenshot):
"""Compares two interface screenshots to detect visual regressions."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a QA tester specializing in visual testing of web interfaces."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Expected design (mockup):"},
{"type": "image_url", "image_url": encode_image(expected_screenshot)},
{"type": "text", "text": "Current render (screenshot):"},
{"type": "image_url", "image_url": encode_image(actual_screenshot)},
{
"type": "text",
"text": """Compare and return:
{
"pixel_perfect": true/false,
"differences": [
{"element": "...", "expected": "...", "actual": "...", "impact": "minor/moderate/major"}
],
"fidelity_score": 0-100,
"verdict": "compliant/minor_adjustments/regression"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
Geïntegreerd in uw continuous integration-pipeline blokkeert deze controle de oplevering alleen bij een oordeel regression.
Best practices voor vergelijking
Deze voorbeelden delen enkele principes die het waard zijn expliciet te maken. Benam uw afbeeldingen altijd met een afwisselend label—“Reference”, “Sample”, “Before”, “After”—want zonder dit wijst het model rollen toe op basis van willekeurige volgorde. Zorg voor vergelijkbare opnames: bij verschillende hoeken en belichting zal het model discrepanties signaleren die alleen voortkomen uit fotocondities. Gebruik Mistral Large 3, omdat vergelijking fijnmazig redeneervermogen mobiliseert dat kleinere modellen niet altijd beheersen. Beperk uzelf tot twee of drie afbeeldingen per call; daarboven verwateren de vergelijkingsprecisie. En vraag systematisch een gestructureerd formaat aan, met een score, een lijst van verschillen en een oordeel, als het resultaat automatisch moet worden verwerkt.
Belangrijkste punten
- Afbeeldingsvergelijking benut de mogelijkheid tot meervoudige afbeeldingsinvoer van de API
- Wissel verklarende tekst af tussen afbeeldingen om hun rollen te verduidelijken
- JSON-modus (
response_format) is ideaal voor geautomatiseerde vergelijkingsrapporten - Primaire use-cases: kwaliteitscontrole, sitetracking, visuele QA, voor/na
- Gebruik altijd Mistral Large 3 voor veeleisende vergelijkingstaken