Sammenlign billeder med Vision API
På denne side
Visuel sammenligningsanalyse
Billedsammenligning er et stærkt anvendelsesområde, der udnytter funktionen til flere billeder, som vi dækkede i lektion 6. Spørgsmålet skifter fra „Hvad viser dette billede?” til „Hvad er ændret?” – en operation, som en semantisk model håndterer fundamentalt anderledes end en pixel-sammenligner. Hvor en pixelforskel signalerer en afvigelse uden at kvalificere den, kan modellen konstatere, at et etiket er flyttet to millimeter, og et logo er forsvundet, og derefter vurdere, hvilken af de to ting der betyder noget.
Kvalitetskontrol, sporing af udvikling, detektering af visuel regression: denne lektion viser dig, hvordan du strukturerer sammenlignings-prompts og udnytter resultaterne.
Sammenligning af Før/Efter
Det mest almindelige scenarie involverer verificering af, hvad der er ændret mellem to tilstande. Systembeskeden definerer sammenligningsmetoden, mens brugerbeskeden identificerer billederne:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": """You are an expert in comparative image analysis. When presented with two images:
1. Briefly describe each image
2. List identified differences (with location)
3. Assess the significance of each difference (minor/major)
4. Provide an overall similarity score (0-100%)"""
},
{
"role": "user",
"content": [
{"type": "text", "text": "BEFORE Image (reference):"},
{"type": "image_url", "image_url": "https://exemple.com/avant.jpg"},
{"type": "text", "text": "AFTER Image (current state):"},
{"type": "image_url", "image_url": "https://exemple.com/apres.jpg"},
{"type": "text", "text": "Identify all differences between these two images."}
]
}
]
)
print(response.choices[0].message.content)
At flette tekst ind imellem („BEFORE Image”, „AFTER Image”) hjælper modellen med at identificere rollen for hvert billede. Det tredje trin i system-prompten er det, der gør rapporten handlingsorienteret: uden prioritering modtager du en liste, hvor en ændring i skygge vægter lige så meget som en manglende del.
Produktkvalitetskontrol
I slutningen af pipeline skal denne rapport læses af et program, ikke et menneske. Derfor kombinerer vi sammenligning med JSON-tilstanden fra lektion 9: modellen returnerer en dom, en score og en liste over kvalificerede defekter, som kode straks kan udnytte.
import base64
import json
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/jpeg;base64,{b64}"
def quality_control(reference_image, sample_image):
"""Sammenligner en prøve med dens reference og detekterer defekter."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a quality inspector. Compare the sample to the reference and return a JSON report."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Reference (compliant product):"},
{"type": "image_url", "image_url": encode_image(reference_image)},
{"type": "text", "text": "Sample to inspect:"},
{"type": "image_url", "image_url": encode_image(sample_image)},
{
"type": "text",
"text": """Compare and return:
{
"compliant": true/false,
"compliance_score": 0-100,
"defects": [
{"description": "...", "severity": "minor/major/critical", "location": "..."}
],
"recommendation": "accept/review/reject"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
# Brug
result = quality_control("reference/product-ok.jpg", "batch-42/sample-7.jpg")
if result["compliant"]:
print(f"COMPLIANT - Score: {result['compliance_score']}%")
else:
print(f"NON-COMPLIANT - {len(result['defects'])} defect(s) detected")
for defect in result["defects"]:
print(f" - [{defect['severity']}] {defect['description']}")
Feltet recommendation er mere interessant, end det umiddelbart ser ud til: Ved at skelne mellem „review” og „reject” reserverer den menneskelig indgriben til tvetydige tilfælde i stedet for at påtvinge den overalt eller slet ikke.
Sporing af udvikling over tid
En tidsserie – byggeplads, afgrødevækst, strukturel nedbrydning – behandles som en udvidet sammenligning, forudsat at du mærker hvert billede med sin dato. Modellen har derefter den tidsmæssige akse og kan kvalificere et tempo, ikke bare et gab.
def analyze_evolution(chronological_images, context=""):
"""Analyserer synlig udvikling på tværs af en serie af ordnede billeder."""
content = [
{
"type": "text",
"text": f"Here are {len(chronological_images)} images taken at different times, in chronological order. {context}"
}
]
for i, (date, path) in enumerate(chronological_images):
content.append({"type": "text", "text": f"Image {i+1} ({date}):"})
content.append({"type": "image_url", "image_url": encode_image(path)})
content.append({
"type": "text",
"text": "Describe the evolution observed between each step. Identify major changes and the general trend."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": content}]
)
return response.choices[0].message.content
# Sporing af byggeplads
images = [
("2025-01", "site/jan-2025.jpg"),
("2025-06", "site/jun-2025.jpg"),
("2026-01", "site/jan-2026.jpg"),
]
evolution = analyze_evolution(images, context="Tracking a construction site.")
print(evolution)
Det sidste spørgsmål tilføjes først efter alle billeder, når hele filen er lagt frem.
Sammenligning af brugergrænseflader
Webudvikling tilbyder et øjeblikkeligt anvendelsesområde: at konfrontere den godkendte mockup med det faktisk producerede render. Hvor en pixel-regressionstest fejler ved et skift på én pixel uden betydning, kvalificerer modellen virkningen af hver uoverensstemmelse.
def compare_interfaces(expected_screenshot, actual_screenshot):
"""Sammenligner to skærmbilleder af grænseflader for at detektere visuelle regressioner."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a QA tester specializing in visual testing of web interfaces."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Expected design (mockup):"},
{"type": "image_url", "image_url": encode_image(expected_screenshot)},
{"type": "text", "text": "Current render (screenshot):"},
{"type": "image_url", "image_url": encode_image(actual_screenshot)},
{
"type": "text",
"text": """Compare and return:
{
"pixel_perfect": true/false,
"differences": [
{"element": "...", "expected": "...", "actual": "...", "impact": "minor/moderate/major"}
],
"fidelity_score": 0-100,
"verdict": "compliant/minor_adjustments/regression"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
Når dette kobles til din continuous integration-pipeline, blokerer denne check kun leverancen ved en regression-dom.
Bedste praksis for sammenligning
Disse eksempler deler nogle få principper, der er værd at gøre eksplicitte. Navngiv altid dine billeder med et flettet label – „Reference”, „Prøve”, „Før”, „Efter” – for uden det tildeler modellen roller baseret på tilfældig rækkefølge. Sørg for, at optagelserne er sammenlignelige: ved forskellige vinkler og belysning vil modellen signalere uoverensstemmelser, der kun stammer fra fotoforhold. Brug Mistral Large 3, fordi sammenligning mobiliserer finmasket ræsonnement, som mindre modeller ikke altid mestrer. Begræns dig til to eller tre billeder per kald; ud over det udvandes sammenligningspræcisionen. Og anmod systematisk om et struktureret format med en score, listede forskelle og en dom, hvis resultatet skal behandles automatisk.
Vigtige pointer
- Billedsammenligning udnytter API’ets funktion til flere billeder
- Flet forklarende tekst ind imellem billeder for at tydeliggøre deres roller
- JSON-tilstand (
response_format) er ideel til automatiserede sammenligningsrapporter - Primære anvendelsesområder: kvalitetskontrol, stedsporing, visuel QA, før/efter
- Brug altid Mistral Large 3 til krævende sammenligningsopgaver