Jämför bilder med Vision API
På denna sida
Visuell jämförande analys
Bildjämförelse är ett kraftfullt användningsfall som utnyttjar funktionen för flera bilder som vi gick igenom i lektion 6. Frågan flyttas från “Vad visar den här bilden?” till “Vad har förändrats?” – en operation som en semantisk modell hanterar fundamentalt annorlunda än en pixeljämförare. Medan en pixelskillnad signalerar en avvikelse utan att kvalificera den, kan modellen konstatera att en etikett har förskjutits två millimeter och att en logotyp har försvunnit, och sedan bedöma vilken av de två som spelar roll.
Kvalitetskontroll, spårning av utveckling, detektering av visuell regression: denna lektion visar hur du strukturerar jämförelsepromptar och utnyttjar resultaten.
Jämförelse före/efter
Det vanligaste scenariot innebär att verifiera vad som har förändrats mellan två tillstånd. Systemmeddelandet definierar jämförelsemetoden, medan användarmeddelandet identifierar bilderna:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": """You are an expert in comparative image analysis. When presented with two images:
1. Briefly describe each image
2. List identified differences (with location)
3. Assess the significance of each difference (minor/major)
4. Provide an overall similarity score (0-100%)"""
},
{
"role": "user",
"content": [
{"type": "text", "text": "BEFORE Image (reference):"},
{"type": "image_url", "image_url": "https://exemple.com/avant.jpg"},
{"type": "text", "text": "AFTER Image (current state):"},
{"type": "image_url", "image_url": "https://exemple.com/apres.jpg"},
{"type": "text", "text": "Identify all differences between these two images."}
]
}
]
)
print(response.choices[0].message.content)
Att växelvis infoga text (“BEFORE Image”, “AFTER Image”) hjälper modellen att identifiera rollen för varje bild. Det tredje steget i systemprompten är det som gör rapporten användbar: utan prioritering får du en lista där en skuggförändring väger lika tungt som en saknad del.
Kvalitetskontroll av produkter
I slutet av pipeline:n måste denna rapport läsas av ett program, inte en människa. Därför kombinerar vi jämförelsen med JSON-läget från lektion 9: modellen returnerar ett omdöme, ett betyg och en lista över kvalificerade defekter som koden omedelbart kan utnyttja.
import base64
import json
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/jpeg;base64,{b64}"
def quality_control(reference_image, sample_image):
"""Compares a sample to its reference and detects defects."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a quality inspector. Compare the sample to the reference and return a JSON report."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Reference (compliant product):"},
{"type": "image_url", "image_url": encode_image(reference_image)},
{"type": "text", "text": "Sample to inspect:"},
{"type": "image_url", "image_url": encode_image(sample_image)},
{
"type": "text",
"text": """Compare and return:
{
"compliant": true/false,
"compliance_score": 0-100,
"defects": [
{"description": "...", "severity": "minor/major/critical", "location": "..."}
],
"recommendation": "accept/review/reject"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
# Usage
result = quality_control("reference/product-ok.jpg", "batch-42/sample-7.jpg")
if result["compliant"]:
print(f"COMPLIANT - Score: {result['compliance_score']}%")
else:
print(f"NON-COMPLIANT - {len(result['defects'])} defect(s) detected")
for defect in result['defects']:
print(f" - [{defect['severity']}] {defect['description']}")
Fältet recommendation är mer intressant än det vid en första anblick verkar: genom att skilja på “review” (granskning) och “reject” (avvisning), reserverar den mänsklig inblandning för tvetydiga fall istället för att införa den överallt eller ingenstans.
Spårning av utveckling över tid
En tidsserie – byggarbetsplats, grödors tillväxt, strukturell försämring – behandlas som en utökad jämförelse, förutsatt att du märker varje bild med dess datum. Modellen får då en tidsaxel och kan kvalificera ett tempo, inte bara ett gap.
def analyze_evolution(chronological_images, context=""):
"""Analyzes visible evolution across a series of ordered images."""
content = [
{
"type": "text",
"text": f"Here are {len(chronological_images)} images taken at different times, in chronological order. {context}"
}
]
for i, (date, path) in enumerate(chronological_images):
content.append({"type": "text", "text": f"Image {i+1} ({date}):"})
content.append({"type": "image_url", "image_url": encode_image(path)})
content.append({
"type": "text",
"text": "Describe the evolution observed between each step. Identify major changes and the general trend."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": content}]
)
return response.choices[0].message.content
# Construction site tracking
images = [
("2025-01", "site/jan-2025.jpg"),
("2025-06", "site/jun-2025.jpg"),
("2026-01", "site/jan-2026.jpg"),
]
evolution = analyze_evolution(images, context="Tracking a construction site.")
print(evolution)
Den sista frågan läggs till först efter att alla bilder har presenterats, när hela underlaget är lagt.
Jämförelse av användargränssnitt
Webbutveckling erbjuder ett omedelbart användningsfall: att ställa den godkända mockupen mot den faktiskt producerade renderingen. Där ett pixelregressionstest misslyckas vid en förskjutning på en pixel utan betydelse, kvalificerar modellen konsekvensen av varje avvikelse.
def compare_interfaces(expected_screenshot, actual_screenshot):
"""Compares two interface screenshots to detect visual regressions."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a QA tester specializing in visual testing of web interfaces."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Expected design (mockup):"},
{"type": "image_url", "image_url": encode_image(expected_screenshot)},
{"type": "text", "text": "Current render (screenshot):"},
{"type": "image_url", "image_url": encode_image(actual_screenshot)},
{
"type": "text",
"text": """Compare and return:
{
"pixel_perfect": true/false,
"differences": [
{"element": "...", "expected": "...", "actual": "...", "impact": "minor/moderate/major"}
],
"fidelity_score": 0-100,
"verdict": "compliant/minor_adjustments/regression"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
Kopplat till din pipeline för kontinuerlig integration blockerar denna kontroll leveransen endast vid omdömet regression.
Bästa praxis för jämförelse
Dessa exempel delar några principer som är värda att explicit göra tydliga. Namnge alltid dina bilder med en växelvis etikett – “Reference”, “Sample”, “Before”, “After” – för utan den tilldelar modellen roller baserat på slumpmässig ordning. Säkerställ jämförbarhet i bildtagningen: vid olika vinklar och belysning kommer modellen att signalera avvikelser som endast härrör från fotoförhållanden. Använd Mistral Large 3, eftersom jämförelse mobiliserar finmaskigt resonerande som mindre modeller inte alltid behärskar. Begränsa dig till två eller tre bilder per anrop; utöver detta utspäds jämförelseprecisionen. Och begär systematiskt ett strukturerat format, med ett betyg, listade skillnader och ett omdöme, om resultatet ska bearbetas automatiskt.
Viktiga punkter
- Bildjämförelse utnyttjar API:ts förmåga att hantera flera bilder
- Växla förklarande text mellan bilder för att tydliggöra deras roller
- JSON-läge (
response_format) är idealiskt för automatiserade jämförelserapporter - Primära användningsfall: kvalitetskontroll, platsspårning, visuell QA, före/efter
- Använd alltid Mistral Large 3 för krävande jämförelseuppgifter