Piltide võrdlemine Vision API-ga
Sellel lehel
Visuaalne võrdlev analüüs
Piltide võrdlemine on võimas kasutusjuhtum, mis rakendab 6. õppetükis käsitletud mitme pildi töötlemise võimet. Küsimus nihkub „Mida see pilt näitab?“ küsimuselt „Mis on muutunud?“ – tegevus, mida semantiline mudel käsitleb fundamentaalselt erinevalt pikslipõhisest võrdlejast. Kui pikslite erinevus annab märku lahknevusest seda kvalifitseerimata, suudab mudel öelda, et silt on nihkunud kaks millimeetrit ja logo on kadunud, ning seejärel hinnata, kumb neist kahest on oluline.
Kvaliteedikontroll, arengu jälgimine, visuaalse regressiooni tuvastamine: selles õppetükis näitad, kuidas struktureerida võrdlusvihjeid ja tulemusi ära kasutada.
Enne/Pärast võrdlus
Kõige levinum stsenaarium hõlmab kahe oleku vaheliste muutuste kontrollimist. Süsteemisõnum määratleb võrdlusmeetodi, samas kui kasutajasõnum tuvastab pildid:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": """You are an expert in comparative image analysis. When presented with two images:
1. Briefly describe each image
2. List identified differences (with location)
3. Assess the significance of each difference (minor/major)
4. Provide an overall similarity score (0-100%)"""
},
{
"role": "user",
"content": [
{"type": "text", "text": "BEFORE Image (reference):"},
{"type": "image_url", "image_url": "https://exemple.com/avant.jpg"},
{"type": "text", "text": "AFTER Image (current state):"},
{"type": "image_url", "image_url": "https://exemple.com/apres.jpg"},
{"type": "text", "text": "Identify all differences between these two images."}
]
}
]
)
print(response.choices[0].message.content)
Teksti („BEFORE Image“, „AFTER Image“) põimimine aitab mudelil tuvastada iga pildi rolli. Süsteemiviipe kolmas samm on see, mis muudab aruande tegevusvõimeliseks: ilma prioriseerimiseta saad nimekirja, kus varju muutus kaalub sama palju kui puuduv osa.
Toote kvaliteedikontroll
Torustiku lõpus peab selle aruande lugema programm, mitte inimene. Seetõttu ühendame võrdluse 9. õppetükist pärit JSON-režiimiga: mudel tagastab otsuse, skoori ja kvalifitseeritud defektide loetelu, mida kood saab koheselt ära kasutada.
import base64
import json
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/jpeg;base64,{b64}"
def quality_control(reference_image, sample_image):
"""Compares a sample to its reference and detects defects."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a quality inspector. Compare the sample to the reference and return a JSON report."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Reference (compliant product):"},
{"type": "image_url", "image_url": encode_image(reference_image)},
{"type": "text", "text": "Sample to inspect:"},
{"type": "image_url", "image_url": encode_image(sample_image)},
{
"type": "text",
"text": """Compare and return:
{
"compliant": true/false,
"compliance_score": 0-100,
"defects": [
{"description": "...", "severity": "minor/major/critical", "location": "..."}
],
"recommendation": "accept/review/reject"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
# Usage
result = quality_control("reference/product-ok.jpg", "batch-42/sample-7.jpg")
if result["compliant"]:
print(f"COMPLIANT - Score: {result['compliance_score']}%")
else:
print(f"NON-COMPLIANT - {len(result['defects'])} defect(s) detected")
for defect in result["defects"]:
print(f" - [{defect['severity']}] {defect['description']}")
Väli recommendation on huvitavam, kui esmapilgul tundub: eristades „review“ (üle vaatamine) ja „reject“ (tagasilükkamine), jätab see inimsekkumise reserveerituks ebaselgetele juhtumitele, selle asemel et seda kõikjal või mitte kusagil nõuda.
Arengu jälgimine ajas
Ajaseeriat – ehitusplats, põllukultuuride kasv, konstruktsiooni halvenemine – käsitletakse laiendatud võrdlusena, eeldusel, et märgistad iga pildi selle kuupäevaga. Mudelil on siis ajaline telg ja ta suudab kvalifitseerida tempot, mitte ainult lõhet.
def analyze_evolution(chronological_images, context=""):
"""Analyzes visible evolution across a series of ordered images."""
content = [
{
"type": "text",
"text": f"Here are {len(chronological_images)} images taken at different times, in chronological order. {context}"
}
]
for i, (date, path) in enumerate(chronological_images):
content.append({"type": "text", "text": f"Image {i+1} ({date}):"})
content.append({"type": "image_url", "image_url": encode_image(path)})
content.append({
"type": "text",
"text": "Describe the evolution observed between each step. Identify major changes and the general trend."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": content}]
)
return response.choices[0].message.content
# Construction site tracking
images = [
("2025-01", "site/jan-2025.jpg"),
("2025-06", "site/jun-2025.jpg"),
("2026-01", "site/jan-2026.jpg"),
]
evolution = analyze_evolution(images, context="Tracking a construction site.")
print(evolution)
Lõplik küsimus lisatakse alles pärast kõiki pilte, kui kogu fail on paigutatud.
Kasutajaliideste võrdlemine
Veebiarendus pakub kohese kasutusjuhtumi: heakskiidetud maketi vastandamine tegelikult loodud renderdusega. Kui pikslipõhine regressioonitest ebaõnnestub ühe ebaolulise piksli nihke tõttu, kvalifitseerib mudel iga lahknevuse mõju.
def compare_interfaces(expected_screenshot, actual_screenshot):
"""Compares two interface screenshots to detect visual regressions."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a QA tester specializing in visual testing of web interfaces."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Expected design (mockup):"},
{"type": "image_url", "image_url": encode_image(expected_screenshot)},
{"type": "text", "text": "Current render (screenshot):"},
{"type": "image_url", "image_url": encode_image(actual_screenshot)},
{
"type": "text",
"text": """Compare and return:
{
"pixel_perfect": true/false,
"differences": [
{"element": "...", "expected": "...", "actual": "...", "impact": "minor/moderate/major"}
],
"fidelity_score": 0-100,
"verdict": "compliant/minor_adjustments/regression"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
Sinu pideva integreerimise torustikku ühendatuna blokeerib see kontroll tarne ainult regression otsuse korral.
Võrdlemise parimad tavad
Nendel näidetel on ühised põhimõtted, mida tasub selgelt välja tuua. Nimeta oma pilte alati põimitud sildiga – „Reference“, „Sample“, „Before“, „After“ – sest ilma selleta omistab mudel rolle juhusliku järjekorra põhjal. Tagada kaadrite võrreldavus: erinevate nurkade ja valgustuse korral signaliseerib mudel lahknevusi, mis tulenevad vaid foto tingimustest. Kasuta Mistral Large 3 mudelit, sest võrdlemine mobiliseerib peeneteralist arutluskäiku, mida väiksemad mudelid ei valda alati. Piirdu kahe või kolme pildiga kõne kohta; sellest kaugemale hajub võrdlus täpsus. Ja kui tulemust tuleb automaatselt töödelda, küsi süstemaatiliselt struktureeritud vormingut koos skooriga, loetletud erinevuste ja otsusega.
Peamised punktid
- Piltide võrdlemine rakendab API mitme pildi töötlemise võimet
- Põimi selgitav tekst piltide vahele, et selgitada nende rolle
- JSON-režiim (
response_format) on ideaalne automatiseeritud võrdlusaruannete jaoks - Peamised kasutusjuhtumid: kvaliteedikontroll, saidi jälgimine, visuaalne QA, enne/pärast
- Kasuta nõudlike võrdlusülesannete jaoks alati Mistral Large 3 mudelit