Vertaile kuvia Vision API:n avulla
Tällä sivulla
Visuaalinen vertailuanalyysi
Kuvien vertailu on tehokas käyttötapa, joka hyödyntää oppitunnilla 6 käsiteltyä usean kuvan käsittelykykyä. Kysymys siirtyy muotoon “Mitä tämä kuva esittää?” -> “Mitä on muuttunut?” – toiminto, jonka semanttinen malli hoitaa täysin eri tavalla kuin pikselivertailija. Kun pikseliero ilmoittaa poikkeamasta määrittelemättä sitä tarkemmin, malli pystyy toteamaan, että etiketti on siirtynyt kaksi millimetriä ja logo on kadonnut, ja sen jälkeen arvioimaan, kummalla on merkitystä.
Laadunvalvonta, kehityksen seuranta, visuaalinen regressiotestaus: tässä oppitunnissa opit rakentamaan vertailukehotteita ja hyödyntämään tuloksia.
Ennen/jälkeen -vertailu
Yleisin skenaario on varmistaa, mitä kahden tilan välillä on muuttunut. Järjestelmäviesti määrittelee vertailumenetelmän, kun taas käyttäjäviesti tunnistaa kuvat:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": """You are an expert in comparative image analysis. When presented with two images:
1. Briefly describe each image
2. List identified differences (with location)
3. Assess the significance of each difference (minor/major)
4. Provide an overall similarity score (0-100%)"""
},
{
"role": "user",
"content": [
{"type": "text", "text": "BEFORE Image (reference):"},
{"type": "image_url", "image_url": "https://exemple.com/avant.jpg"},
{"type": "text", "text": "AFTER Image (current state):"},
{"type": "image_url", "image_url": "https://exemple.com/apres.jpg"},
{"type": "text", "text": "Identify all differences between these two images."}
]
}
]
)
print(response.choices[0].message.content)
Tekstin (“BEFORE Image”, “AFTER Image”) lomittaminen auttaa mallia tunnistamaan kunkin kuvan roolin. Järjestelmäkehotteen kolmas vaihe tekee raportista toimintakelpoisen: ilman priorisointia saat listan, jossa varjon muutos painaa yhtä paljon kuin puuttuva osa.
Tuotteen laadunvalvonta
Putken päässä tämän raportin tulee lukea ohjelma, ei ihminen. Yhdistämme siksi vertailun oppitunnin 9 JSON-tilaan: malli palauttaa tuomion, pisteytyksen ja listan luokitelluista vioista, joita koodi voi hyödyntää välittömästi.
import base64
import json
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/jpeg;base64,{b64}"
def quality_control(reference_image, sample_image):
"""Compares a sample to its reference and detects defects."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a quality inspector. Compare the sample to the reference and return a JSON report."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Reference (compliant product):"},
{"type": "image_url", "image_url": encode_image(reference_image)},
{"type": "text", "text": "Sample to inspect:"},
{"type": "image_url", "image_url": encode_image(sample_image)},
{
"type": "text",
"text": """Compare and return:
{
"compliant": true/false,
"compliance_score": 0-100,
"defects": [
{"description": "...", "severity": "minor/major/critical", "location": "..."}
],
"recommendation": "accept/review/reject"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
# Usage
result = quality_control("reference/product-ok.jpg", "batch-42/sample-7.jpg")
if result["compliant"]:
print(f"COMPLIANT - Score: {result['compliance_score']}%")
else:
print(f"NON-COMPLIANT - {len(result['defects'])} defect(s) detected")
for defect in result["defects"]:
print(f" - [{defect['severity']}] {defect['description']}")
Kenttä recommendation on kiinnostavampi kuin ensisilmäyksellä näyttää: erottamalla “review” (tarkistus) ja “reject” (hylkäys) se varaa ihmisen puuttumisen epäselviin tapauksiin sen sijaan, että sitä vaadittaisiin kaikkialla tai ei missään.
Kehityksen seuranta ajan myötä
Aikasarjaa – kuten rakennustyömaa, sadon kasvu tai rakenteen heikkeneminen – käsitellään laajennettuna vertailuna, edellyttäen että merkkitset jokaisen kuvan päivämäärällä. Mallilla on tällöin käytössään aika-akseli, ja se pystyy kuvaamaan vauhtia, ei pelkkää kuilua.
def analyze_evolution(chronological_images, context=""):
"""Analyzes visible evolution across a series of ordered images."""
content = [
{
"type": "text",
"text": f"Here are {len(chronological_images)} images taken at different times, in chronological order. {context}"
}
]
for i, (date, path) in enumerate(chronological_images):
content.append({"type": "text", "text": f"Image {i+1} ({date}):"})
content.append({"type": "image_url", "image_url": encode_image(path)})
content.append({
"type": "text",
"text": "Describe the evolution observed between each step. Identify major changes and the general trend."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": content}]
)
return response.choices[0].message.content
# Construction site tracking
images = [
("2025-01", "site/jan-2025.jpg"),
("2025-06", "site/jun-2025.jpg"),
("2026-01", "site/jan-2026.jpg"),
]
evolution = analyze_evolution(images, context="Tracking a construction site.")
print(evolution)
Lopullinen kysymys lisätään vasta kaikkien kuvien jälkeen, kun koko aineisto on aseteltu.
Käyttöliittymien vertailu
Web-kehitys tarjoaa välittömän käyttötavan: hyväksytyn mallikuvan confrontointi todellisen renderöinnin kanssa. Missä pikselipohjainen regressiotesti epäonnistuu yhden merkityksettömän pikselin siirtymän vuoksi, malli luokittelee kunkin poikkeaman vaikutuksen.
def compare_interfaces(expected_screenshot, actual_screenshot):
"""Compares two interface screenshots to detect visual regressions."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a QA tester specializing in visual testing of web interfaces."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Expected design (mockup):"},
{"type": "image_url", "image_url": encode_image(expected_screenshot)},
{"type": "text", "text": "Current render (screenshot):"},
{"type": "image_url", "image_url": encode_image(actual_screenshot)},
{
"type": "text",
"text": """Compare and return:
{
"pixel_perfect": true/false,
"differences": [
{"element": "...", "expected": "...", "actual": "...", "impact": "minor/moderate/major"}
],
"fidelity_score": 0-100,
"verdict": "compliant/minor_adjustments/regression"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
Kytkettynä jatkuvaan integraatioputkeesi tämä tarkistus estää toimituksen vain, jos tuomio on regression.
Vertailun parhaat käytännöt
Näissä esimerkeissä on yhteisiä periaatteita, jotka kannattaa tehdä explicitiksi. Nimeä kuvasi aina lomitetulla tunnisteella – “Reference”, “Sample”, “Before”, “After” – sillä ilman sitä malli määrittää roolit järjestyksen satunnaisuuden perusteella. Varmista kuvausten vertailukelpoisuus: eri kulmista ja valaistuksessa otetuissa kuvissa malli ilmoittaa poikkeamista, jotka johtuvat vain kuvausolosuhteista. Käytä Mistral Large 3:ta, koska vertailu vaatii hienojakoista päättelykykyä, jota pienemmät mallit eivät aina hallitse. Rajoita yhden pyynnön kuvat kahteen tai kolmeen; tätä enemmän vertailutarkkuus heikkenee. Ja pyydä systemaattisesti jäsenneltyä muotoa, jossa on pisteytys, listatut erot ja tuomio, jos tulosta pitää käsitellä automaattisesti.
Keskeiset asiat
- Kuvien vertailu hyödyntää API:n usean kuvan käsittelykykyä
- Lomita selittävä teksti kuvien väliin niiden roolien selventämiseksi
- JSON-tila (
response_format) on ihanteellinen automatisoituihin vertailuraportteihin - Tärkeimmät käyttötavat: laadunvalvonta, työmaaseuranta, visuaalinen QA, ennen/jälkeen
- Käytä aina Mistral Large 3:ta vaativiin vertailutehtäviin