Salīdzini attēlus, izmantojot Vision API
Šajā lapā
Vizuālā salīdzinošā analīze
Attēlu salīdzināšana ir spēcīgs lietojums, kas izmanto vairāku attēlu apstrādes iespēju, ko aplūkojām 6. nodarbībā. Jautājums mainās no „Ko šis attēls rāda?” uz „Kas ir mainījies?” – darbība, ko semantiskais modelis veic fundamentāli citādāk nekā pikseļu salīdzinātājs. Kamēr pikseļu atšķirība signalizē novirzi, to nekvalificējot, modelis spēj konstatēt, ka etiķete nobīdījusies par diviem milimetriem un logo ir pazudis, un pēc tam novērtēt, kurš no šiem faktiem ir svarīgāks.
Kvalitātes kontrole, evolūcijas izsekošana, vizuālās regresijas noteikšana: šajā nodarbībā tu uzzināsi, kā strukturēt salīdzināšanas pieprasījumus un izmantot iegūtos rezultātus.
Salīdzinājums „Pirms/Pēc”
Visizplatītākais scenārijs ir pārbaudīt, kas ir mainījies starp diviem stāvokļiem. Sistēmas ziņojums definē salīdzināšanas metodi, bet lietotāja ziņojums identificē attēlus:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": """You are an expert in comparative image analysis. When presented with two images:
1. Briefly describe each image
2. List identified differences (with location)
3. Assess the significance of each difference (minor/major)
4. Provide an overall similarity score (0-100%)"""
},
{
"role": "user",
"content": [
{"type": "text", "text": "BEFORE Image (reference):"},
{"type": "image_url", "image_url": "https://exemple.com/avant.jpg"},
{"type": "text", "text": "AFTER Image (current state):"},
{"type": "image_url", "image_url": "https://exemple.com/apres.jpg"},
{"type": "text", "text": "Identify all differences between these two images."}
]
}
]
)
print(response.choices[0].message.content)
Teksta ievietošana starp attēliem („BEFORE Image”, „AFTER Image”) palīdz modelim identificēt katra attēla lomu. Trešais solis sistēmas pieprasījumā ir tas, kas padara ziņojumu izmantojamu: bez prioritāšu noteikšanas tu saņemsi sarakstu, kurā ēnas izmaiņām ir tāds pats svars kā trūkstošai detaļai.
Produktu kvalitātes kontrole
Procesa beigās šo ziņojumu ir jālasa programmai, nevis cilvēkam. Tāpēc mēs apvienojam salīdzināšanu ar JSON režīmu no 9. nodarbības: modelis atgriež spriedumu, vērtējumu un kvalificētu defektu sarakstu, ko kods var nekavējoties izmantot.
import base64
import json
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/jpeg;base64,{b64}"
def quality_control(reference_image, sample_image):
"""Compares a sample to its reference and detects defects."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a quality inspector. Compare the sample to the reference and return a JSON report."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Reference (compliant product):"},
{"type": "image_url", "image_url": encode_image(reference_image)},
{"type": "text", "text": "Sample to inspect:"},
{"type": "image_url", "image_url": encode_image(sample_image)},
{
"type": "text",
"text": """Compare and return:
{
"compliant": true/false,
"compliance_score": 0-100,
"defects": [
{"description": "...", "severity": "minor/major/critical", "location": "..."}
],
"recommendation": "accept/review/reject"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
# Usage
result = quality_control("reference/product-ok.jpg", "batch-42/sample-7.jpg")
if result["compliant"]:
print(f"COMPLIANT - Score: {result['compliance_score']}%")
else:
print(f"NON-COMPLIANT - {len(result['defects'])} defect(s) detected")
for defect in result["defects"]:
print(f" - [{defect['severity']}] {defect['description']}")
Lauks recommendation ir interesantāks, nekā šķiet: atšķirot „review” (pārskatīt) no „reject” (noraidīt), tas rezervē cilvēka iejaukšanos neskaidriem gadījumiem, nevis uzspiež to visur vai nekur.
Evolūcijas izsekošana laika gaitā
Laika rindu – būvlaukums, augu augšana, konstrukciju degradācija – uzskata par paplašinātu salīdzinājumu, ja katru attēlu apzīmē ar tā datumu. Tad modelim ir laika ass, un tas spēj kvalificēt tempu, nevis tikai atstarpi.
def analyze_evolution(chronological_images, context=""):
"""Analyzes visible evolution across a series of ordered images."""
content = [
{
"type": "text",
"text": f"Here are {len(chronological_images)} images taken at different times, in chronological order. {context}"
}
]
for i, (date, path) in enumerate(chronological_images):
content.append({"type": "text", "text": f"Image {i+1} ({date}):"})
content.append({"type": "image_url", "image_url": encode_image(path)})
content.append({
"type": "text",
"text": "Describe the evolution observed between each step. Identify major changes and the general trend."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": content}]
)
return response.choices[0].message.content
# Construction site tracking
images = [
("2025-01", "site/jan-2025.jpg"),
("2025-06", "site/jun-2025.jpg"),
("2026-01", "site/jan-2026.jpg"),
]
evolution = analyze_evolution(images, context="Tracking a construction site.")
print(evolution)
Noslēdzošais jautājums tiek pievienots tikai pēc visu attēlu ievietošanas, kad viss fails ir sagatavots.
Lietotāja saskarņu salīdzināšana
Tīmekļa izstrāde piedāvā tūlītēju lietojumu: apstiprinātā maketa salīdzināšana ar faktiski ģenerēto attēlojumu. Tur, kur pikseļu regresijas tests neizdodas viena pikseļa nobīdes dēļ, kam nav nozīmes, modelis kvalificē katras neatbilstības ietekmi.
def compare_interfaces(expected_screenshot, actual_screenshot):
"""Compares two interface screenshots to detect visual regressions."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a QA tester specializing in visual testing of web interfaces."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Expected design (mockup):"},
{"type": "image_url", "image_url": encode_image(expected_screenshot)},
{"type": "text", "text": "Current render (screenshot):"},
{"type": "image_url", "image_url": encode_image(actual_screenshot)},
{
"type": "text",
"text": """Compare and return:
{
"pixel_perfect": true/false,
"differences": [
{"element": "...", "expected": "...", "actual": "...", "impact": "minor/moderate/major"}
],
"fidelity_score": 0-100,
"verdict": "compliant/minor_adjustments/regression"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
Ievietots tavā nepārtrauktās integrācijas (CI) procesā, šis pārbaudes mehānisms bloķē piegādi tikai tad, ja saņemts regression spriedums.
Salīdzināšanas labākā prakse
Šiem piemēriem ir kopīgi daži principi, ko ir vērts izcelt. Vienmēr nosauc savus attēlus, izmantojot starpliktu etiķeti – „Reference”, „Sample”, „Before”, „After” –, jo bez tās modelis piešķir lomas, balstoties uz nejaušu secību. Nodrošini uzņēmumu salīdzināmību: dažādos leņķos un apgaismojumā modelis signalizēs neatbilstības, kas izriet tikai no fotoapstākļiem. Izmanto Mistral Large 3, jo salīdzināšana mobilizē smalku argumentāciju, ko mazāki modeļi ne vienmēr pārvalda. Aprobežojies ar diviem vai trim attēliem vienā izsaukumā; pārsniedzot šo robežu, salīdzinošā precizitāte samazinās. Un sistemātiski pieprasi strukturētu formātu ar vērtējumu, uzskaitītām atšķirībām un spriedumu, ja rezultāts ir jāapstrādā automātiski.
Galvenās atziņas
- Attēlu salīdzināšana izmanto API vairāku attēlu apstrādes iespēju
- Ievieto skaidrojošu tekstu starp attēliem, lai precizētu to lomas
- JSON režīms (
response_format) ir ideāls automatizētiem salīdzināšanas ziņojumiem - Galvenie lietojumi: kvalitātes kontrole, objektu izsekošana, vizuālā QA, salīdzinājums „pirms/pēc”
- Prasīgiem salīdzināšanas uzdevumiem vienmēr izmanto Mistral Large 3