Palyginkite vaizdus naudodami Vision API
Šiame puslapyje
Vaizdinė lyginamoji analizė
Vaizdų palyginimas – tai galingas naudojimo atvejis, išnaudojantis galimybę apdoroti kelis vaizdus vienu metu, apie kurią kalbėjome 6 pamokoje. Klausimas keičiasi iš „Ką rodo šis vaizdas?“ į „Kas pasikeitė?“ – operacija, kurią semantinis modelis atlieka visiškai kitaip nei pikselių lyginimo įrankis. Kol pikselių skirtumas tik signalizuoja apie nukrypimą jo neįvertindamas, modelis gali konstatuoti, kad etiketė pasislinko dviem milimetrais, o logotipas dingo, ir tada įvertinti, kuris iš šių pokyčių yra svarbesnis.
Kokybės kontrolė, evoliucijos stebėjimas, vizualių regresijų aptikimas: šioje pamokoje parodysime, kaip suformuluoti lyginimo užklausas ir kaip panaudoti gautus rezultatus.
Prieš ir po palyginimas
Dažniausias scenarijus – patikrinti, kas pasikeitė tarp dviejų būsenų. Sistemos žinutė apibrėžia lyginimo metodiką, o naudotojo žinutė nurodo vaizdus:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": """You are an expert in comparative image analysis. When presented with two images:
1. Briefly describe each image
2. List identified differences (with location)
3. Assess the significance of each difference (minor/major)
4. Provide an overall similarity score (0-100%)"""
},
{
"role": "user",
"content": [
{"type": "text", "text": "BEFORE Image (reference):"},
{"type": "image_url", "image_url": "https://exemple.com/avant.jpg"},
{"type": "text", "text": "AFTER Image (current state):"},
{"type": "image_url", "image_url": "https://exemple.com/apres.jpg"},
{"type": "text", "text": "Identify all differences between these two images."}
]
}
]
)
print(response.choices[0].message.content)
Teksto („BEFORE Image“, „AFTER Image“) įterpimas tarp vaizdų padeda modeliui suprasti kiekvieno vaizdo vaidmenį. Trečiasis sistemos užklausos žingsnis yra tas, kuris daro ataskaitą veiksminga: be prioritetų nustatymo gautumėte sąrašą, kuriame šešėlio pokytis svertų tiek pat, kiek ir trūkstama detalė.
Produkto kokybės kontrolė
Proceso pabaigoje šią ataskaitą turi skaityti programa, o ne žmogus. Todėl deriname palyginimą su JSON režimu, aptartu 9 pamokoje: modelis grąžina verdiktą, įvertinimą ir kvalifikuotų defektų sąrašą, kurį kodas gali iškart panaudoti.
import base64
import json
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/jpeg;base64,{b64}"
def quality_control(reference_image, sample_image):
"""Compares a sample to its reference and detects defects."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a quality inspector. Compare the sample to the reference and return a JSON report."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Reference (compliant product):"},
{"type": "image_url", "image_url": encode_image(reference_image)},
{"type": "text", "text": "Sample to inspect:"},
{"type": "image_url", "image_url": encode_image(sample_image)},
{
"type": "text",
"text": """Compare and return:
{
"compliant": true/false,
"compliance_score": 0-100,
"defects": [
{"description": "...", "severity": "minor/major/critical", "location": "..."}
],
"recommendation": "accept/review/reject"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
# Usage
result = quality_control("reference/product-ok.jpg", "batch-42/sample-7.jpg")
if result["compliant"]:
print(f"COMPLIANT - Score: {result['compliance_score']}%")
else:
print(f"NON-COMPLIANT - {len(result['defects'])} defect(s) detected")
for defect in result["defects"]:
print(f" - [{defect['severity']}] {defect['description']}")
Laukas recommendation yra svarbesnis, nei gali atrodyti iš pirmo žvilgsnio: atskirdamas „review“ (peržiūrėti) nuo „reject“ (atmesti), jis palieka žmogaus įsikišimą tik dviprasmiškais atvejais, užuot reikalavęs jo visur arba niekur.
Evoliucijos stebėjimas laike
Laiko eilutė – statybvietė, augalų augimas, konstrukcijos degradacija – traktuojama kaip išplėstas palyginimas, su sąlyga, kad kiekvienas vaizdas pažymimas data. Tuomet modelis gauna laiko ašį ir gali įvertinti ne tik skirtumą, bet ir pokyčių tempą.
def analyze_evolution(chronological_images, context=""):
"""Analyzes visible evolution across a series of ordered images."""
content = [
{
"type": "text",
"text": f"Here are {len(chronological_images)} images taken at different times, in chronological order. {context}"
}
]
for i, (date, path) in enumerate(chronological_images):
content.append({"type": "text", "text": f"Image {i+1} ({date}):"})
content.append({"type": "image_url", "image_url": encode_image(path)})
content.append({
"type": "text",
"text": "Describe the evolution observed between each step. Identify major changes and the general trend."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": content}]
)
return response.choices[0].message.content
# Construction site tracking
images = [
("2025-01", "site/jan-2025.jpg"),
("2025-06", "site/jun-2025.jpg"),
("2026-01", "site/jan-2026.jpg"),
]
evolution = analyze_evolution(images, context="Tracking a construction site.")
print(evolution)
Galutinis klausimas pateikiamas tik po visų vaizdų, kai jau išdėstytas visas failas.
Vartotojo sąsajų palyginimas
Žiniatinklio kūrimas siūlo akivaizdų naudojimo atvejį: patvirtinto maketo palyginimas su realiai sugeneruotu vaizdu. Kol pikselių regresijos testas nepavyksta dėl vieno pikselio poslinkio, neturinčio jokios reikšmės, modelis įvertina kiekvieno neatitikimo poveikį.
def compare_interfaces(expected_screenshot, actual_screenshot):
"""Compares two interface screenshots to detect visual regressions."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a QA tester specializing in visual testing of web interfaces."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Expected design (mockup):"},
{"type": "image_url", "image_url": encode_image(expected_screenshot)},
{"type": "text", "text": "Current render (screenshot):"},
{"type": "image_url", "image_url": encode_image(actual_screenshot)},
{
"type": "text",
"text": """Compare and return:
{
"pixel_perfect": true/false,
"differences": [
{"element": "...", "expected": "...", "actual": "...", "impact": "minor/moderate/major"}
],
"fidelity_score": 0-100,
"verdict": "compliant/minor_adjustments/regression"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
Integruotas į nuolatinio integravimo (CI) procesą, šis patikrinimas blokuoja tiekimą tik gavus regression verdiktą.
Palyginimo geriausios praktikos
Šie pavyzdžiai remiasi keliais principais, kuriuos verta išryškinti. Visada suteikite vaizdams pavadinimus su įterptomis etiketėmis – „Reference“, „Sample“, „Before“, „After“ – nes be jų modelis priskirs vaidmenis atsitiktine tvarka. Užtikrinkite kadrų palyginamumą: esant skirtingiems kampams ir apšvietimui, modelis signalizuos neatitikimus, kylančius tik iš fotografavimo sąlygų. Naudokite Mistral Large 3, nes palyginimui reikia smulkmeniško samprotavimo, kurio mažesni modeliai ne visada valdo. Apribokite save dviem ar trimis vaizdais viename kvietime; viršijus šį skaičių, palyginimo tikslumas sumažėja. Ir sistemingai prašykite struktūruoto formato su įvertinimu, išvardintais skirtumais bei verdiktu, jei rezultatą reikia automatiškai apdoroti.
Svarbiausi punktai
- Vaizdų palyginimas išnaudoja API galimybę apdoroti kelis vaizdus vienu metu
- Įterpkite paaiškinamąjį tekstą tarp vaizdų, kad būtų aiškūs jų vaidmenys
- JSON režimas (
response_format) idealiai tinka automatizuotoms palyginimo ataskaitoms - Pagrindiniai naudojimo atvejai: kokybės kontrolė, objektų stebėjimas, vizualus testavimas, prieš ir po
- Reikliems palyginimo uždaviniams visada naudokite Mistral Large 3