Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Képek összehasonlítása a Vision API-val

10. lecke 12 közül Frissítve 2026. november 2. Fejlesztő
Ezen az oldalon
  1. Vizuális összehasonlító elemzés
  2. Előtte/Utána összehasonlítás
  3. Termékminőség-ellenőrzés
  4. Fejlődés nyomon követése időben
  5. Felhasználói felületek összehasonlítása
  6. Az összehasonlítás legjobb gyakorlatai
  7. Főbb megállapítások

Vizuális összehasonlító elemzés

A képek összehasonlítása egy erőteljes felhasználási eset, amely kiaknázza a 6. leckében tárgyalt többképes funkciót. A kérdés megváltozik: nem azt kérdezzük, hogy „Mit mutat ez a kép?“, hanem azt, hogy „Mi változott?“ – egy olyan művelet, amelyet a szemantikai modell alapvetően másképp kezel, mint egy képpont-összehasonlító. Míg a képpont-különbség minősítés nélkül jelez eltérést, addig a modell képes kijelenteni, hogy egy címke két millimétert eltolódott és egy logó eltűnt, majd megítélni, hogy a kettő közül melyik számít.

Minőségellenőrzés, fejlődés nyomon követése, vizuális regresszió észlelése: ez a lecke bemutatja, hogyan strukturáld az összehasonlító promptokat és hogyan hasznosítsd az eredményeket.

Előtte/Utána összehasonlítás

A leggyakoribb forgatókönyv annak ellenőrzése, hogy mi változott két állapot között. A rendszerüzenet határozza meg az összehasonlítás módszerét, míg a felhasználói üzenet azonosítja a képeket:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": """You are an expert in comparative image analysis. When presented with two images:
1. Briefly describe each image
2. List identified differences (with location)
3. Assess the significance of each difference (minor/major)
4. Provide an overall similarity score (0-100%)"""
        },
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "BEFORE Image (reference):"},
                {"type": "image_url", "image_url": "https://exemple.com/avant.jpg"},
                {"type": "text", "text": "AFTER Image (current state):"},
                {"type": "image_url", "image_url": "https://exemple.com/apres.jpg"},
                {"type": "text", "text": "Identify all differences between these two images."}
            ]
        }
    ]
)

print(response.choices[0].message.content)

A szöveg beékelése („BEFORE Image“, „AFTER Image“) segít a modellnek azonosítani az egyes képek szerepét. A rendszerprompt harmadik lépése teszi cselekvőképessé a jelentést: prioritások nélkül egy olyan listát kapsz, ahol egy árnyékváltozás ugyanannyit nyom a latban, mint egy hiányzó alkatrész.

Termékminőség-ellenőrzés

A folyamat végén ezt a jelentést nem embernek, hanem egy programnak kell olvasnia. Ezért kombináljuk az összehasonlítást a 9. leckéből ismert JSON móddal: a modell egy ítéletet, egy pontszámot és egy minősített hibák listáját adja vissza, amelyet a kód azonnal fel tud használni.

import base64
import json

def encode_image(path):
    with open(path, "rb") as f:
        b64 = base64.standard_b64encode(f.read()).decode("utf-8")
    return f"data:image/jpeg;base64,{b64}"

def quality_control(reference_image, sample_image):
    """Compares a sample to its reference and detects defects."""
    response = client.chat.complete(
        model="mistral-large-latest",
        response_format={"type": "json_object"},
        messages=[
            {
                "role": "system",
                "content": "You are a quality inspector. Compare the sample to the reference and return a JSON report."
            },
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": "Reference (compliant product):"},
                    {"type": "image_url", "image_url": encode_image(reference_image)},
                    {"type": "text", "text": "Sample to inspect:"},
                    {"type": "image_url", "image_url": encode_image(sample_image)},
                    {
                        "type": "text",
                        "text": """Compare and return:
{
  "compliant": true/false,
  "compliance_score": 0-100,
  "defects": [
    {"description": "...", "severity": "minor/major/critical", "location": "..."}
  ],
  "recommendation": "accept/review/reject"
}"""
                    }
                ]
            }
        ]
    )

    return json.loads(response.choices[0].message.content)

# Usage
result = quality_control("reference/product-ok.jpg", "batch-42/sample-7.jpg")

if result["compliant"]:
    print(f"COMPLIANT - Score: {result['compliance_score']}%")
else:
    print(f"NON-COMPLIANT - {len(result['defects'])} defect(s) detected")
    for defect in result["defects"]:
        print(f"  - [{defect['severity']}] {defect['description']}")

A recommendation mező érdekesebb, mint elsőre tűnik: a „review“ (felülvizsgálat) és a „reject“ (elutasítás) megkülönböztetésével az emberi beavatkozást csak az ambiguus esetekre tartja fenn, ahelyett, hogy mindenhol vagy sehol nem kényszerítené ki.

Fejlődés nyomon követése időben

Egy idősor – építkezési terület, növények növekedése, szerkezetek romlása – kiterjesztett összehasonlításként kezelendő, feltéve, hogy minden képet ellátsz a dátumával. A modell így rendelkezik az időbeli tengellyel, és képes minősíteni a tempót, nem csupán a rést.

def analyze_evolution(chronological_images, context=""):
    """Analyzes visible evolution across a series of ordered images."""
    content = [
        {
            "type": "text",
            "text": f"Here are {len(chronological_images)} images taken at different times, in chronological order. {context}"
        }
    ]

    for i, (date, path) in enumerate(chronological_images):
        content.append({"type": "text", "text": f"Image {i+1} ({date}):"})
        content.append({"type": "image_url", "image_url": encode_image(path)})

    content.append({
        "type": "text",
        "text": "Describe the evolution observed between each step. Identify major changes and the general trend."
    })

    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": content}]
    )

    return response.choices[0].message.content

# Construction site tracking
images = [
    ("2025-01", "site/jan-2025.jpg"),
    ("2025-06", "site/jun-2025.jpg"),
    ("2026-01", "site/jan-2026.jpg"),
]

evolution = analyze_evolution(images, context="Tracking a construction site.")
print(evolution)

A záró kérdést csak az összes kép után adjuk hozzá, miután a teljes fájlt felépítettük.

Felhasználói felületek összehasonlítása

A webfejlesztés azonnali felhasználási esetet kínál: a jóváhagyott makett szembeállítása a ténylegesen előállított renderrel. Míg egy képpont-alapú regressziós teszt elbukik egy jelentéktelen, egy képpontos eltolódáson, addig a modell minősíti az egyes eltérések hatását.

def compare_interfaces(expected_screenshot, actual_screenshot):
    """Compares two interface screenshots to detect visual regressions."""
    response = client.chat.complete(
        model="mistral-large-latest",
        response_format={"type": "json_object"},
        messages=[
            {
                "role": "system",
                "content": "You are a QA tester specializing in visual testing of web interfaces."
            },
            {
                "role": "user",
                "content": [
                    {"type": "text", "text": "Expected design (mockup):"},
                    {"type": "image_url", "image_url": encode_image(expected_screenshot)},
                    {"type": "text", "text": "Current render (screenshot):"},
                    {"type": "image_url", "image_url": encode_image(actual_screenshot)},
                    {
                        "type": "text",
                        "text": """Compare and return:
{
  "pixel_perfect": true/false,
  "differences": [
    {"element": "...", "expected": "...", "actual": "...", "impact": "minor/moderate/major"}
  ],
  "fidelity_score": 0-100,
  "verdict": "compliant/minor_adjustments/regression"
}"""
                    }
                ]
            }
        ]
    )

    return json.loads(response.choices[0].message.content)

Ha beilleszted ezt a folyamatos integrációs (CI) pipeline-odba, ez az ellenőrzés csak regression ítélet esetén blokkolja a kézbesítést.

Az összehasonlítás legjobb gyakorlatai

Ezek a példák néhány alapelvet osztanak meg, amelyeket érdemes explicit módon is rögzíteni. Mindig nevezd el a képeidet beékelt címkékkel – „Reference“, „Sample“, „Before“, „After“ –, mert nélkülük a modell a véletlenszerű sorrend alapján osztja ki a szerepeket. Biztosítsd a felvételek összehasonlíthatóságát: különböző szögekből és fényviszonyok között készült képeknél a modell olyan eltéréseket jelez, amelyek kizárólag a fotózási körülményekből adódnak. Használd a Mistral Large 3 modellt, mert az összehasonlítás finom szemcséjű következtetést igényel, amelyet a kisebb modellek nem mindig sajátítanak el. Korlátozd magad hívásonként két-három képre; ennél több esetén az összehasonlító pontosság felhígul. És szisztematikusan kérj strukturált formátumot pontszámmal, felsorolt eltérésekkel és ítélettel, ha az eredményt automatikusan fel kell dolgozni.

Főbb megállapítások

  • A képek összehasonlítása kiaknázza az API többképes képességét
  • Ékelj magyarázó szöveget a képek közé a szerepeik tisztázása érdekében
  • A JSON mód (response_format) ideális az automatizált összehasonlító jelentésekhez
  • Elsődleges felhasználási területek: minőségellenőrzés, helyszín követése, vizuális QA, előtte/utána
  • Mindig a Mistral Large 3 modellt használd a igényes összehasonlítási feladatokhoz