Confrontare immagini con la Vision API
In questa pagina
Analisi comparativa visiva
Il confronto tra immagini è un caso d’uso potente che sfrutta la capacità multi-immagine trattata nella Lezione 6. La domanda passa da «Cosa mostra questa immagine?» a «Cosa è cambiato?»: un’operazione che un modello semantico gestisce in modo fondamentalmente diverso rispetto a un comparatore di pixel. Mentre una differenza di pixel segnala una divergenza senza qualificarla, il modello può affermare che un’etichetta si è spostata di due millimetri e che un logo è scomparso, per poi giudicare quale delle due cose conta davvero.
Controllo qualità, monitoraggio dell’evoluzione, rilevamento di regressioni visive: questa lezione ti mostra come strutturare i prompt di confronto e sfruttare i risultati.
Confronto Prima/Dopo
Lo scenario più comune consiste nel verificare cosa è cambiato tra due stati. Il messaggio di sistema definisce il metodo di confronto, mentre il messaggio utente identifica le immagini:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": """You are an expert in comparative image analysis. When presented with two images:
1. Briefly describe each image
2. List identified differences (with location)
3. Assess the significance of each difference (minor/major)
4. Provide an overall similarity score (0-100%)"""
},
{
"role": "user",
"content": [
{"type": "text", "text": "BEFORE Image (reference):"},
{"type": "image_url", "image_url": "https://exemple.com/avant.jpg"},
{"type": "text", "text": "AFTER Image (current state):"},
{"type": "image_url", "image_url": "https://exemple.com/apres.jpg"},
{"type": "text", "text": "Identify all differences between these two images."}
]
}
]
)
print(response.choices[0].message.content)
Intercalare del testo («BEFORE Image», «AFTER Image») aiuta il modello a identificare il ruolo di ciascuna immagine. Il terzo passo nel prompt di sistema è ciò che rende il report utilizzabile: senza una priorizzazione, ricevi una lista in cui un cambiamento d’ombra pesa quanto una parte mancante.
Controllo qualità del prodotto
Alla fine della pipeline, questo report deve essere letto da un programma, non da un umano. Combiniamo quindi il confronto con la modalità JSON della Lezione 9: il modello restituisce un verdetto, un punteggio e una lista di difetti qualificati che il codice può sfruttare immediatamente.
import base64
import json
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/jpeg;base64,{b64}"
def quality_control(reference_image, sample_image):
"""Compares a sample to its reference and detects defects."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a quality inspector. Compare the sample to the reference and return a JSON report."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Reference (compliant product):"},
{"type": "image_url", "image_url": encode_image(reference_image)},
{"type": "text", "text": "Sample to inspect:"},
{"type": "image_url", "image_url": encode_image(sample_image)},
{
"type": "text",
"text": """Compare and return:
{
"compliant": true/false,
"compliance_score": 0-100,
"defects": [
{"description": "...", "severity": "minor/major/critical", "location": "..."}
],
"recommendation": "accept/review/reject"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
# Usage
result = quality_control("reference/product-ok.jpg", "batch-42/sample-7.jpg")
if result["compliant"]:
print(f"COMPLIANT - Score: {result['compliance_score']}%")
else:
print(f"NON-COMPLIANT - {len(result['defects'])} defect(s) detected")
for defect in result["defects"]:
print(f" - [{defect['severity']}] {defect['description']}")
Il campo recommendation è più interessante di quanto sembri: distinguendo «review» da «reject», riserva l’intervento umano ai casi ambigui invece di imporlo ovunque o da nessuna parte.
Monitoraggio dell’evoluzione nel tempo
Una serie temporale—cantiere edile, crescita delle colture, degrado strutturale—viene trattata come un confronto esteso, a patto di etichettare ogni immagine con la sua data. Il modello dispone così dell’asse temporale e può qualificare un ritmo, non solo un divario.
def analyze_evolution(chronological_images, context=""):
"""Analyzes visible evolution across a series of ordered images."""
content = [
{
"type": "text",
"text": f"Here are {len(chronological_images)} images taken at different times, in chronological order. {context}"
}
]
for i, (date, path) in enumerate(chronological_images):
content.append({"type": "text", "text": f"Image {i+1} ({date}):"})
content.append({"type": "image_url", "image_url": encode_image(path)})
content.append({
"type": "text",
"text": "Describe the evolution observed between each step. Identify major changes and the general trend."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": content}]
)
return response.choices[0].message.content
# Construction site tracking
images = [
("2025-01", "site/jan-2025.jpg"),
("2025-06", "site/jun-2025.jpg"),
("2026-01", "site/jan-2026.jpg"),
]
evolution = analyze_evolution(images, context="Tracking a construction site.")
print(evolution)
La domanda finale viene aggiunta solo dopo tutte le immagini, una volta disposto l’intero file.
Confronto tra interfacce utente
Lo sviluppo web offre un caso d’uso immediato: confrontare il mockup approvato con il rendering effettivamente prodotto. Mentre un test di regressione pixel-perfect fallisce su uno spostamento di un pixel privo di importanza, il modello qualifica l’impatto di ogni discrepanza.
def compare_interfaces(expected_screenshot, actual_screenshot):
"""Compares two interface screenshots to detect visual regressions."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a QA tester specializing in visual testing of web interfaces."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Expected design (mockup):"},
{"type": "image_url", "image_url": encode_image(expected_screenshot)},
{"type": "text", "text": "Current render (screenshot):"},
{"type": "image_url", "image_url": encode_image(actual_screenshot)},
{
"type": "text",
"text": """Compare and return:
{
"pixel_perfect": true/false,
"differences": [
{"element": "...", "expected": "...", "actual": "...", "impact": "minor/moderate/major"}
],
"fidelity_score": 0-100,
"verdict": "compliant/minor_adjustments/regression"
}"""
}
]
}
]
)
return json.loads(response.choices[0].message.content)
Integrato nella tua pipeline di integrazione continua, questo controllo blocca la consegna solo in caso di verdetto regression.
Migliori pratiche per il confronto
Questi esempi condividono alcuni principi che vale la pena esplicitare. Nomina sempre le tue immagini con un’etichetta intercalata—«Reference», «Sample», «Before», «After»—perché senza di essa il modello assegna i ruoli basandosi sulla casualità dell’ordine. Assicurati la comparabilità degli scatti: con angolazioni e illuminazioni diverse, il modello segnalerà discrepanze dovute solo alle condizioni di ripresa. Usa Mistral Large 3, perché il confronto mobilita un ragionamento a grana fine che i modelli più piccoli non sempre padroneggiano. Limitati a due o tre immagini per chiamata; oltre, la precisione comparativa si diluisce. E richiedi sistematicamente un formato strutturato, con un punteggio, le differenze elencate e un verdetto, se il risultato deve essere elaborato automaticamente.
Punti chiave
- Il confronto tra immagini sfrutta la capacità multi-immagine dell’API
- Intercala testo esplicativo tra le immagini per chiarirne i ruoli
- La modalità JSON (
response_format) è ideale per i report di confronto automatizzati - Casi d’uso principali: controllo qualità, monitoraggio cantieri, QA visivo, prima/dopo
- Usa sempre Mistral Large 3 per compiti di confronto impegnativi