Slanje više slika u jednoj poruci
Na ovoj stranici
Istovremena analiza više slika
Mistralov Vision API nije ograničen na jednu sliku po poruci. U jednom pozivu možeš poslati više slika kako bi zatražio od modela da ih usporedi, sintetizira ili analizira zajedno. Razlika između ovoga i dva odvojena poziva ključna je: u jednom pozivu model vidi obje slike istovremeno i može razmišljati o njihovim međusobnim odnosima – nešto što nikakvo zbrajanje pojedinačnih odgovora ne bi moglo postići.
Ova mogućnost otvara slučajeve uporabe gdje se pitanje fokusira na razliku, a ne na sadržaj: usporedbe prije i poslije, analize nizova dokumenata ili vizualne provjere usklađenosti.
Struktura poruke s više slika
Načelo je jednostavno: dodaj više elemenata image_url u polje content:
message = {
"role": "user",
"content": [
{"type": "text", "text": "Usporedi ove dvije slike i opiši razlike."},
{"type": "image_url", "image_url": "https://example.com/image1.jpg"},
{"type": "image_url", "image_url": "https://example.com/image2.jpg"}
]
}
Homogenost nije obavezna: u istoj poruci možeš miješati slike putem URL-a i Base64 formata. To je uobičajeno kada trebaš usporediti referentnu sliku s hostiranog izvora sa svježe generiranom lokalnom datotekom.
Primjer: Usporedba dviju slika
Zamisli inspekciju pri prijemu robe u skladište. Uspoređuješ referentnu fotografiju ispravnog proizvoda s fotografijom primljenog uzorka, koristeći sistemski upit koji definira ulogu inspektora:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Ti si stručnjak za kontrolu kvalitete. Precizno usporedi priložene slike."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Ovo su dvije fotografije istog proizvoda. Prva je referenca, druga je primljeni uzorak. Identificiraj sve razlike."
},
{"type": "image_url", "image_url": "https://example.com/reference.jpg"},
{"type": "image_url", "image_url": "https://example.com/sample.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Tekst eksplicitno navodi redoslijed – „prva je referenca“ – jer model to ne može pogoditi sam.
Izmjenjivanje teksta i slika
Ovaj pristup temeljen na redoslijedu brzo doseže svoja ograničenja kod više od dvije slike. Robusnija metoda je označavanje svake slike neposredno prije njenog slanja, izmjenjujući elemente text i image_url:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Ovo je izvorni arhitektonski plan:"},
{"type": "image_url", "image_url": "https://example.com/plan-original.png"},
{"type": "text", "text": "A ovo je fotografija izgrađene zgrade:"},
{"type": "image_url", "image_url": "https://example.com/photo-batiment.jpg"},
{"type": "text", "text": "Odgovara li zgrada planu? Nabroji odstupanja."}
]
}
]
)
Svaka slika sada ima vlastitu oznaku, a konačno pitanje stiže tek nakon što je sav materijal prezentiran. Ovaj format značajno poboljšava razumijevanje modela: on zna da je plan standard, a fotografija objekt evaluacije. Obrnuti redoslijed rezultirao bi inverznim izvještajem o odstupanjima.
Grupna obrada s Base64 kodiranjem
Za mapu s lokalnim slikama, izgradnja polja content postaje programatska. Sastavljaš listu u petlji, kodirajući svaku datoteku u hodu:
import base64
import os
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
ext = Path(path).suffix.lower()
mime = {"jpg": "jpeg", "jpeg": "jpeg", "png": "png", "webp": "webp"}.get(ext.lstrip("."), "jpeg")
return f"data:image/{mime};base64,{b64}"
# Učitaj sve slike iz mape
folder = Path("captures/")
images = sorted(folder.glob("*.png"))
# Izgradi sadržaj poruke
content = [{"type": "text", "text": f"Analiziraj ovih {len(images)} snimki zaslona i sažmi zajedničke elemente."}]
for img in images[:5]: # Ograniči na max 5 slika
content.append({"type": "image_url", "image_url": encode_image(img)})
response = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": content}]
)
print(response.choices[0].message.content)
Izrez images[:5] sigurnosna je zaštita skripte. Bez njega, mapa koja sadrži dvjesto snimki zaslona otišla bi u cijelosti u jedan poziv – s posljedicama opisanim neposredno u nastavku.
Ograničenja poziva s više slika
Ne postoji strogo dokumentirano ograničenje broja slika, no iznad pet do deset slika kombiniraju se dva efekta: kvaliteta analize opada kako se pažnja modela razrjeđuje preko slika, a troškovi tokena naglo rastu. Prisjeti se redoslijeda veličina iz Lekcije 2: svaka slika troši 800 do 1.500 tokena, pa pet slika već predstavlja 5.000 do 7.500 tokena upita prije nego što tvoje pitanje uopće započne. Ukupni zbroj – slike, tekst i odgovor – mora također stati unutar kontekstnog prozora modela, stropa kojeg skup slika doseže mnogo brže nego tekstualni dokument.
Ova funkcija izračunava trošak prije poziva, a ne nakon njega:
def estimate_multi_image_cost(num_images, tokens_per_image=1000, text_tokens=100, response_tokens=500):
"""Procijeni ukupne tokene za poziv s više slika."""
total_input = (num_images * tokens_per_image) + text_tokens
total = total_input + response_tokens
print(f"Slike: {num_images} x {tokens_per_image} = {num_images * tokens_per_image} tokena")
print(f"Tekst upita: {text_tokens} tokena")
print(f"Procijenjeni odgovor: {response_tokens} tokena")
print(f"Procijenjeni ukupno: {total} tokena")
return total
estimate_multi_image_cost(3)
# Slike: 3 x 1000 = 3000 tokena
# Tekst upita: 100 tokena
# Procijenjeni odgovor: 500 tokena
# Procijenjeni ukupno: 3600 tokena
Strategija za velike količine
Kod više od pet slika, promijeni pristup umjesto da forsiraš daljnje slanje. Postoje tri puta, koja se često kombiniraju. Sekvencijalna analiza obrađuje slike jednu po jednu, a zatim agregira rezultate – trošak ostaje linearan, a preciznost po slici maksimalna. Grupno slanje šalje pakete od tri do pet slika, čuvajući određenu mogućnost usporedbe unutar paketa. Predfiltriranje, naposljetku, koristi lakši model poput Small za odbacivanje nebitnih slika prije prosljeđivanja važnih slučajeva modelu Large.
Prvi put izgleda ovako, s konačnom sintezom koja obrađuje samo tekst:
# Sekvencijalna analiza s agregacijom
results = []
for img_path in images:
response = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Ukratko opiši sadržaj ove slike."},
{"type": "image_url", "image_url": encode_image(img_path)}
]
}]
)
results.append(response.choices[0].message.content)
# Konačna sinteza (samo tekst)
synthesis = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": f"Ovo su opisi {len(results)} slika:\n\n" +
"\n---\n".join(results) +
"\n\nNavedi globalnu sintezu."
}]
)
Trik je u drugom pozivu: on ne sadrži slike, dakle nema vizualnih tokena. Sintetiziraš pedeset slika po cijeni od nekoliko stotina tekstualnih tokena.
Ključne točke
- Možeš poslati više slika u jednoj poruci dodavanjem više elemenata
image_url - Izmjenjuj tekst između slika kako bi modelu pružio kontekst
- Svaka slika dodaje 800–1.500 tokena – procijeni troškove prije poziva
- Kod više od 5 slika, preferiraj sekvencijalnu ili grupnu strategiju
- URL-ovi i Base64 mogu se miješati u istoj poruci