Odoslanie viacerých obrázkov v jednej správe
Na tejto strane
Analýza viacerých obrázkov naraz
Vision API od Mistralu nie je obmedzené len na jeden obrázok na správu. V rámci jedného volania môžeš poslať viacero obrázkov a požiadať model, aby ich porovnal, syntetizoval alebo analyzoval spoločne. Rozdiel oproti dvom samostatným volaniam je kľúčový: pri jednom volaní model vidí oba obrázky súčasne a dokáže uvažovať o ich vzťahoch – čo žiadna agregácia individuálnych odpovedí nedokáže dosiahnuť.
Táto schopnosť otvára dvere použitiám, kde sa otázka zameriava skôr na rozdiel než na obsah: porovnania pred/po, analýza sérií dokumentov alebo vizuálne kontroly zhody.
Štruktúra správy s viacerými obrázkami
Princíp je jednoduchý: do poľa content pridaj viacero položiek image_url:
message = {
"role": "user",
"content": [
{"type": "text", "text": "Porovnaj tieto dva obrázky a popíš rozdiely."},
{"type": "image_url", "image_url": "https://example.com/image1.jpg"},
{"type": "image_url", "image_url": "https://example.com/image2.jpg"}
]
}
Homogenita nie je required: v tej istej správe môžeš miešať obrázky cez URL aj Base64. To je bežné, keď potrebuješ porovnať hostovaný referenčný obrázok s čerstvo vygenerovaným lokálnym súborom.
Príklad: Porovnanie dvoch obrázkov
Predstav si kontrolu príjmu v sklade. Porovnávaš referenčnú fotografiu vyhovujúceho produktu s fotografiou doručenej vzorky, pričom využívaš systémový prompt, ktorý stanovuje rolu inšpektora:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Si expert na kontrolu kvality. Porovnaj poskytnuté obrázky s presnosťou."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Tu sú dve fotky toho istého produktu. Prvá je referenčná, druhá je doručená vzorka. Identifikuj všetky rozdiely."
},
{"type": "image_url", "image_url": "https://example.com/reference.jpg"},
{"type": "image_url", "image_url": "https://example.com/sample.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Text explicitne uvádza poradie – „prvá je referenčná“ – pretože model ho nedokáže uhádnuť.
Striedanie textu a obrázkov
Tento prístup založený na poradí rýchlo narazí na svoje limity pri viac ako dvoch obrázkoch. Robustnejšou metódou je označiť každý obrázok tesne pred jeho poskytnutím striedaním prvkov text a image_url:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Tu je pôvodný architektonický plán:"},
{"type": "image_url", "image_url": "https://example.com/plan-original.png"},
{"type": "text", "text": "A tu je fotografia postavenej budovy:"},
{"type": "image_url", "image_url": "https://example.com/photo-batiment.jpg"},
{"type": "text", "text": "Zodpovedá budova plánu? Vymenuj nezrovnalosti."}
]
}
]
)
Každý obrázok má teraz vlastný popis a záverečná otázka príde až po predložení všetkého materiálu. Tento formát výrazne zlepšuje chápanie modelu: vie, že plán je štandardom a fotografia objektom na vyhodnotenie. Ich prehodenie by viedlo k inverznej správe o nezrovnalostiach.
Dávkové spracovanie s Base64
Pre priečinok s lokálnymi obrázkami sa budovanie obsahu content stáva programatickým. Zoznam zostavíš v cykle a každý súbor zakóduješ za behu:
import base64
import os
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
ext = Path(path).suffix.lower()
mime = {"jpg": "jpeg", "jpeg": "jpeg", "png": "png", "webp": "webp"}.get(ext.lstrip("."), "jpeg")
return f"data:image/{mime};base64,{b64}"
# Načítanie všetkých obrázkov z priečinka
folder = Path("captures/")
images = sorted(folder.glob("*.png"))
# Budovanie obsahu správy
content = [{"type": "text", "text": f"Analyzuj týchto {len(images)} snímok obrazovky a zhrň spoločné prvky."}]
for img in images[:5]: # Obmedzenie na max 5 obrázkov
content.append({"type": "image_url", "image_url": encode_image(img)})
response = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": content}]
)
print(response.choices[0].message.content)
Výrez images[:5] slúži ako bezpečnostná poistka skriptu. Bez neho by sa priečinok obsahujúci dvesto snímok obrazovky celý poslal v jednom volaní – s následkami popísanými nižšie.
Limity volaní s viacerými obrázkami
Neexistuje žiadny prísny zdokumentovaný limit počtu obrázkov, no pri počte nad päť až desať sa kombinujú dva efekty: kvalita analýzy klesá, pretože sa pozornosť modelu rozptýli medzi obrázky, a náklady na tokeny prudko rastú. Pripomeň si rádové hodnoty z Lekcie 2: každý obrázok spotrebuje 800 až 1 500 tokenov, takže päť obrázkov už predstavuje 5 000 až 7 500 tokenov promptu ešte predtým, než začne tvoja otázka. Celkový súčet – obrázky, text a odpoveď – sa musí tiež zmestiť do kontextového okna modelu, čo je strop, ktorého dávka obrázkov dosiahne oveľa rýchlejšie než textový dokument.
Táto funkcia vypočíta cenu pred volaním, nie až po ňom:
def estimate_multi_image_cost(num_images, tokens_per_image=1000, text_tokens=100, response_tokens=500):
"""Odhad celkového počtu tokenov pre volanie s viacerými obrázkami."""
total_input = (num_images * tokens_per_image) + text_tokens
total = total_input + response_tokens
print(f"Obrázky: {num_images} x {tokens_per_image} = {num_images * tokens_per_image} tokenov")
print(f"Text promptu: {text_tokens} tokenov")
print(f"Odhadovaná odpoveď: {response_tokens} tokenov")
print(f"Odhadovaný celkový počet: {total} tokenov")
return total
estimate_multi_image_cost(3)
# Obrázky: 3 x 1000 = 3000 tokenov
# Text promptu: 100 tokenov
# Odhadovaná odpoveď: 500 tokenov
# Odhadovaný celkový počet: 3600 tokenov
Stratégia pre veľké objemy
Pri viac ako piatich obrázkoch zmeň prístup namiesto toho, aby si tlačil cez limity. Existujú tri cesty, ktoré sa často kombinujú. Sekvenčná analýza spracováva obrázky jeden po druhom a následne agreguje výsledky – náklady zostávajú lineárne a presnosť na jednotlivý obrázok je maximálna. Dávkové zoskupovanie odosiela balíčky troch až piatich obrázkov, čím sa zachováva určité porovnanie v rámci dávky. Predfiltrácia nakoniec využíva ľahší model, ako je Small, na vyradenie irelevantných obrázkov predtým, než sa dôležité prípady postúpia modelu Large.
Prvá cesta vyzerá takto, pričom záverečná syntéza pracuje len s textom:
# Sekvenčná analýza s agregáciou
results = []
for img_path in images:
response = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Stručne popíš obsah tohto obrázka."},
{"type": "image_url", "image_url": encode_image(img_path)}
]
}]
)
results.append(response.choices[0].message.content)
# Záverečná syntéza (len text)
synthesis = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": f"Tu sú popisy {len(results)} obrázkov:\n\n" +
"\n---\n".join(results) +
"\n\nPoskytni globálnu syntézu."
}]
)
Fint spočíva v druhom volaní: neobsahuje žiadne obrázky, teda žiadne vizuálne tokeny. Syntetizuješ päťdesiat obrázkov za cenu niekoľkých stoviek textových tokenov.
Kľúčové poznatky
- V jednej správe môžeš poslať viacero obrázkov pridaním viacerých prvkov
image_url - Striedaj text medzi obrázkami, aby si modelu poskytol kontext
- Každý obrázok pridá 800 – 1 500 tokenov – pred volaním si odhadni náklady
- Pri viac ako 5 obrázkoch uprednostni sekvenčnú alebo dávkovú stratégiu
- URL adresy a Base64 môžeš v tej istej správe miešať