Odeslání více obrázků v jedné zprávě
Na této stránce
Analýza více obrázků najednou
Vision API od Mistralu se neomezuje jen na jeden obrázek na zprávu. V jediném volání můžeš odeslat více obrázků a požádat model, aby je porovnal, syntetizoval nebo analyzoval dohromady. Rozdíl oproti dvěma samostatným voláním je zásadní: při jediném volání model vidí oba obrázky současně a dokáže uvažovat o jejich vzájemných vztazích – čehož žádná agregace jednotlivých odpovědí nedosáhne.
Tato schopnost otevírá použití tam, kde se otázka zaměřuje spíše na rozdíl než na obsah: porovnání před/po, analýza sérií dokumentů nebo vizuální kontroly shody.
Struktura zprávy s více obrázky
Princip je jednoduchý: do pole content přidej více položek image_url:
message = {
"role": "user",
"content": [
{"type": "text", "text": "Porovnej tyto dva obrázky a popiš rozdíly."},
{"type": "image_url", "image_url": "https://example.com/image1.jpg"},
{"type": "image_url", "image_url": "https://example.com/image2.jpg"}
]
}
Homogenita není nutná: ve stejné zprávě můžeš kombinovat obrázky přes URL i ve formátu Base64. To je běžné, když potřebuješ porovnat hostovaný referenční obrázek s čerstvě vygenerovaným lokálním souborem.
Příklad: Porovnání dvou obrázků
Představ si kontrolu při příjmu zboží ve skladu. Porovnáš referenční fotografii správného produktu s fotografií přijatého vzorku pomocí systémové prompty, která stanoví roli inspektora:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Jsi expert na kontrolu kvality. S přesností porovnej poskytnuté obrázky."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Zde jsou dvě fotografie stejného produktu. První je referenční, druhá je přijatý vzorek. Identifikuj všechny rozdíly."
},
{"type": "image_url", "image_url": "https://example.com/reference.jpg"},
{"type": "image_url", "image_url": "https://example.com/sample.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Text explicitně uvádí pořadí – „první je referenční“ – protože model ho nemůže uhodnout.
Prokládání textu a obrázků
Tento přístup založený na pořadí rychle narazí na své limity, pokud máš více než dva obrázky. Robustnější metodou je označit každý obrázek těsně před jeho poskytnutím střídáním prvků text a image_url:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Zde je původní architektonický plán:"},
{"type": "image_url", "image_url": "https://example.com/plan-original.png"},
{"type": "text", "text": "A zde je fotografie postavené budovy:"},
{"type": "image_url", "image_url": "https://example.com/photo-batiment.jpg"},
{"type": "text", "text": "Odpovídá budova plánu? Vypiš nesrovnalosti."}
]
}
]
)
Každý obrázek nyní nese vlastní popisek a závěrečná otázka přijde až po předložení veškerého materiálu. Tento formát výrazně zlepšuje pochopení modelem: ví, že plán je standardem a fotografie objektem k vyhodnocení. Jejich prohození by vedlo k převrácenému reportu o nesrovnalostech.
Dávkové zpracování s Base64
Pro složku s lokálními obrázky se sestavování pole content stává programatickým. Seznam sestavíš v cyklu a každý soubor zakóduješ za běhu:
import base64
import os
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
ext = Path(path).suffix.lower()
mime = {"jpg": "jpeg", "jpeg": "jpeg", "png": "png", "webp": "webp"}.get(ext.lstrip("."), "jpeg")
return f"data:image/{mime};base64,{b64}"
# Načtení všech obrázků ze složky
folder = Path("captures/")
images = sorted(folder.glob("*.png"))
# Sestavení obsahu zprávy
content = [{"type": "text", "text": f"Analyzuj těchto {len(images)} snímků obrazovky a shrň společné prvky."}]
for img in images[:5]: # Omezení na max. 5 obrázků
content.append({"type": "image_url", "image_url": encode_image(img)})
response = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": content}]
)
print(response.choices[0].message.content)
Výřez images[:5] slouží jako bezpečnostní pojistka skriptu. Bez něj by se složka obsahující dvě stě snímků obrazovky celá poslala v jediném volání – s důsledky popsanými níže.
Limity volání s více obrázky
Neexistuje žádný přísný dokumentovaný limit na počet obrázků, ale při překročení pěti až deseti se kombinují dva efekty: kvalita analýzy klesá, protože se pozornost modelu rozptyluje mezi obrázky, a náklady na tokeny prudce rostou. Pamatuj na řádové velikosti z lekce 2: každý obrázek spotřebuje 800 až 1 500 tokenů, takže pět obrázků už představuje 5 000 až 7 500 tokenů promptu, než vůbec začneš klást otázku. Celkový součet – obrázky, text a odpověď – se musí také vejít do kontextového okna modelu, což je strop, kterého dávka obrázků dosáhne mnohem rychleji než textový dokument.
Tato funkce spočítá fakturu před voláním, nikoliv až po něm:
def estimate_multi_image_cost(num_images, tokens_per_image=1000, text_tokens=100, response_tokens=500):
"""Odhad celkového počtu tokenů pro volání s více obrázky."""
total_input = (num_images * tokens_per_image) + text_tokens
total = total_input + response_tokens
print(f"Obrázky: {num_images} x {tokens_per_image} = {num_images * tokens_per_image} tokenů")
print(f"Text promptu: {text_tokens} tokenů")
print(f"Odhadovaná odpověď: {response_tokens} tokenů")
print(f"Odhadovaný celkem: {total} tokenů")
return total
estimate_multi_image_cost(3)
# Obrázky: 3 x 1000 = 3000 tokenů
# Text promptu: 100 tokenů
# Odhadovaná odpověď: 500 tokenů
# Odhadovaný celkem: 3600 tokenů
Strategie pro velké objemy
Při práci s více než pěti obrázky změň přístup místo toho, abys tlačil na pilu. Existují tři cesty, které se často kombinují. Sekvenční analýza zpracovává obrázky jeden po druhém a následně agreguje výsledky – náklady zůstávají lineární a přesnost na jednotlivý obrázek je maximální. Dávkové seskupování odesílá balíčky tří až pěti obrázků, čímž zachovává určitou možnost porovnání uvnitř balíčku. Předfiltrování nakonec využívá lehčí model, jako je Small, k vyřazení irelevantních obrázků před předáním důležitých případů modelu Large.
První cesta vypadá takto, přičemž závěrečná syntéza pracuje pouze s textem:
# Sekvenční analýza s agregací
results = []
for img_path in images:
response = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Stručně popiš obsah tohoto obrázku."},
{"type": "image_url", "image_url": encode_image(img_path)}
]
}]
)
results.append(response.choices[0].message.content)
# Závěrečná syntéza (pouze text)
synthesis = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": f"Zde jsou popisy {len(results)} obrázků:\n\n" +
"\n---\n".join(results) +
"\n\nPoskytni globální syntézu."
}]
)
Fígl spočívá ve druhém volání: neobsahuje žádné obrázky, tedy žádné vizuální tokeny. Syntetizuješ padesát obrázků za cenu několika stovek textových tokenů.
Klíčové poznatky
- V jedné zprávě můžeš odeslat více obrázků přidáním více prvků
image_url - Prokládej text mezi obrázky, abys modelu poskytl kontext
- Každý obrázek přidá 800–1500 tokenů – před voláním si odhadni náklady
- Při více než 5 obrázcích upřednostni sekvenční nebo dávkovou strategii
- Ve stejné zprávě můžeš kombinovat URL i Base64