Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Pošiljanje več slik v enem sporočilu

Lekcija 6 od 12 Posodobljeno 2. november 2026 Razvijalec
Na tej strani
  1. Hkratna analiza več slik
  2. Struktura sporočila z več slikami
  3. Primer: Primerjava dveh slik
  4. Prepletanje besedila in slik
  5. Serijska obdelava z Base64
  6. Omejitve klicev z več slikami
  7. Strategija za velike količine
  8. Ključne ugotovitve

Hkratna analiza več slik

Vidni API Mistral ni omejen na eno sliko na sporočilo. V enem klicu lahko pošlješ več slik, da model prosiš za njihovo primerjavo, sintezo ali skupno analizo. Razlika med tem in dvema ločenima klicema je ključna: v enem samem klicu model vidi obe sliki hkrati in lahko razmišlja o njunih medsebojnih odnosih – česar nobena agregacija posameznih odgovorov ne more doseči.

Ta zmožnost odpira primere uporabe, kjer se vprašanje osredotoča na razliko in ne na vsebino: primerjave pred/po, analize serij dokumentov ali vizualna preverjanja skladnosti.

Struktura sporočila z več slikami

Načelo je preprosto: v polje content dodaj več elementov image_url:

message = {
    "role": "user",
    "content": [
        {"type": "text", "text": "Compare these two images and describe the differences."},
        {"type": "image_url", "image_url": "https://example.com/image1.jpg"},
        {"type": "image_url", "image_url": "https://example.com/image2.jpg"}
    ]
}

Homogenost ni potrebna: v istem sporočilu lahko mešaš slike prek URL-jev in v formatu Base64. To je pogosto, ko moraš primerjati referenčno sliko, gostovano na strežniku, z novo ustvarjeno lokalno datoteko.

Primer: Primerjava dveh slik

Predstavljaj si pregled prevzema v skladišču. Primerjaš referenčno fotografijo skladnega izdelka s fotografijo prejete vzorca, pri čemer uporabiš sistemski poziv, ki določi vlogo inšpektorja:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "You are a quality control expert. Compare the provided images with precision."
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Here are two photos of the same product. The first is the reference, the second is the received sample. Identify all differences."
                },
                {"type": "image_url", "image_url": "https://example.com/reference.jpg"},
                {"type": "image_url", "image_url": "https://example.com/sample.jpg"}
            ]
        }
    ]
)

print(response.choices[0].message.content)

Besedilo izrecno navaja vrstni red – „prva je referenčna” –, saj ga model ne more uganiti.

Prepletanje besedila in slik

Ta pristop urejanja hitro doseže svoje meje, ko imaš več kot dve sliki. Bolj zanesljiva metoda je, da vsako sliko označiš tik pred tem, ko jo priložiš, izmenično uporabljaš elementa text in image_url:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Here is the original architectural plan:"},
                {"type": "image_url", "image_url": "https://example.com/plan-original.png"},
                {"type": "text", "text": "And here is the photo of the constructed building:"},
                {"type": "image_url", "image_url": "https://example.com/photo-batiment.jpg"},
                {"type": "text", "text": "Does the building match the plan? List the discrepancies."}
            ]
        }
    ]
)

Vsaka slika ima zdaj svojo oznako, končno vprašanje pa prispe šele po predstavitvi vsega gradiva. Ta format bistveno izboljša razumevanje modela: ve, da je načrt merilo, fotografija pa predmet ocenjevanja. Če bi ju zamenjal, bi dobil obrnjeno poročilo o neskladnostih.

Serijska obdelava z Base64

Za mapo z lokalnimi slikami postane sestavljanje polja content programsko. Seznam sestaviš v zanki in vsako datoteko kodiraš sproti:

import base64
import os
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def encode_image(path):
    with open(path, "rb") as f:
        b64 = base64.standard_b64encode(f.read()).decode("utf-8")
    ext = Path(path).suffix.lower()
    mime = {"jpg": "jpeg", "jpeg": "jpeg", "png": "png", "webp": "webp"}.get(ext.lstrip("."), "jpeg")
    return f"data:image/{mime};base64,{b64}"

# Load all images from a folder
folder = Path("captures/")
images = sorted(folder.glob("*.png"))

# Build the message content
content = [{"type": "text", "text": f"Analyze these {len(images)} screenshots and summarize common elements."}]
for img in images[:5]:  # Limit to max 5 images
    content.append({"type": "image_url", "image_url": encode_image(img)})

response = client.chat.complete(
    model="mistral-small-latest",
    messages=[{"role": "user", "content": content}]
)

print(response.choices[0].message.content)

Izrez images[:5] je varnostni mehanizem skripte. Brez njega bi mapa z dvesto posnetki zaslona šla v celoti v en sam klic – s posledicami, opisanimi spodaj.

Omejitve klicev z več slikami

Čeprav ni strogo dokumentirane omejitve števila slik, se po petih do desetih slikah združita dva učinka: kakovost analize se poslabša, saj se pozornost modela razprši med slike, stroški žetonov pa strmo narastejo. Spomni se reda velikosti iz lekcije 2: vsaka slika porabi od 800 do 1.500 žetonov, zato pet slik že predstavlja od 5.000 do 7.500 vhodnih žetonov, še preden sploh začneš z vprašanjem. Skupno število – slike, besedilo in odgovor – mora biti tudi znotraj kontekstnega okna modela, kar je strop, ki ga paket slik doseže veliko hitreje kot besedilni dokument.

Ta funkcija izračuna strošek pred klicem in ne po njem:

def estimate_multi_image_cost(num_images, tokens_per_image=1000, text_tokens=100, response_tokens=500):
    """Estimate total tokens for a multi-image call."""
    total_input = (num_images * tokens_per_image) + text_tokens
    total = total_input + response_tokens

    print(f"Images: {num_images} x {tokens_per_image} = {num_images * tokens_per_image} tokens")
    print(f"Prompt text: {text_tokens} tokens")
    print(f"Estimated response: {response_tokens} tokens")
    print(f"Estimated total: {total} tokens")
    return total

estimate_multi_image_cost(3)
# Images: 3 x 1000 = 3000 tokens
# Prompt text: 100 tokens
# Estimated response: 500 tokens
# Estimated total: 3600 tokens

Strategija za velike količine

Pri več kot petih slikah spremeni pristop, namesto da bi vztrajal pri enem samem klicu. Na voljo so tri poti, ki jih pogosto kombiniraš. Zaporedna analiza obdela slike eno za drugo, nato agregira rezultate – stroški ostanejo linearni, natančnost na sliko pa je največja. Skupinsko združevanje pošilja pakete od treh do petih slik in ohranja nekaj primerjav znotraj skupine. Predhodno filtriranje končno uporabi lažji model, kot je Small, da zavrne nepomembne slike, preden pomembne primere predloži modelu Large.

Prva pot izgleda takole, s končno sintezo, ki obdela samo besedilo:

# Sequential analysis with aggregation
results = []
for img_path in images:
    response = client.chat.complete(
        model="mistral-small-latest",
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": "Briefly describe the content of this image."},
                {"type": "image_url", "image_url": encode_image(img_path)}
            ]
        }]
    )
    results.append(response.choices[0].message.content)

# Final synthesis (text only)
synthesis = client.chat.complete(
    model="mistral-small-latest",
    messages=[{
        "role": "user",
        "content": f"Here are descriptions of {len(results)} images:\n\n" +
                   "\n---\n".join(results) +
                   "\n\nProvide a global synthesis."
    }]
)

Trik je v drugem klicu: ta ne vsebuje slik, torej ni vizualnih žetonov. Sintetiziraš petdeset slik za ceno nekaj sto besedilnih žetonov.

Ključne ugotovitve

  • V enem sporočilu lahko pošlješ več slik z dodajanjem več elementov image_url
  • Med slike vpleti besedilo, da modelu zagotoviš kontekst
  • Vsaka slika doda od 800 do 1.500 žetonov – pred klicem oceni svoje stroške
  • Pri več kot 5 slikah raje uporabi zaporedno ali skupinsko strategijo
  • V istem sporočilu lahko mešaš URL-je in Base64