Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Nosūtīt vairākus attēlus vienā ziņojumā

Nodarbība 6 no 12 Atjaunota 2026. gada 2. novembris Programmētājs
Šajā lapā
  1. Vairāku attēlu analīze vienlaikus
  2. Vairāku attēlu ziņojuma struktūra
  3. Piemērs: divu attēlu salīdzināšana
  4. Teksta un attēlu mijmaiņa
  5. Partijas apstrāde, izmantojot Base64
  6. Vairāku attēlu izsaukumu robežas
  7. Stratēģija lieliem apjomiem
  8. Galvenās atziņas

Vairāku attēlu analīze vienlaikus

Mistral Vision API neaprobežojas tikai ar vienu attēlu vienā ziņojumā. Vienā izsaukumā vari nosūtīt vairākus attēlus, lai lūgtu modelim tos salīdzināt, apkopot vai analizēt kopā. Atšķirība starp šo pieeju un diviem atsevišķiem izsaukumiem ir būtiska: vienā izsaukumā modelis redz abus attēlus vienlaicīgi un spēj spriest par to savstarpējām saistībām – ko nevar panākt, vienkārši apkopojot atsevišķas atbildes.

Šī iespēja ļauj īstenot scenārijus, kuros jautājums fokusējas uz atšķirībām, nevis tikai uz saturu: salīdzinājumi “pirms/pēc”, dokumentu sēriju analīze vai vizuālās atbilstības pārbaudes.

Vairāku attēlu ziņojuma struktūra

Princips ir vienkāršs: masīvam content pievieno vairākus vienumus image_url:

message = {
    "role": "user",
    "content": [
        {"type": "text", "text": "Salīdzini šos divus attēlus un apraksti atšķirības."},
        {"type": "image_url", "image_url": "https://example.com/image1.jpg"},
        {"type": "image_url", "image_url": "https://example.com/image2.jpg"}
    ]
}

Vienveidība nav obligāta: vienā ziņojumā vari jaukt attēlus, norādot tos kā URL un Base64. Tas ir bieži sastopams gadījums, kad jāsalīdzina mitināts atsauces attēls ar tikko ģenerētu lokālu failu.

Piemērs: divu attēlu salīdzināšana

Aplūkosim noliktavas saņemšanas kontroli. Tu salīdzini atbilstoša produkta atsauces foto ar saņemtā parauga foto, izmantojot sistēmas uzvedni, kas nosaka inspektora lomu:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Tu esi kvalitātes kontroles eksperts. Precīzi salīdzini sniegtos attēlus."
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Šeit ir divas viena un tā paša produkta fotogrāfijas. Pirmā ir atsauce, otrā ir saņemtais paraugs. Identificē visas atšķirības."
                },
                {"type": "image_url", "image_url": "https://example.com/reference.jpg"},
                {"type": "image_url", "image_url": "https://example.com/sample.jpg"}
            ]
        }
    ]
)

print(response.choices[0].message.content)

Tekstā ir skaidri norādīta secība – “pirmā ir atsauce” –, jo modelis to nevar uzminēt pats.

Teksta un attēlu mijmaiņa

Šī secības pieeja ātri sasniedz savas robežas, ja attēlu ir vairāk par diviem. Stabilāka metode ir katru attēlu marķēt tieši pirms tā parādīšanas, mainot text un image_url elementus:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Šeit ir sākotnējais arhitektūras plāns:"},
                {"type": "image_url", "image_url": "https://example.com/plan-original.png"},
                {"type": "text", "text": "Un šeit ir uzbūvētās ēkas fotogrāfija:"},
                {"type": "image_url", "image_url": "https://example.com/photo-batiment.jpg"},
                {"type": "text", "text": "Vai ēka atbilst plānam? Uzskaiti neatbilstības."}
            ]
        }
    ]
)

Tagad katram attēlam ir savs etiķete, un nobeiguma jautājums tiek uzdots tikai pēc tam, kad viss materiāls ir iesniegts. Šis formāts ievērojami uzlabo modeļa izpratni: tas zina, ka plāns ir standarts, bet fotogrāfija ir objekts, kas jāvērtē. To apgriešana otrādi radītu apgrieztu neatbilstību ziņojumu.

Partijas apstrāde, izmantojot Base64

Lokālu attēlu mapei satura content veidošana kļūst programmatiska. Tu veido sarakstu ciklā, kodējot katru failu reālā laikā:

import base64
import os
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def encode_image(path):
    with open(path, "rb") as f:
        b64 = base64.standard_b64encode(f.read()).decode("utf-8")
    ext = Path(path).suffix.lower()
    mime = {"jpg": "jpeg", "jpeg": "jpeg", "png": "png", "webp": "webp"}.get(ext.lstrip("."), "jpeg")
    return f"data:image/{mime};base64,{b64}"

# Ielādē visus attēlus no mapes
folder = Path("captures/")
images = sorted(folder.glob("*.png"))

# Veido ziņojuma saturu
content = [{"type": "text", "text": f"Analizē šos {len(images)} ekrānuzņēmumus un apkopo kopīgos elementus."}]
for img in images[:5]:  # Ierobežo līdz maksimāli 5 attēliem
    content.append({"type": "image_url", "image_url": encode_image(img)})

response = client.chat.complete(
    model="mistral-small-latest",
    messages=[{"role": "user", "content": content}]
)

print(response.choices[0].message.content)

Griezums images[:5] ir skripta drošības mehānisms. Bez tā mape ar divsimt ekrānuzņēmumiem tiktu iekļauta vienā izsaukumā – ar sekām, kas aprakstītas tālāk.

Vairāku attēlu izsaukumu robežas

Nav stingri dokumentēta limita attēlu skaitam, taču, pārsniedzot piecus līdz desmit attēlus, kombinējas divi efekti: analīzes kvalitāte pasliktinās, jo modeļa uzmanība izkliedējas starp attēliem, un tokena izmaksas strauji pieaug. Atceries 2. nodarbībā minēto kārtu: katrs attēls patērē 800 līdz 1500 tokenus, tāpēc pieci attēli jau veido 5000 līdz 7500 uzvednes tokenus, pat pirms tava jautājuma sākuma. Kopējam apjomam – attēliem, tekstam un atbildei – jāietilpst modeļa konteksta logā; šo griestu attēlu partija sasniedz daudz ātrāk nekā teksta dokuments.

Šī funkcija aprēķina rēķinu pirms izsaukuma, nevis pēc tā:

def estimate_multi_image_cost(num_images, tokens_per_image=1000, text_tokens=100, response_tokens=500):
    """Aprēķina kopējo tokena skaitu vairāku attēlu izsaukumam."""
    total_input = (num_images * tokens_per_image) + text_tokens
    total = total_input + response_tokens

    print(f"Attēli: {num_images} x {tokens_per_image} = {num_images * tokens_per_image} tokeni")
    print(f"Uzvednes teksts: {text_tokens} tokeni")
    print(f"Paredzamā atbilde: {response_tokens} tokeni")
    print(f"Paredzamais kopējais skaits: {total} tokeni")
    return total

estimate_multi_image_cost(3)
# Attēli: 3 x 1000 = 3000 tokeni
# Uzvednes teksts: 100 tokeni
# Paredzamā atbilde: 500 tokeni
# Paredzamais kopējais skaits: 3600 tokeni

Stratēģija lieliem apjomiem

Ja attēlu ir vairāk par pieciem, maini pieeju, nevis mēģini turpināt tāpat. Pastāv trīs ceļi, kurus bieži kombinē. Secīga analīze apstrādā attēlus pa vienam un pēc tam apkopo rezultātus – izmaksas paliek lineāras, un precizitāte katram attēlam ir maksimāla. Partiju grupēšana nosūta paketes ar trim līdz pieciem attēliem, saglabājot noteiktu salīdzināmību partijas ietvaros. Visbeidzot, iepriekšēja filtrēšana izmanto vieglāku modeli, piemēram, Small, lai atmestu neatbilstošus attēlus, pirms svarīgākie gadījumi tiek nodoti modelim Large.

Pirmā ceļa izskats ir šāds, ar nobeiguma sintēzi, kas apstrādā tikai tekstu:

# Secīga analīze ar apkopošanu
results = []
for img_path in images:
    response = client.chat.complete(
        model="mistral-small-latest",
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": "Īsi apraksti šī attēla saturu."},
                {"type": "image_url", "image_url": encode_image(img_path)}
            ]
        }]
    )
    results.append(response.choices[0].message.content)

# Nobeiguma sintēze (tikai teksts)
synthesis = client.chat.complete(
    model="mistral-small-latest",
    messages=[{
        "role": "user",
        "content": f"Šeit ir {len(results)} attēlu apraksti:\n\n" +
                   "\n---\n".join(results) +
                   "\n\nSniedz vispārēju apkopojumu."
    }]
)

Triks slēpjas otrajā izsaukumā: tajā nav attēlu, līdz ar to nav arī vizuālo tokena. Tu vari sintetizēt piecdesmit attēlus par dažu simtu teksta tokena cenu.

Galvenās atziņas

  • Vienā ziņojumā vari nosūtīt vairākus attēlus, pievienojot vairākus image_url elementus
  • Maini tekstu starp attēliem, lai sniegtu modelim kontekstu
  • Katrs attēls pievieno 800–1500 tokenus – pirms izsaukuma aprēķini izmaksas
  • Ja attēlu ir vairāk par 5, dod priekšroku secīgai vai partiju stratēģijai
  • Vienā ziņojumā vari jaukt URL un Base64 formātus