Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Siųsti kelis vaizdus viename pranešime

Paskaita 6 iš 12 Atnaujinta 2026 m. lapkričio 2 d. Kūrėjas
Šiame puslapyje
  1. Vienu metu analizuokite kelis vaizdus
  2. Kelių vaizdų pranešimo struktūra
  3. Pavyzdys: dviejų vaizdų palyginimas
  4. Teksto ir vaizdų kaitaliojimas
  5. Grupinis apdorojimas naudojant Base64
  6. Kelių vaizdų kvietimų ribos
  7. Didelių apimčių strategija
  8. Svarbiausi punktai

Vienu metu analizuokite kelis vaizdus

„Mistral“ vizijos API neapsiriboja vienu vaizdu viename pranešime. Vienu kvietimu galite siųsti kelis vaizdus, kad paprašytumėte modelio juos palyginti, apibendrinti arba analizuoti kartu. Skirtumas tarp šio būdo ir dviejų atskirų kvietimų yra esminis: vieno kvietimo metu modelis mato abu vaizdus vienu metu ir gali samprotauti apie jų tarpusavio ryšius – to nepasiektumėte tiesiog sudėję individualius atsakymus.

Ši galimybė atveria scenarijus, kai klausimas orientuotas ne į turinį, o į skirtumus: palyginimai „prieš/po“, dokumentų serijų analizė arba vizualūs atitikties patikrinimai.

Kelių vaizdų pranešimo struktūra

Principas paprastas: į masyvą content įtraukite kelis elementus image_url:

message = {
    "role": "user",
    "content": [
        {"type": "text", "text": "Palyginkite šiuos du vaizdus ir aprašykite skirtumus."},
        {"type": "image_url", "image_url": "https://example.com/image1.jpg"},
        {"type": "image_url", "image_url": "https://example.com/image2.jpg"}
    ]
}

Vienalytiškumo nereikalaujama: tame pačiame pranešime galite maišyti vaizdus pagal URL ir Base64 koduotę. Tai dažna situacija, kai reikia palyginti serveryje saugomą etaloninį vaizdą su ką tik sugeneruotu vietiniu failu.

Pavyzdys: dviejų vaizdų palyginimas

Įsivaizduokite sandėlio priėmimo patikrą. Palyginate etaloninę atitinkančio produkto nuotrauką su gauto mėginio nuotrauka, naudodami sistemos promptą, kuris nustato inspektoriaus vaidmenį:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "system",
            "content": "Esate kokybės kontrolės ekspertas. Tiksliai palyginkite pateiktus vaizdus."
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Štai dvi to paties produkto nuotraukos. Pirmoji yra etaloninė, antroji – gautas mėginys. Nustatykite visus skirtumus."
                },
                {"type": "image_url", "image_url": "https://example.com/reference.jpg"},
                {"type": "image_url", "image_url": "https://example.com/sample.jpg"}
            ]
        }
    ]
)

print(response.choices[0].message.content)

Tekste aiškiai nurodoma tvarka – „pirmaoji yra etaloninė“, nes modelis jos negali atspėti.

Teksto ir vaizdų kaitaliojimas

Šis tvarkos nustatymo būdas greitai pasiekia savo ribas, kai vaizdų yra daugiau nei du. Patikimesnis metodas – prieš pateikiant kiekvieną vaizdą jį pažymėti, kaitaliojant elementus text ir image_url:

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Štai originalus architektūrinis planas:"},
                {"type": "image_url", "image_url": "https://example.com/plan-original.png"},
                {"type": "text", "text": "O štai pastatyto pastato nuotrauka:"},
                {"type": "image_url", "image_url": "https://example.com/photo-batiment.jpg"},
                {"type": "text", "text": "Ar pastatas atitinka planą? Išvardykite neatitikimus."}
            ]
        }
    ]
)

Dabar kiekvienas vaizdas turi savo etiketę, o galutinis klausimas pateikiamas tik po to, kai parodyta visa medžiaga. Šis formatas žymiai pagerina modelio supratimą: jis žino, kad planas yra standartas, o nuotrauka – vertinamas objektas. Sukeitus juos vietomis, gautumėte invertuotą neatitikimų ataskaitą.

Grupinis apdorojimas naudojant Base64

Dirbant su vietinių vaizdų aplanku, content kūrimas tampa programiniu procesu. Sąrašą surenkate cikle, koduodami kiekvieną failą realiuoju laiku:

import base64
import os
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def encode_image(path):
    with open(path, "rb") as f:
        b64 = base64.standard_b64encode(f.read()).decode("utf-8")
    ext = Path(path).suffix.lower()
    mime = {"jpg": "jpeg", "jpeg": "jpeg", "png": "png", "webp": "webp"}.get(ext.lstrip("."), "jpeg")
    return f"data:image/{mime};base64,{b64}"

# Įkelti visus vaizdus iš aplanko
folder = Path("captures/")
images = sorted(folder.glob("*.png"))

# Sukurti pranešimo turinį
content = [{"type": "text", "text": f"Išanalizuokite šiuos {len(images)} ekrano kopijų kadrai ir apibendrinkite bendrus elementus."}]
for img in images[:5]:  # Apriboti iki daugiausia 5 vaizdų
    content.append({"type": "image_url", "image_url": encode_image(img)})

response = client.chat.complete(
    model="mistral-small-latest",
    messages=[{"role": "user", "content": content}]
)

print(response.choices[0].message.content)

Išpjova images[:5] yra saugumo garantija. Be jos, aplankas su dviem šimtais ekrano kopijų būtų visiškai įtrauktas į vieną kvietimą – su toliau aprašytomis pasekmėmis.

Kelių vaizdų kvietimų ribos

Nėra griežto dokumentuoto vaizdų skaičiaus limito, tačiau viršijus penkis–dešimt vaizdų pasireiškia du efektai: analizės kokybė prastėja, nes modelio dėmesys išsisklaido tarp vaizdų, o žetonų kainos staigiai auga. Prisiminkite 2 pamokoje minėtą dydžių eilę: kiekvienas vaizdas suvartoja 800–1500 žetonų, todėl penki vaizdai jau sudaro 5000–7500 prompto žetonų dar prieš prasidedant jūsų klausimui. Bendra suma – vaizdai, tekstas ir atsakymas – taip pat turi tilpti į modelio konteksto langą; vaizdų paketas šią ribą pasiekia daug greičiau nei tekstinis dokumentas.

Ši funkcija apskaičiuoja sąskaitą prieš kvietimą, o ne po jo:

def estimate_multi_image_cost(num_images, tokens_per_image=1000, text_tokens=100, response_tokens=500):
    """Įvertinti bendrą žetonų skaičių kelių vaizdų kvietimui."""
    total_input = (num_images * tokens_per_image) + text_tokens
    total = total_input + response_tokens

    print(f"Vaizdai: {num_images} x {tokens_per_image} = {num_images * tokens_per_image} žetonų")
    print(f"Prompto tekstas: {text_tokens} žetonų")
    print(f"Numatomas atsakymas: {response_tokens} žetonų")
    print(f"Numatoma suma: {total} žetonų")
    return total

estimate_multi_image_cost(3)
# Vaizdai: 3 x 1000 = 3000 žetonų
# Prompto tekstas: 100 žetonų
# Numatomas atsakymas: 500 žetonų
# Numatoma suma: 3600 žetonų

Didelių apimčių strategija

Kai vaizdų daugiau nei penki, keiskite požiūrį, o ne stumkite toliau. Yra trys keliai, dažnai derinami tarpusavyje. Nuosekli analizė apdoroja vaizdus vieną po kito, o tada apibendrina rezultatus – kaina lieka tiesinė, o tikslumas vienam vaizdui yra maksimalus. Grupavimas siunčia paketų po tris–penkis vaizdus, išlaikant tam tikrą palyginimą paketo viduje. Galiausiai, išankstinis filtravimas naudoja lengvesnį modelį, pavyzdžiui, „Small“, kad atmestų nereikšmingus vaizdus prieš perduodant svarbius atvejus modeliui „Large“.

Pirmasis kelias atrodo taip, o galutinis apibendrinimas apdoroja tik tekstą:

# Nuosekli analizė su apibendrinimu
results = []
for img_path in images:
    response = client.chat.complete(
        model="mistral-small-latest",
        messages=[{
            "role": "user",
            "content": [
                {"type": "text", "text": "Trumpai aprašykite šio vaizdo turinį."},
                {"type": "image_url", "image_url": encode_image(img_path)}
            ]
        }]
    )
    results.append(response.choices[0].message.content)

# Galutinis apibendrinimas (tik tekstas)
synthesis = client.chat.complete(
    model="mistral-small-latest",
    messages=[{
        "role": "user",
        "content": f"Štai {len(results)} vaizdų aprašymai:\n\n" +
                   "\n---\n".join(results) +
                   "\n\nPateikite bendrą apibendrinimą."
    }]
)

Gudrybė slypi antrajame kvietime: jame nėra vaizdų, todėl nėra ir vizualinių žetonų. Penkiasdešimt vaizdų apibendrinate už kelių šimtų tekstinių žetonų kainą.

Svarbiausi punktai

  • Viename pranešime galite siųsti kelis vaizdus, pridėdami kelis elementus image_url
  • Kaitaliokite tekstą tarp vaizdų, kad suteiktumėte modeliui kontekstą
  • Kiekvienas vaizdas priduria 800–1500 žetonų – prieš kviesdami įvertinkite išlaidas
  • Viršijus 5 vaizdus, rinkitės nuoseklią arba grupinę strategiją
  • Tame pačiame pranešime galite maišyti URL ir Base64 koduotę