Lähetä useita kuvia yhdessä viestissä
Tällä sivulla
Useiden kuvien analysointi kerralla
Mistralin Vision API ei rajoitu yhteen kuvaan viestiä kohden. Voit lähettää useita kuvia yhdellä pyynnöllä pyytääksesi mallia vertailemaan, syntetisoimaan tai analysoimaan niitä yhdessä. Ero tähän ja kahteen erilliseen pyyntöön on ratkaiseva: yhdellä pyynnöllä malli näkee molemmat kuvat samanaikaisesti ja pystyy päättelyyn niiden välisistä suhteista – jotakin, mihin yksittäisten vastausten yhdisteleminen ei pystyisi.
Tämä ominaisuus avaa käyttötapauksia, joissa kysymys keskittyy eroavaisuuksiin eikä niinkään sisältöön: ennen/jälkeen-vertailut, asiakirjasarjojen analyysi tai visuaaliset vaatimustenmukaisuustarkastukset.
Usean kuvan viestin rakenne
Periaate on yksinkertainen: lisää useita image_url-kohtia content-taulukkoon:
message = {
"role": "user",
"content": [
{"type": "text", "text": "Compare these two images and describe the differences."},
{"type": "image_url", "image_url": "https://example.com/image1.jpg"},
{"type": "image_url", "image_url": "https://example.com/image2.jpg"}
]
}
Yhtenäisyyttä ei vaadita: voit sekoittaa URL-osoitteilla ja Base64-muodolla olevia kuvia samassa viestissä. Tämä on yleistä, kun tarvitset vertailua isännöidyn vertailukuvan ja juuri luodun paikallisen tiedoston välillä.
Esimerkki: Kahden kuvan vertailu
Oletetaan varaston vastaanottotarkastus. Vertaat vaatimustenmukaisen tuotteen vertailukuvaa vastaanotetun näytteen kuvaan käyttäen järjestelmäkehotetta, joka määrittelee tarkastajan roolin:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a quality control expert. Compare the provided images with precision."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Here are two photos of the same product. The first is the reference, the second is the received sample. Identify all differences."
},
{"type": "image_url", "image_url": "https://example.com/reference.jpg"},
{"type": "image_url", "image_url": "https://example.com/sample.jpg"}
]
}
]
)
print(response.choices[0].message.content)
Tekstissä mainitaan nimenomaisesti järjestys – “ensimmäinen on vertailukuva” – koska malli ei voi arvata sitä itse.
Tekstin ja kuvien lomittaminen
Tämä järjestystapa törmää nopeasti rajoihinsa, kun kuvia on enemmän kuin kaksi. Vankempi menetelmä on merkitä jokainen kuva juuri ennen sen tarjoamista vuorottelemalla text- ja image_url-elementtejä:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": "Here is the original architectural plan:"},
{"type": "image_url", "image_url": "https://example.com/plan-original.png"},
{"type": "text", "text": "And here is the photo of the constructed building:"},
{"type": "image_url", "image_url": "https://example.com/photo-batiment.jpg"},
{"type": "text", "text": "Does the building match the plan? List the discrepancies."}
]
}
]
)
Nyt jokaisella kuvalla on oma tunnisteensa, ja lopullinen kysymys esitetään vasta kaiken materiaalin jälkeen. Tämä muoto parantaa merkittävästi mallin ymmärrystä: se tietää, että suunnitelma on standardi ja valokuva on arvioitava kohde. Niiden kääntäminen tuottaisi käänteisen poikkeamaraportin.
Eräajot Base64-muodolla
Paikallisten kuvatiedostojen kansiota varten content-rakenteen muodostaminen tapahtuu ohjelmallisesti. Koostat listan silmukassa koodaten jokaisen tiedoston lennossa:
import base64
import os
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def encode_image(path):
with open(path, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
ext = Path(path).suffix.lower()
mime = {"jpg": "jpeg", "jpeg": "jpeg", "png": "png", "webp": "webp"}.get(ext.lstrip("."), "jpeg")
return f"data:image/{mime};base64,{b64}"
# Lataa kaikki kuvat kansiosta
folder = Path("captures/")
images = sorted(folder.glob("*.png"))
# Rakenna viestin sisältö
content = [{"type": "text", "text": f"Analyze these {len(images)} screenshots and summarize common elements."}]
for img in images[:5]: # Rajoita maksimiin 5 kuvaa
content.append({"type": "image_url", "image_url": encode_image(img)})
response = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": content}]
)
print(response.choices[0].message.content)
images[:5]-viipale toimii skriptin turvamekanismina. Ilman sitä kansio, jossa on kaksisataa kuvakaappausta, syötettäisiin kokonaisuudessaan yhteen pyyntöön – seurauksineen, jotka on kuvattu heti alla.
Usean kuvan pyyntöjen rajoitukset
Kuvien määrälle ei ole tiukkaa dokumentoitua rajaa, mutta viiden ja kymmenen kuvan välillä kaksi vaikutusta yhdistyvät: analyysin laatu heikkenee, kun mallin huomio hajautuu kuviin, ja token-kustannukset nousevat jyrkästi. Muista kertaluokka oppitunnista 2: jokainen kuva kuluttaa 800–1 500 tokenia, joten viisi kuvaa edustaa jo 5 000–7 500 kehote-tokenia ennen kuin kysymyksesi edes alkaa. Kokonaismäärän – kuvat, teksti ja vastaus – on myös mahduttava mallin konteksti-ikkunaan, jonka katon kuvien erä saavuttaa paljon nopeammin kuin tekstiasiakirja.
Tämä funktio laskee laskun ennen pyyntöä eikä sen jälkeen:
def estimate_multi_image_cost(num_images, tokens_per_image=1000, text_tokens=100, response_tokens=500):
"""Estimate total tokens for a multi-image call."""
total_input = (num_images * tokens_per_image) + text_tokens
total = total_input + response_tokens
print(f"Images: {num_images} x {tokens_per_image} = {num_images * tokens_per_image} tokens")
print(f"Prompt text: {text_tokens} tokens")
print(f"Estimated response: {response_tokens} tokens")
print(f"Estimated total: {total} tokens")
return total
estimate_multi_image_cost(3)
# Images: 3 x 1000 = 3000 tokens
# Prompt text: 100 tokens
# Estimated response: 500 tokens
# Estimated total: 3600 tokens
Strategia suurille määrille
Yli viiden kuvan kohdalla vaihda lähestymistapaa sen sijaan, että yrittäisit pakottaa kaiken läpi. Kolme polkua on olemassa, ja niitä yhdistellään usein. Sekventiaalinen analyysi käsittelee kuvat yksi kerrallaan ja yhdistää tulokset jälkeenpäin – kustannus pysyy lineaarisena ja kuvakohtainen tarkkuus on maksimaalinen. Eräryhmittely lähettää kolmen tai viiden kuvan paketteja säilyttäen jonkin verran eränsisäistä vertailua. Esisuodatus puolestaan käyttää kevyempää mallia, kuten Smallia, karsimaan epäoleelliset kuvat ennen tärkeiden tapausten siirtämistä Large-mallille.
Ensimmäinen polku näyttää tältä, ja lopullinen synteesi käsittelee vain tekstiä:
# Sekventiaalinen analyysi yhdistelyllä
results = []
for img_path in images:
response = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": [
{"type": "text", "text": "Briefly describe the content of this image."},
{"type": "image_url", "image_url": encode_image(img_path)}
]
}]
)
results.append(response.choices[0].message.content)
# Lopullinen synteesi (vain tekstiä)
synthesis = client.chat.complete(
model="mistral-small-latest",
messages=[{
"role": "user",
"content": f"Here are descriptions of {len(results)} images:\n\n" +
"\n---\n".join(results) +
"\n\nProvide a global synthesis."
}]
)
Temppu piilee toisessa kutsussa: se ei sisällä kuvia, joten visuaalisia tokeneja ei synny. Syntetisoit viisikymmentä kuvaa muutaman sadan teksti-tokenin hintaan.
Keskeiset asiat
- Voit lähettää useita kuvia yhdessä viestissä lisäämällä useita
image_url-elementtejä - Lomita tekstiä kuvien väliin antaaksesi kontekstia mallille
- Jokainen kuva lisää 800–1 500 tokenia – arvioi kustannuksesi ennen pyyntöä
- Yli viiden kuvan kohdalla suosii sekventiaalista tai eräytettyä strategiaa
- URL-osoitteita ja Base64-muotoa voi sekoittaa samassa viestissä