Diagramok elemzése a Vision API-val
Ezen az oldalon
Olvasd a diagramokat úgy, mint egy elemző
A diagramok – oszlop-, vonal-, kördiagramok, területek – mindenhol jelen vannak az üzleti jelentésekben, irányítópultokon és tudományos publikációkban. Egy sajátos problémát vetnek fel: az információ egy képfájlba van zárva, gyakran a forrásadatok csatolása nélkül. Egy éves PDF-jelentés tartalmazhat harminc görbét, és senkinél nincs már meg az eredeti Excel-fájl.
A Mistral Vision API képes elolvasni ezeket a diagramokat, értelmezni a trendeket és kinyerni a numerikus adatokat. Ez a lecke bemutatja, hogyan írj olyan promptokat, amelyek cselekvőképes eredményeket produkálnak a homályos kommentárok helyett, és hogyan strukturáld a kimenetet.
A diagram elemzésének alapelvei
Ha a modellt magára hagyod, olyan általános mondatot generál, mint „ez a diagram az értékesítés alakulását mutatja“. Egy hatékony prompt ezzel szemben egy rendezett folyamatot kényszerít ki: azonosítsd a diagram típusát (oszlop, vonal, kör, szórás), olvasd be a tengelyeket és a jelmagyarázatot a mértékegységekkel és skálákkal együtt, közelítőleg határozd meg az értékeket a vizuális pozíció alapján, és csak ezután értelmezd a trendeket – emelkedés, csökkenés, szezonalitás, anomáliák. A sorrend számít: a tengelyek beolvasása előtt alkotott értelmezés kitalált értelmezés.
Oszlopdiagram elemzése
A rendszerüzenet a természetes helye ennek a módszernek az egyszeri és mindenkorra történő kódolásának, függetlenül az elemzendő képtől:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": """Te egy adatelemző szakértő vagy. Diagram elemzésekor:
1. Azonosítsd a diagram típusát és a címét
2. Írd le a tengelyeket (címkék, mértékegységek, skála)
3. Sorold fel a leolvasható főbb értékeket
4. Azonosítsd a trendeket, csúcsokat/völgyeket és anomáliákat
5. Írj egy 2-3 mondatos következtetést"""
},
{
"role": "user",
"content": [
{"type": "text", "text": "Elemezd ezt az oszlopdiagramot a negyedéves bevételekről."},
{"type": "image_url", "image_url": "https://exemple.com/ca-trimestriel.png"}
]
}
]
)
print(response.choices[0].message.content)
A rendszerprompt logikai lépésekbe strukturálja a modell válaszát, javítva ezzel a pontosságot és az olvashatóságot. Konzisztens jelentést kapsz egyik diagramról a másikra, ami elengedhetetlen, ha ezeket a válaszokat később automatikusan fel kell dolgozni.
Numerikus adatok kinyerése
Ha használható adatokat szeretnél kapni leírás helyett, az utasításnak kifejezetten korlátozónak kell lennie. A modellnek természetes hajlama van a kommentálásra; ezt meg kell tiltanod:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Te egy adatkihúzó vagy. Elemezd a diagramot, és az adatokat markdown táblázatként add vissza. Ne kommentálj, ne írj le semmit – csak húzd ki az adatokat."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Húzd ki az adatokat ebből az oszlopdiagramból egy táblázatba."},
{"type": "image_url", "image_url": "https://exemple.com/ventes-mensuelles.png"}
]
}
]
)
A modell valami ilyesmit ad vissza:
| Hónap | Értékesítés (k€) |
|----------|------------|
| Január | 120 |
| Február | 135 |
| Március | 148 |
Ez a formátum néhány sor kóddal feldolgozható, és közvetlenül importálható egy táblázatkezelőbe vagy DataFrame-be.
Vonalas diagram elemzése (Trendek)
A vonaldiagramok különösen alkalmasak a trendelemzésre, és a kérdés ekkor teljes kérdőívvé válhat a felhasználói üzenetben:
prompt_tendance = """Elemezd ezt a vonaldiagramot, és válaszolj:
1. Mi az általános trend (emelkedő, csökkenő, stabil)?
2. Vannak inflexiós pontok? Ha igen, milyen dátumoknál?
3. Tapasztalsz szezonalitást?
4. Mi a hozzávetőleges érték az időszak elején és végén?
5. Milyen vetületet készítesz a következő negyedévre?"""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_tendance},
{"type": "image_url", "image_url": "https://exemple.com/evolution-prix.png"}
]
}
]
)
Az ötödik kérdés természetében különbözik az első négytől: extrapolációt kér, nem leolvasást. A rá adott választ hipotézisként kezeld, amelyet validálni kell, soha nem tényként.
Kördiagram elemzése (Eloszlás)
Kördiagramok esetén a kérdés az arányokra és a koncentrációra fókuszál az evolúció helyett:
prompt_camembert = """Elemezd ezt a kördiagramot:
- Sorold fel minden szegmenst a hozzávetőleges százalékával együtt
- Azonosítsd a domináns szegmenst
- Jelezd, hogy az eloszlás koncentrált vagy szétszórt
Az adatokat markdown táblázatban add vissza."""
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_camembert},
{"type": "image_url", "image_url": "https://exemple.com/repartition-marche.png"}
]
}
]
)
Mindig ellenőrizd, hogy a visszaadott százalékok összege közel 100%-e: egy 87%-os összeg hiányos leolvasást, elfelejtett szegmenst vagy a jelmagyarázat által takart részt jelez.
Diagram elemzési folyamat (Pipeline)
Ezek az elszigetelt hívások egy teljes jelentés léptékében válnak igazán hasznossá. Az alábbi szkript beolvas egy exportált diagramokat tartalmazó mappát, minden alkalommal szabványosított JSON kimenetet kér, és mindent egyetlen fájlba naplóz:
import base64
from pathlib import Path
from mistralai.client import Mistral
import json
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def encoder_image(chemin):
with open(chemin, "rb") as f:
b64 = base64.standard_b64encode(f.read()).decode("utf-8")
return f"data:image/png;base64,{b64}"
def analyser_graphique(chemin_image, question=None):
"""Elemez egy diagramot, és strukturált adatokat ad vissza."""
if question is None:
question = "Elemezd ezt a diagramot. Adj vissza egy JSON-t a következőkkel: type (bar/line/pie/other), title, data (array of {label, value}), trend, és summary."
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "Csak érvényes JSON-t adj vissza, markdown kódblokkok nélkül."
},
{
"role": "user",
"content": [
{"type": "text", "text": question},
{"type": "image_url", "image_url": encoder_image(chemin_image)}
]
}
]
)
return response.choices[0].message.content
# Összes diagram elemzése egy mappában
dossier = Path("rapport/graphiques/")
resultats = {}
for fichier in sorted(dossier.glob("*.png")):
print(f"Analyse de {fichier.name}...")
resultats[fichier.name] = analyser_graphique(fichier)
# Eredmények mentése
with open("rapport/analyse_graphiques.json", "w", encoding="utf-8") as f:
json.dump(resultats, f, ensure_ascii=False, indent=2)
A „nincs markdown kódblokk“ utasítás elkerüli a klasszikus bosszúságot, amikor a JSON-t három backtick veszi körül, ami megtöri a feldolgozást.
A diagram elemzés korlátai
Négy helyzet próbára teszi a modellt, és ezeket ismerned kell, mielőtt folyamatot építenél köré. Először is, a pontos értékek: ezeket az oszlopok vagy pontok vizuális pozíciójából becsülik meg, 5–10%-os hibahatárral. Másodszor, a zsúfolt diagramok, ahol több adatsor, jelmagyarázat és apró betűk mossák el az olvashatóságot. Harmadszor, az alacsony felbontás, amely elmosódottá vagy pixelessé teszi a címkéket, olvashatatlanná téve azokat – ne feledd a 2. leckében leírt belső átméretezést. Végül a 3D-s diagramok, ahol a perspektíva mechanikusan torzítja a magasság leolvasását.
A gyakorlati következtetés egyértelmű: pontos kinyerés esetén, ha rendelkezésre áll, előnyben részesítsd a forrásadatok CSV-ként történő exportálását. A Vision API ideális gyors elemzésre és szintézisre, nem pedig táblázatkezelők kiváltására. Akkor ragyog, amikor a forrásadatok elvesztek; rossz választás, amikor az adatok elérhető közelségben vannak.
Főbb megállapítások
- Használd a Mistral Large 3-at diagramok elemzésére – a pontosság kritikus
- Strukturáld a promptot lépésekre: típus, tengelyek, értékek, trendek, következtetés
- Kérj kifejezetten kimeneti formátumot (markdown táblázat, JSON) a használható adatokhoz
- A modell becsléssel adja meg az értékeket 5–10%-os hibahatárral – ne használd pontos számokhoz
- Kombináld a Vision API-t egy CSV exporttal a két világ előnyeinek kiaknázásához