Adatok kinyerése képekből strukturált formátumban
Ezen az oldalon
Képek átalakítása használható adatokká
Az előző lecke a szöveg átírására fókuszált; ez a lecke tovább megy, és strukturált adatokat állít elő. A strukturált adatok kinyerése azt jelenti, hogy egy kép vizuális tartalmát – legyen az táblázat, űrlap, névjegykártya vagy címke – JSON-ná, CSV-vé vagy bármilyen más, a kódod által közvetlenül kezelhető formátummá alakítod át, manuális ellenőrzés nélkül.
A tét nagyobb. Egy hozzávetőleges átírás még segíthet egy emberi olvasónak, de egyetlen kulcs hiánya egy JSON-válaszban összeomlasztja azt a programot, amely feldolgozza azt. Ez a lecke két garanciát fed le, amelyeket meg kell valósítanod: az API JSON módját a szintaktikai érvényesség érdekében, és a sémavalidálást az üzleti szabályoknak való megfeleléshez.
Az API JSON módja
A Mistral kínál egy response_format paramétert, amely arra kényszeríti a modellt, hogy érvényes JSON-t adjon vissza. Enélkül időt pazarolsz arra, hogy megtisztítsd a válaszokat, amelyek Markdown blokkokba vannak csomagolva, vagy udvarias bevezető mondatok előzik meg őket.
from mistralai.client import Mistral
import os
import json
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Always return a valid JSON object with the data extracted from the image."
},
{
"role": "user",
"content": [
{
"type": "text",
"text": "Extract the following data from this business card as JSON: name, title, company, email, phone, address."
},
{"type": "image_url", "image_url": data_uri_carte}
]
}
]
)
# The result is directly parsable
donnees = json.loads(response.choices[0].message.content)
print(json.dumps(donnees, indent=2, ensure_ascii=False))
A json.loads hívás különös óvintézkedések nélkül fut le: a response_format={"type": "json_object"} garantálja a szintaktikailag érvényes JSON kimenetet. Azonban nem garantálja, hogy mely kulcsok vannak jelen. Éppen ezért magában a promptban kell leírnod a várt formátumot, ahogy az az alábbi példákban is látható.
Táblázat kinyerése képből
Lefotózott táblázatok vagy képernyőmentések gyakori alkalmazási esetek, és itt térül meg leginkább egy explicit séma használata. Világos utasítások nélkül a modell saját struktúrát talál ki, amely hívásonként eltérő lehet.
prompt_tableau = """Extract the content of this table as JSON.
Expected format:
{
"columns": ["Column1", "Column2", ...],
"rows": [
{"Column1": "value", "Column2": "value"},
...
]
}
Read all visible rows. If a cell is empty, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_tableau},
{"type": "image_url", "image_url": encoder_image("captures/tableau-excel.png")}
]
}
]
)
donnees = json.loads(response.choices[0].message.content)
print(f"Columns: {donnees['columns']}")
print(f"Number of rows: {len(donnees['rows'])}")
Az üres cellákra vonatkozó utasítás kritikus fontosságú. Enélkül a modell eltolhatja az értékeket a hézagok kitöltése érdekében, ezzel eltorzítva a táblázatot. A sorok számának kiírása azonnali sanity check-et (józan ész ellenőrzést) biztosít: ha a kép tizenkét sort mutat, de a szkript csak nyolcat jelent, akkor a kinyerés hiányos.
Űrlapok és hivatalos dokumentumok
A kitöltött űrlapok két kihívást jelentenek: a kézírást és a jelölőnégyzeteket, amelyeknek nincs szöveges értéke. A sémádnak ezért dedikált mezőket kell tartalmaznia ezekre.
prompt_formulaire = """Analyze this filled form and extract all fields and their values.
Expected JSON format:
{
"form_type": "...",
"fields": {
"field_name": "entered_value",
...
},
"checked_boxes": ["field1", "field2"],
"signature_present": true/false
}
If a field is empty or illegible, use null."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "You are a precise form extractor. Return structured JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": prompt_formulaire},
{"type": "image_url", "image_url": encoder_image("formulaires/cerfa-12345.jpg")}
]
}
]
)
Termékcímkék adatainak kinyerése
Az élelmiszer-címkék szabványos szerkezetet követnek: tápértéktáblázat 100 g-ra vetítve, összetevők listája és allergének. A sémát egészen a mértékegységek nevéig meghatározhatod, elkerülve ezzel a későbbi találgatást arról, hogy a „12“ grammot vagy kilokalóriát jelentett-e.
prompt_etiquette = """Extract the nutritional information from this label.
JSON format:
{
"product_name": "...",
"net_weight": "...",
"nutrition_per_100g": {
"energy_kcal": ...,
"fat_g": ...,
"saturated_fat_g": ...,
"carbohydrates_g": ...,
"sugars_g": ...,
"protein_g": ...,
"salt_g": ...
},
"ingredients": "...",
"allergens": ["..."]
}"""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "user",
"content": [
{"type": "text", "text": prompt_etiquette},
{"type": "image_url", "image_url": encoder_image("produits/etiquette.jpg")}
]
}
]
)
produit = json.loads(response.choices[0].message.content)
Kinyerési folyamat validálással
Éles környezetben a szintaktikai garanciák nem elegendőek. A modell visszaadhat tökéletesen érvényes JSON-t, ahol hiányzik az email, vagy ahol a phone egész számot tartalmaz karakterlánc helyett. A Pydantic ezeket az eseteket explicit kivételekké alakítja már a kinyerés szakaszában, nem pedig három lépéssel később a folyamatodban.
from pydantic import BaseModel, Field
from typing import Optional
import json
class BusinessCard(BaseModel):
last_name: str
first_name: str
title: Optional[str] = None
company: Optional[str] = None
email: Optional[str] = None
phone: Optional[str] = None
address: Optional[str] = None
website: Optional[str] = None
def extract_business_card(image_path):
"""Extract and validate business card data."""
response = client.chat.complete(
model="mistral-large-latest",
response_format={"type": "json_object"},
messages=[
{
"role": "system",
"content": "Extract data from this business card. Fields: last_name, first_name, title, company, email, phone, address, website. Return JSON."
},
{
"role": "user",
"content": [
{"type": "text", "text": "Extract information from this business card."},
{"type": "image_url", "image_url": encoder_image(image_path)}
]
}
]
)
# Parse and validate with Pydantic
raw_data = json.loads(response.choices[0].message.content)
card = BusinessCard(**raw_data)
return card
# Usage
card = extract_business_card("cartes/contact-dupont.jpg")
print(f"Contact: {card.first_name} {card.last_name} - {card.email}")
Figyeld meg a különbséget a last_name: str és a title: Optional[str] = None között. Egy név nélküli névjegykártya sikertelen kinyerés; egy beosztás nélküli névjegykártya viszont normális eset. Te húzod meg ezt a határt, és a Pydantic érvényesíti azt.
Átalakítás CSV-vé vagy DataFrame-mé
Az utolsó lépés az adatfeldolgozási folyamatod táplálása. A fent előállított JSON közvetlenül átalakítható:
import pandas as pd
# From an extracted table
donnees = json.loads(response.choices[0].message.content)
# Create a pandas DataFrame
df = pd.DataFrame(donnees["rows"])
print(df.to_string())
# Export to CSV
df.to_csv("export/tableau_extrait.csv", index=False, encoding="utf-8")
Az encoding="utf-8" argumentum az exportálás során kötelező, ha az adatod ékezetes karaktereket vagy pénznem szimbólumokat tartalmaz.
Főbb megállapítások
- A
response_format={"type": "json_object"}paraméter garantálja az érvényes JSON kimenetet - Mindig adj meg egy várt JSON sémát a promptodban a kinyerés irányításához
- Használj Pydanticot a kinyert adatok validálására éles környezetben
- A táblázatok, űrlapok, címkék és névjegykártyák ideális célpontok
- Kombináld a kinyerést a pandas-szal az adatfolyamataidba való közvetlen integrációhoz